मैं तंत्रिका नेटवर्क के लिए नया हूं और इस मामले पर पकड़ पाने के लिए, मैंने एक मूल फ़ीड-फॉरवर्ड एमएलपी लागू किया है जिसे मैं वर्तमान में बैक-प्रोपेगेशन के माध्यम से प्रशिक्षित करता हूं। मुझे पता है कि ऐसा करने के लिए और अधिक परिष्कृत और बेहतर तरीके हैं, लेकिन Introduction to Machine Learning में वे सुझाव देते हैं कि एक या दो चाल के साथ, बुनियादी ढाल मूल वास्तविक डेटा डेटा से सीखने के लिए प्रभावी हो सकता है। चालों में से एक अनुकूली सीखने की दर है।तंत्रिका नेटवर्क में अनुकूली सीखने की दर करते समय उपयोग करने के लिए कौन सा गुणा और अतिरिक्त कारक उपयोग करना है?
विचार एक निरंतर मूल्य एक जब त्रुटि छोटे हो जाता करके सीखने की दर में वृद्धि, और एक अंश ख जब त्रुटि बड़ा हो जाता है सीखने दर के द्वारा उसे कम करना है। तो मूल रूप से सीखने दर परिवर्तन से निर्धारित होता है:
+(a)
-(b * <learning rate>)
हम सही दिशा में सीख रहे हैं, और हम अपने सीखने को बर्बाद कर रहे हैं अगर। हालांकि, उपरोक्त पुस्तक पर इन पैरामीटर को सेट करने के बारे में कोई सलाह नहीं है। मैं एक सटीक सुझाव की अपेक्षा नहीं करता क्योंकि पैरामीटर ट्यूनिंग अपने पूरे विषय पर है, लेकिन कम से कम उनके परिमाण के क्रम पर एक संकेत है। कोई विचार?
धन्यवाद,
Tunnuz
मैं इस उत्तर को स्वीकार करना चाहता हूं, लेकिन ये बहुत बड़ी संख्याओं की तरह दिखते हैं कि इन्हें सीखने की दर मूल्य को विस्तारित या संक्षिप्त करने के लिए उपयोग किया जाता है जो [0.0,1.0] में होना चाहिए। क्या आप वाकई आरपीआरओपी में अलग अर्थ नहीं रखते हैं? – tunnuz
उल्लिखित मान विशेष रूप से वृद्धि/कमी कारकों के लिए हैं (जब आप कोर्स बंद करना शुरू करते हैं तो आपको सही करने के लिए उपयोग किया जाता है)। यदि आप पीडीएफ को देखते हैं (खोज मेरे लिए काम नहीं करती है, तो लाटेक्स चीज हो सकती है - और पेज ऑर्डर पीछे की तरफ लगता है!) मुझे लगता है कि यह एक सीखने की दर का उल्लेख करता है (एस्पिलॉन और डेल्टा शून्य - एल्गोरिदम के आधार पर)। एक तालिका में यह 0.05 का मान देता है। यह अन्य संभावित एल्गोरिदम (बीपी, सुपरएसएबी, क्विकप्रॉप) का भी उल्लेख करता है और परिणाम दिए जाते हैं जब अन्य मूल्य/एल्गोरिदम का उपयोग किया जाता है। –
यह भी देखें: http://stackoverflow.com/questions/2865057/resilient-backpropagation-neural-network-question-about-gradient –