जब आप नेट पर वेक्टर x
इनपुट करते हैं, तो नेट आउटपुट सभी वजन (वेक्टर w
) पर निर्भर करेगा। आउटपुट और सही उत्तर के बीच एक त्रुटि होगी। औसत त्रुटि (e
) w
का एक फ़ंक्शन है, मान लें e = F(w)
।मान लीजिए आप एक परत-दो आयाम नेटवर्क है, तो F
की छवि कुछ ऐसा दिखाई देगा:
जब हम प्रशिक्षण के बारे में बात करते हैं, हम वास्तव में w
जो कम से कम e
बनाता है खोजने के बारे में बात कर रहे हैं । दूसरे शब्दों में, हम कम से कम एक फ़ंक्शन खोज रहे हैं। ट्रेन करने के लिए खोजना है।
तो, आप सवाल करते हैं कि खोज करने के तरीके को कैसे चुनें। मेरा सुझाव होगा: यह इस बात पर निर्भर करता है कि F(w)
की सतह की तरह दिखती है। यह अधिक है, अधिक यादृच्छिक विधि का उपयोग किया जाना चाहिए, क्योंकि ढाल अवरोही के आधार पर सरल विधि आपको स्थानीय न्यूनतम द्वारा फंसाने के लिए मार्गदर्शन करने का बड़ा मौका होगा - इसलिए आप वैश्विक न्यूनतम खोजने का मौका खो देते हैं। दूसरी तरफ, यदि F(w)
का सूफ एक बड़े गड्ढे की तरह दिखता है, तो आनुवांशिक एल्गोरिदम भूल जाएं। ढाल उतरने के आधार पर एक साधारण बैक प्रचार या कुछ भी इस मामले में बहुत अच्छा होगा।
आप पूछ सकते हैं कि मैं कैसे जान सकता हूं कि सतह की तरह कैसे दिखती है? यह अनुभव का एक कौशल है। या आप सतह के अंतर्ज्ञानी दृश्य प्राप्त करने के लिए कुछ w
यादृच्छिक रूप से नमूना करना चाहते हैं, और F(w)
की गणना कर सकते हैं।