हडोप वास्तुकला में नामनोड विफलता का एक बिंदु है।हडोप नामनोड: विफलता का एकल बिंदु
बड़े हडोप क्लस्टर वाले लोग इस समस्या का सामना कैसे करते हैं?
क्या कोई उद्योग-स्वीकार्य समाधान है जिसने अच्छी तरह से काम किया है जिसमें प्राथमिक व्यक्ति विफल होने पर एक माध्यमिक नामनोड लेता है?
याहू में certain recommendations विभिन्न क्लस्टर आकारों पर कॉन्फ़िगरेशन सेटिंग्स के लिए खाता नाम में विफलता लेने के लिए है। उदाहरण के लिए:
हैडोप क्लस्टर में विफलता का एक बिंदु नाम नोड है। जबकि किसी भी अन्य मशीन (अंतःस्थापित या स्थायी रूप से) के नुकसान के परिणामस्वरूप डेटा हानि नहीं होती है, क्लस्टर अनुपलब्धता में नाम नोड हानि परिणाम। नाम नोड डेटा का स्थायी नुकसान क्लस्टर के एचडीएफएस को अक्षम करने में सक्षम करेगा।
इसलिए, एक और कदम NameNode मेटाडाटा
फेसबुक अपने डेटा गोदामों के लिए a tweaked version of Hadoop का उपयोग करता है बैकअप लेने के लिए इस विन्यास में लिया जाना चाहिए; इसमें some optimizations है जो नाम नोड विश्वसनीयता पर केंद्रित है। इसके अतिरिक्त गीथब पर उपलब्ध पैच के लिए, फेसबुक विशेष रूप से प्राथमिक और माध्यमिक नाम नोड्स के बीच स्विचिंग के लिए AvatarNode का उपयोग करता प्रतीत होता है। Dhruba Borthakur's blog में कई अन्य प्रविष्टियां शामिल हैं जो नाम नोड में विफलता के एक बिंदु के रूप में और अंतर्दृष्टि प्रदान करती हैं।
संपादित करें: Further info about Facebook's improvements to the NameNode।
बड़े हैडोप क्लस्टर में हजारों डेटा नोड्स और एक नाम नोड है। विफलता की संभावना मशीन गिनती के साथ रैखिक रूप से ऊपर जाती है (बाकी सब बराबर होती है)। तो यदि हैडोप डेटा नोड विफलताओं का सामना नहीं करता है तो यह स्केल नहीं करेगा। चूंकि अभी भी एक ही नाम नोड सिंगल प्वाइंट ऑफ असफलता (एसपीओएफ) है, लेकिन विफलता की संभावना अभी भी कम है।
यह उदास, फेसबुक के बारे में Bkkbrad का जवाब नाम नोड के लिए विफलता क्षमता जोड़ना सही है।
हैडोप में नमनोड अब एक एसपीओफ़ नहीं है। अधिक के लिए here देखें।
Namenode की उच्च उपलब्धता Hadoop 2.x रिलीज के साथ शुरू किया गया है। कोरम जर्नल प्रबंधक (QJM) पसंदीदा विकल्प है साथ With NFS और With QJM
लेकिन उच्च उपलब्धता -
यह दो मोड में प्राप्त किया जा सकता।
एक विशिष्ट एचए क्लस्टर में, दो अलग मशीनों को नाम नोड्स के रूप में कॉन्फ़िगर किया गया है। किसी भी समय, नाम नोड्स में से एक सक्रिय स्थिति में है, और दूसरा स्टैंडबाय स्थिति में है। सक्रिय नाम नोड क्लस्टर में सभी क्लाइंट ऑपरेशंस के लिए ज़िम्मेदार है, जबकि स्टैंडबाय बस दास के रूप में कार्य कर रहा है, यदि आवश्यक हो तो तेज़ विफलता प्रदान करने के लिए पर्याप्त राज्य बनाए रखना।
एसई प्रश्नों के नीचे एक नज़र डालें, जो पूर्ण विफलता प्रक्रिया बताती है।
Secondary NameNode usage and High availability in Hadoop 2.x
यूआरएल https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html –
के लिए अद्यतन यह एक खासियत है लिंक-केवल उत्तर, जो लिंक पर क्लिक किए बिना क्लिक करने में बहुत मदद नहीं करता है। मेरे परिप्रेक्ष्य में इसे रविंद्र द्वारा पोस्ट किए गए उत्तर से अप्रचलित कर दिया गया है। –