क्या चल रहे हैंडोप क्लस्टर में नोड्स जोड़ने का कोई तरीका है?

Question

मैं क्लौडेरा के साथ खेल रहा हूं और मैं अपनी नौकरी शुरू करने से पहले क्लस्टर की संख्या को परिभाषित करता हूं, फिर यह सुनिश्चित करने के लिए क्लौडेरा प्रबंधक का उपयोग करें कि सबकुछ चल रहा है।

मैं एक नई परियोजना पर काम कर रहा हूं कि हैडोप का उपयोग करने के बजाय काम वितरित करने के लिए संदेश कतार का उपयोग कर रहा है लेकिन काम के परिणाम एचबीएस में संग्रहीत हैं। मैं नौकरी को संसाधित करने के लिए 10 सर्वर लॉन्च कर सकता हूं और हबेस को स्टोर कर सकता हूं लेकिन मुझे आश्चर्य है कि मैंने बाद में कुछ और कार्यकर्ता नोड्स जोड़ने का फैसला किया है, जिसे मैं आसानी से पढ़ सकता हूं (पढ़ना: प्रोग्राम करने योग्य) उन्हें स्वचालित रूप से चल रहे क्लस्टर से कनेक्ट कर देता है ताकि वे स्थानीय रूप से जोड़ सकें क्लस्टर एचबीएस/एचडीएफएस के लिए?

क्या यह संभव है और इसे करने के लिए मुझे क्या सीखना होगा?

Answer 1

यहां Hadoop और HBase पर नोड जोड़ने के लिए प्रलेखन है। प्रलेखन को देखते हुए, क्लस्टर को पुनरारंभ करने की कोई आवश्यकता नहीं है। एक नोड गतिशील रूप से जोड़ा जा सकता है।

Answer 2

यदि मैं आपको सही ढंग से समझता हूं तो आपके पास ऐसे कर्मचारी हैं जो आप स्वयं को समन्वयित करते हैं जो एचबीएस से अपने डेटा को बचाने के लिए कनेक्ट करते हैं। आप जितने चाहें उतने में हो सकते हैं और वे हबसे से जुड़ सकते हैं क्योंकि वे जोड़े गए हैं (जब तक वे ज़ूकीपर कोरम देख सकते हैं)।

यदि आप हैडोप क्लस्टर को बढ़ाने के बारे में बात कर रहे हैं। चूंकि आप पहले से ही क्लौडेरा का उपयोग करते हैं, आप cloudera Manager REST API या Java client someone implemented for it

Answer 3

के माध्यम से ऐसा कर सकते हैं, निम्नलिखित चरणों को चलने वाले क्लस्टर में नया नोड लॉन्च करने में आपकी सहायता करनी चाहिए।

1> Update the /etc/hadoop/conf/slaves list with the new node-name 
2> Sync the full configuration /etc/hadoop/conf to the new datanode from the Namenode. If the file system isn't shared. 
2> Restart all the hadoop services on Namenode/Tasktracker and all the services on the new Datanode. 
3> Verify the new datanode from the browser http://namenode:50070 
4> Run the balancer script to readjust the data between the nodes. 

यदि आप एनएन पर सेवाओं को पुनरारंभ नहीं करना चाहते हैं, तो जब आप कोई नया नोड जोड़ते हैं। मैं कहूंगा कि दास विन्यास फाइल के आगे नाम जोड़ें। इसलिए वे उपलब्ध होने तक डिमोकेशन/मृत नोड्स के रूप में रिपोर्ट करते हैं। उपरोक्त DataNode केवल चरणों के बाद। फिर यह सबसे अच्छा अभ्यास नहीं है।

Answer 4

यह हैडूप क्लस्टर को पुनरारंभ किए बिना किया जा सकता है। इस document के अनुसार, आप शामिल फ़ाइल में नोड्स जोड़ सकते हैं और hdfs-site.xml और mapred-site.xml फ़ाइलों में कुछ बदलाव कर सकते हैं, आप इसे प्राप्त कर सकते हैं। this document