एकाधिक डेटा केंद्रों में डेटा नोड्स वितरित करना

Question

क्या किसी ने कई डेटा केंद्रों में डेटा नोड्स के प्रदर्शन की जांच करने का प्रयास किया है? छोटे पाइप के साथ विशेष रूप से नेटवर्क पर। मुझे इस पर बहुत अधिक जानकारी नहीं मिल रही है और मुझे जो जानकारी मिली है वह पुरानी है (लगभग 2010) या स्वामित्व (ऐसा लगता है जैसे डेटास्टैक्स में कुछ है)। मुझे पता है कि हैडोप रैक जागरूकता का समर्थन करता है लेकिन जैसा कि मैंने कहा है कि मैंने कई डेटा केंद्रों के लिए सिस्टम को ट्यून करने के लिए कोई दस्तावेज नहीं देखा है।

Answer 1

मैंने इसे 12 x डेटा नोड क्लस्टर के साथ 2: 1 अनुपात में व्यवस्थित किया है जिसमें दो डेटा केंद्रों के बीच लगभग 120 मील दूर है। डेटा केंद्रों के बीच लेटेंसी 2 x 1 जीबीई पाइप में ~ 4ms थी।

2 रैक्स साइट ए में कॉन्फ़िगर किए गए साइट ए, 1 रैक में कॉन्फ़िगर किए गए थे। प्रत्येक "रैक" में 4 मशीनें थीं। हम मूल रूप से साइट बी को 'डीआर' साइट के रूप में परीक्षण कर रहे थे। प्रतिकृति कारक 3.

लंबी कहानी छोटी, यह काम करता है, लेकिन प्रदर्शन वास्तव में वास्तव में बुरा था। आपको निश्चित रूप से अपने स्रोत I/O को कम करने के लिए अपने स्रोत, मानचित्र पर संपीड़न का उपयोग करना होगा और यदि किसी अन्य चीज़ के लिए साइट्स के बीच लिंक का उपयोग किया जाता है, तो आपको डेटा स्थानांतरित करते समय टाइमआउट प्राप्त होंगे। टीसीपी विंडोिंग 1 जीबीई लाइन पर संभावित 100 एमबीपीएस + के बजाय, हमारे स्थानांतरण को लगभग 4 एमबीपीएस तक सीमित कर देगी।

अपने आप को सिरदर्द बचाएं और डेटा को दोहराने के लिए बस distcp नौकरियों का उपयोग करें!