mapreduce

23गर्मी

4उत्तर

हडूप: 0 रेड्यूसर और पहचान reducer के बीच अंतर?

मैं बस 0 reducer और पहचान reducer के बीच अंतर की मेरी समझ की पुष्टि करने की कोशिश कर रहा हूँ। 0 कम करने का मतलब है कम कर कदम छोड़ दिया जाएगा और नक्शाकार उत्पादन अंतिम बाहर पहचान कम करने तो छँटाई अभी भ

8गर्मी

4उत्तर

हैडोप/मैपराइडस

का उपयोग कर कनेक्टेड घटक ढूंढना मुझे एक विशाल डेटासेट के लिए कनेक्टेड घटकों को खोजने की आवश्यकता है। (ग्राफ को अप्रत्यक्ष किया जा रहा है) एक स्पष्ट विकल्प MapReduce है। लेकिन मैं MapReduce के लिए नौसि

9गर्मी

1उत्तर

WARN snappy.LoadSnappy: Snappy देशी लाइब्रेरी लोड नहीं की गई

जो कुछ भी मैं करता हूं, मैं इस त्रुटि से छुटकारा नहीं पा सकता हूं। मुझे पता है कि स्नैपी एक तेज़ है और इसलिए अन्य विकल्पों पर एक बेहतर संपीड़न/डिकंप्रेशन लाइब्रेरी है। मैं अपनी प्रसंस्करण के लिए इस पु

17गर्मी

5उत्तर

हैडोप में मैपर/रेड्यूसर के सेटअप और क्लीनअप विधियां MapReduce

क्रमशः प्रत्येक मैपर और रेड्यूसर कार्यों में सेटअप और क्लीनअप विधियों को बुलाया जाता है? या क्या वे कुल नक्शा और reducer नौकरियों की शुरुआत में केवल एक बार बुलाया जाता है?

9गर्मी

2उत्तर

हडोप

में रिकॉर्ड रीडर का कार्य कोई भी बता सकता है कि रिकॉर्डर वास्तव में कैसे काम करता है? कार्यक्रम शुरू होने के बाद nextkeyvalue(), getCurrentkey() और getprogress() कार्य कैसे करें?

17गर्मी

1उत्तर

वितरित स्थानीय क्लस्टरिंग गुणांक एल्गोरिदम (MapReduce/Hadoop)

मैंने MapReduce प्रतिमान local clustering coefficient algorithm पर लागू किया है। हालांकि मैंने बड़े डेटासेट या विशिष्ट डेटासेट (नोड की उच्च औसत डिग्री) के लिए गंभीर परेशानियों में भाग लिया है। मैंने अ

5गर्मी

2उत्तर

MongoDB मानचित्र क्वेरी

के साथ कम हो गया है मुझे एक बड़ा मोंगोडीबी मिला है जिसे मुझे आंकड़ों को निकालने की ज़रूरत है और मैं यह नक्शा कम करने के लिए एक नक्शा कम करने की खरीद करता हूं। समस्या अब है कि मैं क्वेरी उदाहरण की स्थि

8गर्मी

3उत्तर

हडोप कॉन्फ़िगरेशन: मैपर्ड। * बनाम मैड्रिडस। *

मैंने देखा कि हैडोप कॉन्फ़िगरेशन पैरामीटर के दो सेट हैं: एक नक्शा वाला। * और दूसरा मैप्रिडस के साथ। । मुझे लगता है कि यह पुराने एपीआई बनाम नई एपीआई के कारण हो सकता है लेकिन अगर मुझे गलत नहीं लगता है,

12गर्मी

1उत्तर

मोंगो से डेटा पर मानचित्र को कम करने/घटाने का सबसे अच्छा तरीका क्या है?

मेरे पास क्लाउड (मोंगोलाब या मोंगोएचक्यू) में होस्ट किया गया एक बड़ा मोंगो डेटाबेस (100 जीबी) है। मैं कुछ महंगे आंकड़ों की गणना करने के लिए डेटा पर कुछ मानचित्र/कम करना चाहता हूं और यह सोच रहा था कि य

12गर्मी

2उत्तर

Hadoop मैप्रिडस नौकरियों में JVM का पुन: उपयोग करें

मुझे पता है कि हम JVM का पुनः उपयोग करने के लिए "mapred.job.reuse.jvm.num.tasks" संपत्ति सेट कर सकते हैं। मेरे प्रश्न हैं: (1) यहां सेट किए जाने वाले कार्यों की संख्या का निर्धारण कैसे करें, -1 या कुछ