elastic-map-reduce

6गर्मी

3उत्तर

अमेज़ॅन लोचदार मानचित्र एस 3 लॉग का विश्लेषण करने के लिए कम करें

मैं वेब nginx लॉग का विश्लेषण करने के लिए ईएमआर का उपयोग कर रहा हूँ। लेकिन मुझे लॉग को संसाधित करने की आवश्यकता है ताकि क्वेरीिंग के लिए इसे आसान बनाने के लिए यह पंक्तियों और स्तंभों में गिर सके। इस प

11गर्मी

1उत्तर

हाइव, एस 3, ईएमआर, और पुनर्प्राप्ति विभाजन के साथ डेटा लोड हो रहा है

सॉल्व: इस समस्या के लिए 'समाधान' के लिए नीचे अपडेट # 2 देखें। s3://($BUCKET)/y=2012/m=11/d=09/H=10/ मैं हाइव में इन लोड करने का प्रयास कर रहा हूँ: ~~~~~~~ S3 में, मैं कुछ लॉग * .gz फ़ाइलों की तरह एक

9गर्मी

6उत्तर

क्या हडोप के साथ पायथन का उपयोग करने के लिए कोई वितरित मशीन लर्निंग लाइब्रेरी है?

मैंने विभिन्न मानक मशीन सीखने के कार्यों को पूर्ववत करने के लिए अमेज़ॅन लोचदार MapReduce के साथ खुद को स्थापित किया है। मैंने अतीत में स्थानीय मशीन सीखने के लिए पायथन का व्यापक रूप से उपयोग किया है और

8गर्मी

1उत्तर

अमेज़ॅन ईएमआर

के शीर्ष पर हाइव चलाने के लिए पायथन क्लाइंट समर्थन मैंने देखा है कि न तो mrjob और न ही बोटो अमेज़ॅन लोचदार MapReduce (ईएमआर) पर हाइव नौकरियां जमा करने और चलाने के लिए एक पायथन इंटरफ़ेस का समर्थन करता

6गर्मी

2उत्तर

अमेज़ॅन ईएमआर के साथ s3distcp का उपयोग एक फ़ाइल की प्रतिलिपि बनाने के लिए

मैं s3distcp का उपयोग करके केवल एक फ़ाइल को एचडीएफएस में कॉपी करना चाहता हूं। मैंने srcPattern तर्क का उपयोग करने का प्रयास किया है, लेकिन इससे मदद नहीं मिली और यह java.lang.Runtime अपवाद फेंकने पर चल

6गर्मी

2उत्तर

अमेज़ॅन लोचदार MapReduce - SIGTERM

मेरे पास एक ईएमआर स्ट्रीमिंग जॉब (पायथन) है जो सामान्य रूप से ठीक काम करती है (उदाहरण के लिए 10 मशीन 200 इनपुट प्रोसेसिंग)। हालांकि, जब मैं इसे बड़े डेटा सेट के खिलाफ चलाए (12 मशीनों, 6000 आदानों की क

8गर्मी

1उत्तर

अमेज़ॅन MapReduce लॉग विश्लेषण के लिए सर्वोत्तम प्रथाओं

मैं अपाचे, निजिनक्स, डार्विन (वीडियो स्ट्रीमिंग सर्वर) द्वारा उत्पन्न एक्सेस लॉग को पार्स कर रहा हूं और दिनांक/रेफरर/उपयोगकर्ता द्वारा प्रत्येक वितरित फ़ाइल के आंकड़े एकत्रित कर रहा हूं। लॉग के टन हर

7गर्मी

3उत्तर

टूटी पाइप त्रुटि

सब कुछ स्थानीय स्तर पर ठीक काम करता है विफल जब मैं कर के रूप में इस एडब्ल्यूएस पर स्ट्रीमिंग लचीला MapReduce काम का कारण बनता है: cat input | python mapper.py | sort | python reducer.py हालांकि, जब

11गर्मी

3उत्तर

जावा एप्लिकेशन में लोचदार MapReduce नौकरी प्रवाह को पूरा करने के लिए मैं कैसे इंतजार कर सकता हूं?

हाल ही में मैं अमेज़ॅन वेब सर्विसेज (एडब्लूएस) के साथ काम कर रहा हूं और मैंने देखा है कि इस विषय पर ज्यादा दस्तावेज़ीकरण नहीं है, इसलिए मैंने अपना समाधान जोड़ा। मैं अमेज़ॅन लोचदार MapReduce (अमेज़ॅन ई

5गर्मी

3उत्तर

s3distcp का उपयोग कर अमेज़ॅन एस 3 से एचडीएफएस की फाइलों को कॉपी करें

मैं ईएमआर में वर्कफ़्लो का उपयोग करके एस 3 से एचडीएफएस में फ़ाइलों की प्रतिलिपि बनाने की कोशिश कर रहा हूं और जब मैं नीचे कमांड चलाता हूं तो जॉबफ्लो सफलतापूर्वक शुरू होता है लेकिन फ़ाइल को कॉपी करने का