2012-02-24 16 views
18

मुझे हाल ही में कई विकल्प मिलते हैं, और परिपक्वता और स्थिरता के आधार पर उनकी तुलना में दिलचस्प है।हैडोप के लिए जावा/स्कैला में डेटा Analytics पाइपलाइन बनाने के लिए सबसे परिपक्व लाइब्रेरी क्या है?

  1. क्रंच - https://github.com/cloudera/crunch
  2. डालते - https://github.com/cloudera/crunch/tree/master/scrunch
  3. व्यापक - http://www.cascading.org/
  4. तीखा https://github.com/twitter/scalding
  5. FlumeJava
  6. Scoobi - https://github.com/NICTA/scoobi/

उत्तर

2

स्कैल्डिंग को इसके ऊपर निर्मित महत्वपूर्ण ओपन सोर्स परियोजनाओं का लाभ भी है, जैसे मैट्रिक्स एपीआई और बीजगणित।

यहाँ कुछ उदाहरण हैं: http://sujitpal.blogspot.com/2012/08/scalding-for-impatient.html

Cascalog लगभग दो साल तीखा से पहले जारी किया गया था, और यकीनन मजबूत workflows के निर्माण के लिए और अधिक उन्नत सुविधाओं की है: https://github.com/nathanmarz/cascalog/wiki

14

मैं टाउन का एक डेवलपर के रूप में कर रहा हूँ मैं, एक निष्पक्ष जवाब की उम्मीद नहीं है।

सबसे पहले, फ्लूमजवा एक आंतरिक Google प्रोजेक्ट है जो मैपरेडस (हालांकि हडूप नहीं) पर एक (अजीब उत्पादक) अबास्ट्रक्शन प्रदान करता है। उन्होंने इसके बारे में एक पेपर जारी किया, जो स्कूबी और क्रंच जैसी परियोजनाएं आधारित हैं।

यदि आपका एकमात्र मानदंड परिपक्वता है - मुझे लगता है कि कैस्केडिंग आपकी सबसे अच्छी शर्त है।

हालांकि, अगर आप (इमोहो बेहतर) फ्लूम जावा शैली के अबास्ट्रक्शन की तलाश में हैं, तो आप (एस) क्रंच और स्कूबी के बीच चयन करना चाहेंगे।

सबसे बड़ा अंतर, सतही यह हो सकता है कि जावा में स्क्रैंच बाइंडिंग (स्क्रंच) के साथ क्रंच लिखा गया हो। और स्कूबी जावा बाइंडिंग्स (स्कोबिज) के साथ स्कैला में लिखा गया है। वे वास्तव में ठोस विकल्प दोनों हैं, और आप कभी भी गलत नहीं होंगे। मुझे यकीन है कि क्रंच के साथ काफी समान कहानी है, लेकिन वास्तविक परियोजनाओं में स्कूबी का उपयोग किया जा रहा है और निरंतर विकास में है। हम बग फिक्सिंग और सुविधाओं को लागू करने में बहुत सक्रिय हैं।

वैसे भी, वे दोनों के पीछे महान लोगों के साथ महान परियोजनाएं हैं और दोनों एक दूसरे के दिनों के भीतर जारी किए गए थे। वे एक ही अमूर्तता (समान एपीआई के साथ) प्रदान करते हैं, इसलिए दोनों के बीच स्विचिंग थोड़ी सी समस्या नहीं होगी। मेरी सिफारिश है कि उन्हें दोनों कोशिश करें, और देखें कि आपके लिए क्या काम करता है। वहाँ, या तो परियोजना में में कोई ताला 'तो तुम प्रतिबद्ध करने के लिए :)

की जरूरत नहीं है और अगर आप या तो इस परियोजना के लिए कोई प्रतिक्रिया है, तो कृपया उसे :)

5

मैं एक बड़ा हूँ प्रदान करना सुनिश्चित करें स्कूबी स्वयं प्रशंसक और मैंने इसे उत्पादन में उपयोग किया है। मुझे यह पसंद है कि यह आपको एक बहुत ही मूर्खतापूर्ण स्कैला तरीके से टाइप-सुरक्षित हैडोप प्रोग्राम लिखने की अनुमति देता है। यदि यह आवश्यक नहीं है और आपको कैस्केडिंग मॉडल पसंद है लेकिन आपको बड़ी संख्या में बॉयलरप्लेट कोड से डरना है, तो ट्विटर ने हाल ही में कैस्केडिंग नामक अपनी स्केल एब्स्ट्रक्शन लेयर को खोला है स्केलिंग

मुझे लगता है कि यह इस प्रकार यह सुविधा के लिहाज से चौखटे के सबसे एक दूसरे के बहुत करीब हैं इस बिंदु पर स्वाद के सभी एक बात है।