2010-03-01 42 views
7

मैं एकाधिक नोड्स लॉग फ़ाइलों (मेरे मामले में अपाचे एक्सेस और त्रुटि लॉग में) से निर्यात करना चाहता हूं और एक निर्धारित नौकरी के रूप में बैच में डेटा को जोड़ना चाहता हूं। मैंने कई समाधान देखे हैं जो स्ट्रीमिंग डेटा के साथ काम करते हैं (यानी मुझे लगता है)। मुझे एक उपकरण चाहिए जो मुझे गंतव्य को परिभाषित करने के लिए लचीलापन देता है। यह आवश्यकता इस तथ्य से आती है कि मैं गंतव्य के रूप में एचडीएफएस का उपयोग करना चाहता हूं।क्या कोई मौजूदा बैच लॉग फ़ाइल एकत्रीकरण समाधान है?

मैं बैच में इसका समर्थन करने वाला कोई टूल नहीं ढूंढ पाया। पहिया को फिर से बनाने से पहले मैं अपने इनपुट के लिए स्टैक ओवरफ्लो समुदाय से पूछना चाहता था।

यदि कोई समाधान पहले से ही पाइथन में मौजूद है जो बेहतर होगा।

उत्तर

-1

PiCloud मदद कर सकता है।

PiCloud प्लेटफ़ॉर्म आपको पाइपलाइन कि प्रावधानीकरण, प्रबंधन और बनाए रखने के सर्वर के साथ आता है के सभी में समय डूब के बिना अपने एल्गोरिदम और सॉफ्टवेयर विकसित करने के स्वतंत्रता देता है।

0

Zomhg, HBase और HDFS का उपयोग कर लॉग फाइल के लिए अपने एक एकत्रीकरण/रिपोर्टिंग प्रणाली पर एक नज़र डालें: http://github.com/zohmg/zohmg

0

स्क्राइब अपनी आवश्यकताओं को पूरा कर सकते हैं, वहाँ मुंशी से लॉग समेकित कर सकते हैं इस बात का एक संस्करण (link) है एकाधिक स्रोत, और दिए गए थ्रेसहोल्ड तक पहुंचने के बाद यह सब कुछ एचडीएफएस में स्टोर करता है। मैंने इसका इस्तेमाल किया है और यह बहुत अच्छी तरह से काम करता है। संकलन काफी जटिल है, इसलिए यदि आपको कोई समस्या है तो कोई प्रश्न पूछें।