मैं एक लॉग देखने वाली उपयोगिता बना रहा हूं जो लॉग के टीबी में रीयल-टाइम खोज को संभालेगा। मैंने सोलर में लॉग स्टोर करने का फैसला किया है और इसे सर्च इंजन के रूप में इस्तेमाल किया है। मैं Django को अपने प्रोजेक्ट में ढांचे के रूप में उपयोग करूंगा। Django के साथ सोलर का उपयोग करने के लिए मैंने देखा है कि घास है। अब मेरा वास्तुकला इस तरह होगा।Django, Haystack, Solr, MongoDB आर्किटेक्चर निर्णय
Store Index Search Show
Log Stream ----------------> Solr --------> Haystack ------> Django
मेरे लॉग सामान्य लिनक्स सर्वर लॉग हैं, जैसे नेटवर्क, परिचालन, त्रुटि इत्यादि। Syslog लॉग भेज रहा है। मैं सभी लॉग लाइन के आधार पर फ़िल्टरिंग की अनुमति दूंगा। मैं, स्तंभ से क्रमबद्ध पूर्व के लिए अनुमति देगा: आईपी स्तंभ, तारीख स्तंभ आदि
उदाहरण लॉग:
Dec 11 13:24:03 2012 [firewall] R0 SRC=192.168.9.11 DST=192.168.11.29 LEN=83 TOS=0x00 PREC=0x00 TTL=64 ID=0 DF PROTO=UDP SPT=36904 DPT=161 LEN=63
मैं पूछने के लिए यह बेहतर लॉग में खोज भंडारण, छानने के रूप में MongoDB का उपयोग करें और के लिए है चाहते हैं या सौर बेहतर होगा। Elasticsearch भी मेरे दिमाग में आ रहा है। इस तरह के मामले में आपकी पसंद क्या होगी।
अग्रिम धन्यवाद।
आपको मोंगोडीबी की आवश्यकता क्यों है? सोलर आपके लिए पहले से ही लॉग स्टोर कर रहा है। –
उदाहरण के लिए यहां: http://highscalability.com/how-rackspace-now-uses-mapreduce-and-hadoop-query-terabytes-data वे लॉगों को संग्रहीत करने के लिए hdfs का उपयोग करते हैं जिन्हें मैंने इसे मोंगोडीबी के साथ बदल दिया है। सोलर केवल अनुक्रमण है। – denizeren
ऐसा लगता है कि मुझे यहां दिखाए गए मोंगोडीबी की आवश्यकता नहीं होगी http://graylog2.org/about केवल खोज इंजन पर्याप्त होगा। – denizeren