एडब्लूएस ईसी 2

Question

पर एलैस्टिकसेर्च में लॉगस्टैश आउटपुट मुझे एडब्ल्यूएस ईसी 2 पर एलैस्टिकसेर्च क्लस्टर में आउटपुट करने के लिए लॉगस्टैश को कॉन्फ़िगर करने में समस्या हो रही है।

मैं लॉगस्टैश संस्करण 1.1.5 और लोचदार खोज 1.1 9.8 का उपयोग कर रहा हूं।

यह logstash में मेरी उत्पादन विन्यास है:

output { 
    stdout { debug => true debug_format => "json"} 
    elasticsearch { 
    cluster => "logstash-searcher" 
    node_name => "logstash-indexer" 
    } 
} 

और इस elasticsearch.yml में इसी विन्यास है

cluster.name: logstash-searcher 
path.data: /usr/local/elasticsearch/data 
path.work: /usr/local/elasticsearch/tmp 
path.logs: /usr/local/elasticsearch/logs 
path.plugins: /usr/local/elasticsearch/plugins 
bootstrap.mlockall: true 
cloud.aws.region: eu-west-1 
cloud.aws.access_key: -- 
cloud.aws.secret_key: -- 
discovery.type: ec2 
discovery.ec2.host_type: public_ip 
discovery.ec2.groups: elasticsearch 
gateway.type: s3 
gateway.s3.bucket: es-logstash 

transport.tcp.port: 9300-9400 

मैं का उपयोग कर logstash शुरू:

java -jar logstash-1.1.5-monolithic.jar agent -f shipper.conf 

और बाद स्टार्टअप के कुछ समय मुझे इन विफलताओं को मिलता है:

Failed to index an event, will retry {:exception=>org.elasticsearch.discovery.MasterNotDiscoveredException: waited for [1m], 

मेरा संदेह यह है कि लॉगस्टैश को क्लस्टर को खोजने में सक्षम होने के लिए क्लाउड-एएस जैसे क्लाउड-एएस की तरह कुछ उपयोग करने की आवश्यकता होती है। क्या किसी के पास एक उदाहरण कॉन्फ़िगरेशन है जो aws पर काम करता है?

Answer 1

समस्या यह है कि लॉगस्टैश के एम्बेडेड लोचदार खोज उदाहरण अपने डिफ़ॉल्ट खोज मोड का उपयोग कर रहा था। चूंकि लोचदार खोज क्लस्टर को cloud-aws के साथ कॉन्फ़िगर किया गया है, इसलिए लॉगस्टैश के एम्बेडेड लोचदार खोज भी आवश्यक हैं।

ऐसा करने के लिए आपको लॉगस्टैश की कार्य निर्देशिका में elasticsearch.yml कॉन्फ़िगरेशन फ़ाइल जोड़नी होगी। आपको कक्षा पथ में जोड़कर क्लाउड-एएस प्लगइन की आपूर्ति करने की भी आवश्यकता है।

java -cp logstash-1.1.7-monolithic.jar:cloud-aws/* logstash.runner agent -f shipper.conf 

इस कॉन्फ़िगरेशन का उपयोग करके मैं अपने लोचदार खोज क्लस्टर में आउटपुट में लॉगस्टैश प्राप्त करने में कामयाब रहा।