हडूप नौकरियों को कैसे मारना है

Question

जब मेरा कोड एक अनचाहे अपवाद का सामना करता है तो मैं अपने सभी हडूप नौकरियों को स्वचालित रूप से मारना चाहता हूं। मैं सोच रहा हूं कि ऐसा करने का सबसे अच्छा अभ्यास क्या है?

धन्यवाद

Answer 1

एक बिना क्रिया का अपवाद (यह मानते हुए कि यह एक विशेष डेटा नोड से त्रुटियों को पढ़ने के लिए विरोध के रूप में बुरा डेटा की तरह दोहराने योग्य है) होगा अंततः वैसे भी काम असफल।

आपको कभी-कभी एक विशेष नक्शा की अधिकतम संख्या को कॉन्फ़िगर या पहले पूरे काम में विफल रहता है असफल हो सकता है निम्नलिखित गुण के माध्यम से कार्य को कम कर सकते हैं:

• mapred.map.max.attempts - प्रति नक्शा कार्य प्रयासों की अधिकतम संख्या। दूसरे शब्दों में, ढांचा इसे छोड़ने से पहले कई बार नक्शा कार्य निष्पादित करने का प्रयास करेगा।
• mapred.reduce.max.attempts - एक ही जैसा कि ऊपर है, लेकिन के लिए कार्य

को कम आप पहली बार की विफलता, के लिए 1.

Answer 2

के आधार पर 4 की अपनी डिफ़ॉल्ट से यह मान सेट पर काम बाहर असफल करना चाहते हैं संस्करण, कार्य करें:

संस्करण < 2.3.0

एक Hadoop काम को मारने:

hadoop job -kill $jobId 

आप सभी jobId के कर की एक सूची प्राप्त कर सकते हैं:

yarn application -kill $ApplicationId 

:

hadoop job -list 

---

संस्करण> = 2.3.0

एक Hadoop काम को मारने आप सभी एप्लिकेशन आईडी की एक सूची प्राप्त कर सकते हैं कर रहा है:

yarn application -list 

Answer 3

बस प्रक्रिया आईडी को मजबूती से मार दें, हैडऑप नौकरी स्वचालित रूप से भी मारे जायेगी। इस आदेश का उपयोग करें:

kill -9 <process_id> 

folloing कमान की

eg: process ID no: 4040 namenode

username@hostname:~$ kill -9 4040 

Answer 4

उपयोग मूल्यह्रास हुआ है

hadoop job -list 
hadoop job -kill $jobId 

mapred job -list 
mapred job -kill $jobId 

Answer 5

भागो list का उपयोग कर सभी नौकरियों को दिखाने के लिए विचार करते हैं, तो का उपयोग उपयुक्त सी में jobID/applicationID ommand।

को मार डालो mapred नौकरियों:

mapred job -list 
mapred job -kill <jobId> 

को मार डालो यार्न नौकरियों:

yarn application -list 
yarn application -kill <ApplicationId>