हडूप में "अवैध विभाजन" त्रुटि को कैसे ठीक करें?

Question

मैंने एक कस्टम विभाजनकर्ता लिखा है। जब मेरे पास 1 से अधिक कार्यों को कम करने की संख्या है, तो नौकरी विफल हो रही है। यह अपवाद जो मैं हो रही है:

java.io.IOException: Illegal partition for weburl_compositeKey@804746b1 (-1) 
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:930) 
at org.apache.hadoop.mapred.MapTask$OldOutputCollector.collect(MapTask.java:499) 

कोड जो मैं लिखा है

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return (key.hashCode()) % numPartitions; 
} 

यह key.hashCode()-719988079 के बराबर होती है और इस मूल्य का आधुनिक -1 लौट रहा है।

इस पर आपकी सहायता की सराहना करें। धन्यवाद।

Answer 1

आपके कस्टम Partitioner द्वारा गणना की गई विभाजन संख्या को गैर-नकारात्मक होना चाहिए। प्रयास करें:

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return (key.hashCode() & Integer.MAX_VALUE) % numPartitions; 
} 

Answer 2

या आप

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return (key.hashCode() & Integer.MAX_VALUE) % numPartitions; 
} 

Answer 3

एक चेतावनी का उपयोग कर सकते उपयोग के बारे में: आप इस मामले में जहां key.hashCode()Integer.MIN_VALUE के बराबर आप अभी भी एक नकारात्मक मिल जाएगा है हिट

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return Math.abs(key.hashCode()) % numPartitions; 
} 

विभाजन मूल्य यह जावा की एक विषमता है, लेकिन Math.abs(Integer.MIN_VALUE)Integer.MIN_VALUE (जैसा -2147483648 में) देता है। आप मॉड्यूलस का पूर्ण मूल्य सुरक्षित रखते हैं, जैसे:

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return Math.abs(key.hashCode() % numPartitions); 
}