एचडीएफएस का कहना है कि फाइल अभी भी खुली है, लेकिन इसे लिखने की प्रक्रिया

Question

मैं हडूप के लिए नया हूं और मैंने पिछले कुछ घंटों में इस मुद्दे को Google पर कोशिश करने का प्रयास किया है, लेकिन मुझे कुछ भी मदद नहीं मिली। मेरी समस्या यह है कि एचडीएफएस का कहना है कि फ़ाइल अभी भी खुली है, भले ही इसे लिखने की प्रक्रिया लंबे समय से मर गई हो। इससे फ़ाइल से पढ़ना असंभव हो जाता है।

मैं निर्देशिका पर fsck भाग गया और यह सब कुछ स्वस्थ है रिपोर्ट करता है। लेकिन जब मैं चलाने "Hadoop ऍफ़एससीके -fs HDFS: // Hadoop/लॉग/कच्चे/directory_containing_file -openforwrite" मैं

Status: CORRUPT 
Total size: 222506775716 B 
Total dirs: 0 
Total files: 630 
Total blocks (validated): 3642 (avg. block size 61094666 B) 
    ******************************** 
    CORRUPT FILES: 1 
    MISSING BLOCKS: 1 
    MISSING SIZE:  30366208 B 
    ******************************** 
Minimally replicated blocks: 3641 (99.97254 %) 
Over-replicated blocks: 0 (0.0 %) 
Under-replicated blocks: 0 (0.0 %) 
Mis-replicated blocks:  0 (0.0 %) 
Default replication factor: 2 
Average block replication: 2.9991763 
Corrupt blocks:  0 
Missing replicas:  0 (0.0 %) 
Number of data-nodes:  23 
Number of racks:  1 

मिल फ़ाइल पर फिर से ऍफ़एससीके आदेश करने से उस openforwrite है मैं

.Status: HEALTHY 
Total size: 793208051 B 
Total dirs: 0 
Total files: 1 
Total blocks (validated): 12 (avg. block size 66100670 B) 
Minimally replicated blocks: 12 (100.0 %) 
Over-replicated blocks: 0 (0.0 %) 
Under-replicated blocks: 0 (0.0 %) 
Mis-replicated blocks:  0 (0.0 %) 
Default replication factor: 2 
Average block replication: 3.0 
Corrupt blocks:  0 
Missing replicas:  0 (0.0 %) 
Number of data-nodes:  23 
Number of racks:  1 

क्या किसी के पास कोई विचार है कि क्या हो रहा है और मैं इसे कैसे ठीक कर सकता हूं?

Answer 1

मुझे पता चला कि ब्लॉक गुम होने लगते हैं क्योंकि नामनोड सर्वर अस्थायी रूप से अनुपलब्ध था, इस प्रकार उस फ़ाइल के लिए फाइल सिस्टम को दूषित कर रहा था। यह गायब ब्लॉक के बिना फ़ाइल के हिस्से को अभी भी पढ़ा/कॉपी किया जा सकता है। HDFS में भ्रष्टाचार से निपटने पर कुछ अधिक जानकारी https://twiki.grid.iu.edu/bin/view/Storage/HadoopRecovery पर उपलब्ध है (दर्पण: http://www.webcitation.org/5xMTitU0r)

संपादित करें: ऐसा लगता है इस मुद्दे लिपिक (या अधिक विशेष DFSClient लिपिक द्वारा प्रयुक्त) जब लिखने की कोशिश कर फांसी के साथ एक समस्या की वजह से था एचडीएफएस के लिए। हमने मैन्युअल रूप से हमारे हैडूप क्लस्टर के स्रोत को HADOOP-6099 और HDFS-278 के साथ पैच किया, बाइनरी का पुनर्निर्माण किया और क्लस्टर को नए संस्करण के साथ पुनरारंभ किया। नए संस्करण के साथ चल रहे दो महीनों में कोई समस्या नहीं है।