मैं s3distcp का उपयोग करके केवल एक फ़ाइल को एचडीएफएस में कॉपी करना चाहता हूं। मैंने srcPattern तर्क का उपयोग करने का प्रयास किया है, लेकिन इससे मदद नहीं मिली और यह java.lang.Runtime अपवाद फेंकने पर चल
पर फ़ाइल संपीड़ित करें मेरे पास S3 पर 17.7GB फ़ाइल है। यह एक हाइव क्वेरी के आउटपुट के रूप में उत्पन्न किया गया था, और यह संपीड़ित नहीं है। मुझे पता है कि इसे संपीड़ित करके, यह लगभग 2.2GB (gzip) होगा।
मैं ईएमआर, से अधिक छत्ता चल रहा हूँ और सभी ईएमआर उदाहरणों के लिए कुछ फ़ाइलों की प्रतिलिपि की जरूरत है। एक तरीका जिस तरह से मैं समझता हूं कि प्रत्येक नोड पर स्थानीय फाइल सिस्टम में फाइलों की प्रतिलिपि