स्थानीय सिस्टम से एचडीएफएस जावा कोड

Question

पर निर्देशिका की प्रतिलिपि बनाने में मुझे जावा कोड का उपयोग कर अपने स्थानीय सिस्टम से एचडीएफएस में एक निर्देशिका की प्रतिलिपि बनाने की कोशिश करने में समस्या आ रही है। मैं अलग-अलग फ़ाइलों को स्थानांतरित करने में सक्षम हूं लेकिन उप-फ़ोल्डर और फ़ाइलों के साथ एक संपूर्ण निर्देशिका को स्थानांतरित करने का एक तरीका नहीं समझ सकता। क्या कोई मेरी यह मदद कर सकता है? अग्रिम में धन्यवाद।

Answer 1

बस FileSystem की copyFromLocalFile विधि का उपयोग करें। स्रोत पथ एक स्थानीय निर्देशिका यह HDFS गंतव्य में कॉपी किया जायेगा है:

... 
Configuration conf = new Configuration(); 
conf.addResource(new Path("/home/user/hadoop/conf/core-site.xml")); 
conf.addResource(new Path("/home/user/hadoop/conf/hdfs-site.xml")); 

FileSystem fs = FileSystem.get(conf); 
fs.copyFromLocalFile(new Path("/home/user/directory/"), 
    new Path("/user/hadoop/dir")); 
... 

Answer 2

यहाँ पढ़ सकते हैं और HDFS करने के लिए लिखने के लिए पूरा काम कर कोड है। यह दो तर्क

1. इनपुट पथ (स्थानीय/HDFS)

2. आउटपुट पथ (HDFS)

मैं क्लाउडेरा सैंडबॉक्स इस्तेमाल किया लेता है।

package hdfsread; 

import java.io.BufferedInputStream; 
import java.io.FileInputStream; 
import java.io.IOException; 
import java.io.InputStream; 
import java.io.OutputStream; 
import java.net.URI; 

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.IOUtils; 

public class ReadingAFileFromHDFS { 

    public static void main(String[] args) throws IOException { 
     String uri = args[0]; 
     InputStream in = null; 
     Path pt = new Path(uri); 
     Configuration myConf = new Configuration(); 
     Path outputPath = new Path(args[1]); 

     myConf.set("fs.defaultFS","hdfs://quickstart.cloudera:8020"); 
     FileSystem fSystem = FileSystem.get(URI.create(uri),myConf); 
     OutputStream os = fSystem.create(outputPath); 
     try{ 
      InputStream is = new BufferedInputStream(new FileInputStream(uri)); 
      IOUtils.copyBytes(is, os, 4096, false); 
     } 
     catch(IOException e){ 
      e.printStackTrace(); 
     } 
     finally{ 
      IOUtils.closeStream(in); 
     } 
    } 
}