जावा

Question

के लिए अच्छा और प्रभावी सीएसवी/टीएसवी रीडर मैं 1000000 पंक्तियों या उससे अधिक के साथ बड़े CSV और TSV (टैब सेपरेटेड) फ़ाइलों को पढ़ने की कोशिश कर रहा हूं। अब मैंने ~2500000 लाइनों को opencsv के साथ पढ़ने की कोशिश की, लेकिन यह मुझे java.lang.NullPointerException फेंकता है। यह ~250000 लाइनों वाली छोटी TSV फ़ाइलों के साथ काम करता है। तो मैं सोच रहा था कि क्या कोई अन्य Libraries है जो विशाल CSV और TSV फ़ाइलों के पढ़ने का समर्थन करता है। आपके पास कोई विचार है?

हर कोई जो मेरी कोड में रुचि रखता है (मैं इसे छोटा है, तो जाहिर है Try-Catch अमान्य है):

InputStreamReader in = null; 
CSVReader reader = null; 
try { 
    in = this.replaceBackSlashes(); 
    reader = new CSVReader(in, this.seperator, '\"', this.offset); 
    ret = reader.readAll(); 
} finally { 
    try { 
     reader.close(); 
    } 
} 

संपादित करें:

private InputStreamReader replaceBackSlashes() throws Exception { 
     FileInputStream fis = null; 
     Scanner in = null; 
     try { 
      fis = new FileInputStream(this.csvFile); 
      in = new Scanner(fis, this.encoding); 
      ByteArrayOutputStream out = new ByteArrayOutputStream(); 

      while (in.hasNext()) { 
       String nextLine = in.nextLine().replace("\\", "/"); 
       // nextLine = nextLine.replaceAll(" ", ""); 
       nextLine = nextLine.replaceAll("'", ""); 
       out.write(nextLine.getBytes()); 
       out.write("\n".getBytes()); 
      } 

      return new InputStreamReader(new ByteArrayInputStream(out.toByteArray())); 
     } catch (Exception e) { 
      in.close(); 
      fis.close(); 
      this.logger.error("Problem at replaceBackSlashes", e); 
     } 
     throw new Exception(); 
    } 

Answer 1

मैं: इस विधि जहाँ मैं InputStreamReader का निर्माण है कोशिश नहीं की है, लेकिन मैंने पहले सुपरसीएसवी की जांच की थी।

http://sourceforge.net/projects/supercsv/

http://supercsv.sourceforge.net/

चेक है कि अगर आप के लिए काम करता है, 25 लाख लाइनों।

Answer 2

Satish द्वारा सुझाए गए पुस्तकालयों को स्विच करने का प्रयास करें। अगर इससे मदद नहीं मिलती है, तो आपको पूरी फाइल को टोकन में विभाजित करना होगा और उन्हें संसाधित करना होगा।

में सोच रही थी कि अपने CSV अल्पविराम के

// r is the BufferedReader pointed at your file 
String line; 
StringBuilder file = new StringBuilder(); 
// load each line and append it to file. 
while ((line=r.readLine())!=null){ 
    file.append(line); 
} 
// Make them to an array 
String[] tokens = file.toString().split(","); 

तो फिर तुम इसे संसाधित कर सकते हैं के लिए किसी भी भागने पात्रों पड़ा। इसका उपयोग करने से पहले टोकन को ट्रिम करना न भूलें।

Answer 3

मुझे नहीं पता कि यह प्रश्न अभी भी सक्रिय है, लेकिन यहां मैं सफलतापूर्वक उपयोग करता हूं। फिर भी, इस तरह के स्ट्रीम या Iterable के रूप में अधिक इंटरफेस को लागू करने के लिए हो सकता है, लेकिन:

import java.io.Closeable; 
import java.io.File; 
import java.io.FileNotFoundException; 
import java.io.IOException; 
import java.io.InputStream; 
import java.util.Scanner; 

/** Reader for the tab separated values format (a basic table format without escapings or anything where the rows are separated by tabulators).**/ 
public class TSVReader implements Closeable 
{ 
    final Scanner in; 
    String peekLine = null; 

    public TSVReader(InputStream stream) throws FileNotFoundException 
    { 
     in = new Scanner(stream); 
    } 

    /**Constructs a new TSVReader which produces values scanned from the specified input stream.*/ 
    public TSVReader(File f) throws FileNotFoundException {in = new Scanner(f);} 

    public boolean hasNextTokens() 
    { 
     if(peekLine!=null) return true; 
     if(!in.hasNextLine()) {return false;} 
     String line = in.nextLine().trim(); 
     if(line.isEmpty()) {return hasNextTokens();} 
     this.peekLine = line;  
     return true;   
    } 

    public String[] nextTokens() 
    { 
     if(!hasNextTokens()) return null;  
     String[] tokens = peekLine.split("[\\s\t]+"); 
//  System.out.println(Arrays.toString(tokens)); 
     peekLine=null;  
     return tokens; 
    } 

    @Override public void close() throws IOException {in.close();} 
} 

Answer 4

TSV आदानों पार्स करने के लिए एक सीएसवी पार्सर का उपयोग न करें। यदि टीएसवी में उद्धरण चरित्र के साथ फ़ील्ड हैं, तो यह तोड़ देगा।

uniVocity-parsers एक टीएसवी पार्सर के साथ आता है। आप समस्याओं के बिना एक अरब पंक्तियों का विश्लेषण कर सकते हैं।

उदाहरण एक TSV इनपुट पार्स करने के लिए:

TsvParserSettings settings = new TsvParserSettings(); 
TsvParser parser = new TsvParser(settings); 

// parses all rows in one go. 
List<String[]> allRows = parser.parseAll(new FileReader(yourFile)); 

यदि आपका इनपुट इतना बड़ा यह स्मृति में नहीं रखा जा सकता है, ऐसा करते हैं:

TsvParserSettings settings = new TsvParserSettings(); 

// all rows parsed from your input will be sent to this processor 
ObjectRowProcessor rowProcessor = new ObjectRowProcessor() { 
    @Override 
    public void rowProcessed(Object[] row, ParsingContext context) { 
     //here is the row. Let's just print it. 
     System.out.println(Arrays.toString(row)); 
    } 
}; 
// the ObjectRowProcessor supports conversions from String to whatever you need: 
// converts values in columns 2 and 5 to BigDecimal 
rowProcessor.convertIndexes(Conversions.toBigDecimal()).set(2, 5); 

// converts the values in columns "Description" and "Model". Applies trim and to lowercase to the values in these columns. 
rowProcessor.convertFields(Conversions.trim(), Conversions.toLowerCase()).set("Description", "Model"); 

//configures to use the RowProcessor 
settings.setRowProcessor(rowProcessor); 

TsvParser parser = new TsvParser(settings); 
//parses everything. All rows will be pumped into your RowProcessor. 
parser.parse(new FileReader(yourFile)); 

प्रकटीकरण: मैं कर रहा हूँ के लेखक यह पुस्तकालय यह ओपन-सोर्स और फ्री (अपाचे वी 2.0 लाइसेंस) है।