एक बड़ी टेक्स्ट फ़ाइल (कई जीबी) पढ़ने के लिए पायथन सबसे तेज़ तरीका

Question

मेरे पास एक बड़ी टेक्स्ट फ़ाइल (~ 7 जीबी) है। मैं देख रहा हूं कि बड़ी टेक्स्ट फ़ाइल पढ़ने का सबसे तेज़ तरीका मौजूद है या नहीं। प्रक्रिया को गति देने के लिए मैं कई दृष्टिकोणों को पढ़ने के बारे में पढ़ रहा हूं।

उदाहरण effbot में आदेश प्रति सेकंड पाठ की 96,900 लाइनों को संसाधित करने के

# File: readline-example-3.py 

file = open("sample.txt") 

while 1: 
    lines = file.readlines(100000) 
    if not lines: 
     break 
    for line in lines: 
     pass # do something**strong text** 

सुझाव देते हैं। अन्य authors) islice उपयोग करने के लिए (

from itertools import islice 

with open(...) as f: 
    while True: 
     next_n_lines = list(islice(f, n)) 
     if not next_n_lines: 
      break 
     # process next_n_lines 

list(islice(f, n)) फ़ाइल f की अगली n लाइनों की एक सूची प्रदान करेगा सुझाव देते हैं। एक पाश के अंदर इस का उपयोग करके आप n लाइनों

Answer 1

with open(<FILE>) as FileObj: 
    for lines in FileObj: 
     print lines # or do some other thing with the line... 

स्मृति को समय में एक लाइन पढ़ा जाएगा, और जब किया फ़ाइल को बंद की मात्रा में फ़ाइल दे देंगे ...