पढ़ें बिग txt फ़ाइल, मेमोरी अपवाद से

Question

मैं बड़ा TXT फ़ाइल का आकार 500 एमबी, सबसे पहले है मैं

var file = new StreamReader(_filePath).ReadToEnd(); 
var lines = file.Split(new[] { '\n' }); 

का उपयोग, लेकिन यह स्मृति अपवाद के बाहर फेंक पढ़ना चाहते हैं तो मैं लाइन द्वारा लाइन को पढ़ने के लिए करने की कोशिश की लेकिन फिर से चारों ओर 15 लाख लाइनों को पढ़ने के बाद यह स्मृति अपवाद

using (StreamReader r = new StreamReader(_filePath)) 
     {    
      while ((line = r.ReadLine()) != null)    
       _lines.Add(line);    
     } 

से बाहर फेंक या मैं

foreach (var l in File.ReadLines(_filePath)) 
      { 
       _lines.Add(l); 
      } 

इस्तेमाल किया

लेकिन फिर मैं

प्रकार 'System.OutOfMemoryException' mscorlib.dll में हुई एक अपवाद प्राप्त लेकिन उपयोगकर्ता कोड में संभाला नहीं गया था

मेरे मशीन तो यह राम के 8GB के साथ शक्तिशाली मशीन है मेरी मशीन समस्या नहीं होनी चाहिए।

p.s: मैंने इस फ़ाइल को नोटपैड ++ में खोलने का प्रयास किया और मुझे 'फ़ाइल खोलने के लिए बहुत बड़ी है' अपवाद प्राप्त हुआ।

Answer 1

बस File.ReadLines जो एक IEnumerable<string> वापस आती है और याद करने के लिए एक ही बार में सभी लाइनों लोड नहीं करता है का उपयोग करें।

foreach (var line in File.ReadLines(_filePath)) 
{ 
    //Don't put "line" into a list or collection. 
    //Just make your processing on it. 
} 

Answer 2

अपवाद का कारण _lines संग्रह बढ़ रहा है लेकिन बड़ी फ़ाइल नहीं पढ़ रहा है। आप लाइन और adding to some collection _lines which will be taking memory and causing out of memory execption पढ़ रहे हैं। आप केवल आवश्यक लाइनों को _lines संग्रह में रखने के लिए फ़िल्टर लागू कर सकते हैं।

Answer 3

संपादित करें:

स्मृति में पूरे फ़ाइल लोड वस्तुओं विकसित करने के लिए पैदा कर रहा हो जाएगा, और अगर यह एक वस्तु के लिए पर्याप्त सन्निहित स्मृति आवंटित नहीं कर सकता .net OOM अपवाद फेंक देते हैं।

उत्तर अभी भी वही है, आपको फ़ाइल को स्ट्रीम करने की आवश्यकता है, पूरी सामग्री को नहीं पढ़ा है। इसके लिए आपके आवेदन के पुनर्चक्रण की आवश्यकता हो सकती है, हालांकि IEnumerable<> विधियों का उपयोग करके आप अनुप्रयोगों के विभिन्न क्षेत्रों और स्थगित प्रसंस्करण में व्यावसायिक प्रक्रियाओं को ढेर कर सकते हैं।

---

रैम 8GB के साथ एक "शक्तिशाली" मशीन, स्मृति में एक 500GB फ़ाइल स्टोर करने के लिए सक्षम होने के लिए 500 के रूप में 8. तुलना में बड़ा है नहीं जा रहा है (प्लस आप ऑपरेटिंग सिस्टम के रूप 8 नहीं मिलता कुछ हो जाएगा, आप नेट में सभी मेमोरी आवंटित नहीं कर सकते हैं। नेट, 32-बिट में 2 जीबी की सीमा है, फाइल खोलने और लाइन को स्टोर करने से डेटा दो बार होगा, ऑब्जेक्ट साइज ओवरहेड है ....)

आप पूरी चीज को स्मृति में लोड करने के लिए लोड नहीं कर सकते हैं, आपको अपनी प्रसंस्करण के माध्यम से फ़ाइल स्ट्रीम करना होगा।