जावा

Question

के साथ ज़िप में एक बड़ी फ़ाइल को संपीड़ित करने के लिए मुझे जावा क्लास ZipOutputStream के माध्यम से एक बड़ी फ़ाइल (~ 450 Mbyte) को संपीड़ित करने की आवश्यकता है। यह बड़ा आयाम मेरे जेवीएम हीप स्पेस की "आउटऑफमेमरी" त्रुटि की समस्या का कारण बनता है। ऐसा इसलिए होता है क्योंकि "zos.write (...)" विधि सभी फ़ाइल सामग्री को संपीड़ित करने से पहले एक आंतरिक बाइट सरणी में संपीड़ित करने के लिए संग्रहीत करती है।

  origin = new BufferedInputStream(fi, BUFFER); 
     ZipEntry entry = new ZipEntry(filePath); 
     zos.putNextEntry(entry); 

     int count; 
     while ((count = origin.read(data, 0, BUFFER)) != -1) 
     { 
      zos.write(data, 0, count); 
     } 
     origin.close(); 

प्राकृतिक समाधान JVM के ढेर स्मृति स्थान विस्तार करने के लिए किया जाएगा, लेकिन मैं अगर वहाँ एक स्ट्रीमिंग तरीके से इस डेटा लिखने के लिए एक विधि है पता करना चाहते हैं। मुझे उच्च संपीड़न दर की आवश्यकता नहीं है इसलिए मैं एल्गोरिदम भी बदल सकता हूं।

क्या किसी को इसके बारे में कोई जानकारी है?

Answer 1

सैम की प्रतिक्रिया के बारे में आपकी टिप्पणी के अनुसार, आपने स्पष्ट रूप से एक ZipOutputStream बनाया है, जो एक ByteArrayOutputStream को लपेटता है। पाठ्यक्रम के ByteArrayOutputStream स्मृति में संकुचित परिणाम कैश करता है। यदि आप डिस्क पर लिखे गए हैं, तो आपको ZipOutputStream को FileOutputStream के आस-पास लपेटना होगा।

Answer 2

TrueZip नामक एक लाइब्रेरी है जिसे मैंने अतीत में इस तरह की चीज करने के लिए अच्छी सफलता के साथ उपयोग किया है।

मैं गारंटी नहीं दे सकता कि यह बफरिंग फ्रंट पर बेहतर होगा। मुझे पता है कि जेडीके के ज़िप एपीआई के मुकाबले यह अपने कोडिंग के साथ बहुत सी चीजें करता है।

तो मेरी राय में, यह एक कोशिश के लायक है।

Answer 3

ZipOutputStream स्ट्रीम-आधारित है, यह स्मृति पर नहीं है। आपका बफर बहुत बड़ा हो सकता है।

Answer 4

मुझे आश्चर्य है कि ऐसा इसलिए है क्योंकि आप ZipEntry में सामग्री संग्रहीत कर रहे हैं, शायद यह मूल रूप से ZipEntry लिखने से पहले अपनी सभी सामग्री लोड करता है। क्या आपको ज़िप का उपयोग करना है? यदि यह केवल एक डेटा स्ट्रीम है जिसे आपको संपीड़ित करने की आवश्यकता है तो आप इसके बजाय GZIPOutputStream में देख सकते हैं। मेरा मानना ​​है कि इसमें एक ही समस्या नहीं होगी।

उम्मीद है कि इससे मदद मिलती है।