सीजीकल की तुलना में पाइथन में 1 जीबी ऑब्जेक्ट्स को deserialize कैसे करें?

Question

हमारे पास एक पायथन आधारित वेब सर्वर है जो cPickle का उपयोग करके स्टार्टअप पर कई बड़ी डेटा फ़ाइलों को अनपिक करता है। डेटा फाइलें (HIGHEST_PROTOCOL का उपयोग करके मसालेदार) डिस्क पर लगभग 0.4 जीबी हैं और 1.2 जीबी पायथन ऑब्जेक्ट्स के रूप में मेमोरी में लोड होती हैं - इसमें 20 सेकंड लगता है। हम 64-बिट विंडोज मशीनों पर पायथन 2.6 का उपयोग कर रहे हैं।

टोंटी निश्चित रूप से डिस्क नहीं है (यह कम से कम 0.5s लेता है वास्तव में इतना डेटा पढ़ने के लिए), लेकिन स्मृति आवंटन और ऑब्जेक्ट निर्माण (वहाँ बनाया जा रहा वस्तुओं के लाखों रहे हैं)। हम स्टार्टअप समय को कम करने के लिए 20s को कम करना चाहते हैं।

क्या cPickle (5-10x की तरह) से अधिक तेज़ पाइथन में 1 जीबी से अधिक वस्तुओं को deserialize करने का कोई तरीका है? चूंकि निष्पादन समय स्मृति आवंटन और ऑब्जेक्ट सृजन से बंधे हैं, इसलिए मुझे लगता है कि जेएसओएन जैसी कोई और अनपिक्लिंग तकनीक का उपयोग नहीं करेगा।

मैं कुछ व्याख्या भाषाओं एक डिस्क फ़ाइल के रूप में अपनी पूरी स्मृति छवि बचाने के लिए एक रास्ता है पता है, ताकि वे इसे स्मृति में वापस एक ही बार में सभी लोड कर सकते हैं, बिना प्रत्येक वस्तु के लिए आवंटन/निर्माण। क्या ऐसा करने का कोई तरीका है, या पाइथन में ऐसा कुछ हासिल करना है?

Answer 1

1. मार्शल मॉड्यूल का प्रयास करें - यह आंतरिक (बाइट-संकलक द्वारा प्रयुक्त) और जानबूझकर ज्यादा विज्ञापित नहीं है, लेकिन यह बहुत तेजी से है। ध्यान दें कि यह अचार जैसे उदाहरणों को क्रमबद्ध नहीं करता है, केवल बिल्टिन प्रकार (सटीक बाधाओं को याद न करें, दस्तावेज़ देखें)। यह भी ध्यान रखें कि प्रारूप स्थिर नहीं है।

2. यदि आपको कई प्रक्रियाओं को प्रारंभ करने की आवश्यकता है और एक प्रक्रिया को हमेशा लोड किया जा सकता है, तो एक सुरुचिपूर्ण समाधान है: वस्तुओं को एक प्रक्रिया में लोड करें, और फिर मांग पर प्रक्रियाओं को छोड़कर इसमें कुछ भी नहीं करें। फोर्किंग तेज है (लिखने पर प्रतिलिपि) और सभी प्रक्रियाओं के बीच स्मृति साझा करता है। [अस्वीकरण: अनचाहे; unlike Ruby, अजगर रेफरी गिनती पेज प्रतियां ट्रिगर किया जाएगा अगर आप विशाल वस्तुओं है और/या उनमें से एक छोटा सा अंश का उपयोग तो यह शायद बेकार है।]

3. यदि आपका वस्तुओं NumPy सरणी की तरह कच्चे डेटा के बहुत सारे होते हैं, आप उन्हें बहुत तेजी से स्टार्टअप के लिए स्मृति-मानचित्र कर सकते हैं। इन परिदृश्यों के लिए pytables भी अच्छा है।

4. आप केवल वस्तुओं के एक छोटे से हिस्से का उपयोग करेंगे, तो एक OO डेटाबेस (Zope की तरह) शायद आप कर सकते हैं। यद्यपि यदि आपको स्मृति में सभी की आवश्यकता है, तो आप थोड़ा लाभ के लिए बहुत सारे ओवरहेड बर्बाद कर देंगे। (कभी भी इस्तेमाल नहीं किया जाता है, इसलिए यह बकवास हो सकता है)।

5. हो सकता है कि अन्य अजगर कार्यान्वयन यह कर सकते हैं? पता नहीं है, सिर्फ एक विचार ...

Answer 2

मैंने सीपीकल (या पायथन) का उपयोग नहीं किया है, लेकिन इस तरह के मामलों में मुझे लगता है कि सबसे अच्छी रणनीति वस्तुओं की अनावश्यक लोडिंग से बचने के लिए वास्तव में आवश्यक है - एक अलग थ्रेड पर शुरू होने के बाद लोड कहें, वास्तव में स्पष्ट कारणों से किसी भी समय अनावश्यक लोडिंग/प्रारंभिकरण से बचने के लिए यह आमतौर पर बेहतर होता है। Google 'आलसी लोडिंग' या 'आलसी प्रारंभिक'। यदि आपको सर्वर शुरू होने से पहले कुछ कार्य करने के लिए वास्तव में सभी ऑब्जेक्ट्स की आवश्यकता होती है तो हो सकता है कि आप मैन्युअल कस्टम deserialization विधि को लागू करने का प्रयास कर सकते हैं, दूसरे शब्दों में कुछ खुद को लागू करें यदि आपके पास उस डेटा का अंतरंग ज्ञान है जिसके साथ आप निपटेंगे 'निचोड़' बेहतर प्रदर्शन तो इसके साथ निपटने के लिए सामान्य उपकरण।

Answer 3

आप HIGHEST_PROTOCOL का उपयोग नहीं कर से अचार बनाने की दक्षता त्याग की कोशिश की? यह स्पष्ट नहीं है कि इस प्रोटोकॉल का उपयोग करने के साथ प्रदर्शन लागत क्या है, लेकिन यह एक कोशिश के लायक हो सकता है।

Answer 4

असंभव के बारे में डेटा किस तरह आप लोड हो रहा है और आप इसे कैसे उपयोग कर रहे हैं और अधिक जानने के बिना इस जवाब देने के लिए।

यदि यह व्यापार तर्क किसी प्रकार का है, हो सकता है आप इसे एक पूर्व संकलित मॉड्यूल में बदल की कोशिश करनी चाहिए;

यह डेटा संरचित है, तो आप इसे एक डेटाबेस को सौंप सकते हैं और केवल खींच क्या आवश्यकता है?

क्या डेटा में नियमित संरचना है? क्या इसे विभाजित करने और क्या आवश्यक है तय करने का कोई तरीका है और केवल तभी लोड करें?

Answer 5

क्या आप सीधे फ़ाइल से मसालेदार डेटा को लोड() करते हैं? फ़ाइल को स्मृति में लोड करने का प्रयास करने के बारे में और फिर लोड करें? मैं cStringIO() की कोशिश करने के साथ शुरू करूंगा; वैकल्पिक रूप से आप स्ट्रिंगियो का अपना संस्करण लिखने का प्रयास कर सकते हैं जो मेमोरी को टुकड़ा करने के लिए बफर() का उपयोग करेगा जो आवश्यक प्रतिलिपि() संचालन को कम करेगा (cStringIO अभी भी तेज हो सकता है, लेकिन आपको कोशिश करनी होगी)।

इस तरह के संचालन विशेष रूप से विंडोज प्लेटफ़ॉर्म पर करते समय कभी-कभी बड़ी प्रदर्शन बाधाएं होती हैं; विंडोज सिस्टम किसी भी तरह से बहुत कम पढ़ने के लिए बहुत ही अप्रचलित है जबकि यूनिक्स बहुत अच्छी तरह से सामना करते हैं; अगर लोड() बहुत कम पढ़ता है या आप डेटा को पढ़ने के लिए लोड() कई बार कॉल कर रहे हैं, तो इससे मदद मिलेगी।

Answer 6

मैं एक जवाब है कि उपयोगी हो सकता है जोड़ देंगे - अगर आप कर सकते हैं, तो आप _ परिभाषित करने की कोशिश कर सकते हैं स्लॉट्स _ वर्ग है कि सबसे अधिक पर बनाया था? यह थोड़ा सीमित और असंभव हो सकता है, हालांकि ऐसा लगता है कि मेरे परीक्षण पर शुरुआत के लिए आवश्यक समय में कटौती की गई है।