अधिक कुशल एक स्ट्रिंग अचार के लिए रास्ता

Question

अचार मॉड्यूल स्ट्रिंग भागने पात्रों जब नमकीन बनाना उपयोग करने के लिए लगता है, यह अक्षम हो जाता है उदा। numpy arrays पर। पर विचार करें निम्नलिखित

z = numpy.zeros(1000, numpy.uint8) 
len(z.dumps()) 
len(cPickle.dumps(z.dumps())) 

लंबाई क्रमश: 1133 अक्षर और 4249 अक्षर हैं।

z.dumps() "\ x00 \ x00" (स्ट्रिंग में वास्तविक शून्य) जैसे कुछ बताता है, लेकिन अचार स्ट्रिंग के repr() फ़ंक्शन का उपयोग कर रहा है, जो "\ x00 \ x00 '" उत्पन्न करता है (शून्य Ascii शून्य)।

यानी (== झूठी "0" z.dumps() में) और ("0" cPickle.dumps में (z.dumps()) == यह सच है)

Answer 1

के बाद के संस्करण का उपयोग करके देखें pickle.dumps() पर प्रोटोकॉल पैरामीटर के साथ अचार प्रोटोकॉल। डिफ़ॉल्ट 0 है और एक ASCII पाठ प्रारूप है। 1 से अधिक लोग (मेरा सुझाव है कि आप pickle.HIGHEST_PROTOCOL का उपयोग करें)। प्रोटोकॉल प्रारूप 1 और 2 (और 3 लेकिन यह py3k के लिए है) बाइनरी हैं और अधिक जगह रूढ़िवादी होना चाहिए।

Answer 2

समाधान:

import zlib, cPickle 

def zdumps(obj): 
    return zlib.compress(cPickle.dumps(obj,cPickle.HIGHEST_PROTOCOL),9) 

def zloads(zstr): 
    return cPickle.loads(zlib.decompress(zstr)) 

>>> len(zdumps(z)) 
128 

Answer 3

vartec के जवाब में एक सुधार, कि (एक स्ट्रिंग में के बाद से यह सब कुछ के लिए मजबूर नहीं करता है) में थोड़ा और अधिक स्मृति कुशल लगता है:

def pickle(fname, obj): 
    import cPickle, gzip 
    cPickle.dump(obj=obj, file=gzip.open(fname, "wb", compresslevel=3), protocol=2) 

def unpickle(fname): 
    import cPickle, gzip 
    return cPickle.load(gzip.open(fname, "rb")) 

Answer 4

z.dumps() पहले से ही मसालेदार है स्ट्रिंग यानी, यह pickle.loads() का उपयोग कर unpickled जा सकता है:

>>> z = numpy.zeros(1000, numpy.uint8) 
>>> s = z.dumps() 
>>> a = pickle.loads(s) 
>>> all(a == z) 
True