पायथन में urlencoded यूनिकोड स्ट्रिंग को कैसे निकालें?

Question

मेरे पास एक यूनिकोड स्ट्रिंग है जैसे "तनिम" जिसे किसी भी तरह "टैन% u0131m" के रूप में एन्कोड किया गया है। मैं इस एन्कोडेड स्ट्रिंग को वापस मूल यूनिकोड में कैसे परिवर्तित कर सकता हूं। स्पष्ट रूप से urllib.unquote यूनिकोड का समर्थन नहीं करता है।

Answer 1

% uXXXX तथ्य एक कार्यान्वयन जावास्क्रिप्ट देश में रहने के लिए जारी है कि बावजूद, एक non-standard encoding scheme कि W3C द्वारा अस्वीकार कर दिया गया है।

अधिक सामान्य तकनीक यूटीएफ -8 स्ट्रिंग को एन्कोड करने लगती है और फिर% XX का उपयोग करके परिणामस्वरूप बाइट से बचती है। यह योजना urllib.unquote द्वारा समर्थित है:

>>> urllib2.unquote("%0a") 
'\n' 

दुर्भाग्यवश, अगर आप वास्तव में जरूरत% uXXXX समर्थन करने के लिए, तो आप शायद अपने स्वयं के डिकोडर रोल करना होगा। अन्यथा, यह आपके यूनिकोड को केवल यूटीएफ -8 एन्कोड करने के लिए कहीं अधिक बेहतर होने की संभावना है और फिर परिणामी बाइट से बचें।

एक और पूरी उदाहरण:

>>> u"Tanım" 
u'Tan\u0131m' 
>>> url = urllib.quote(u"Tanım".encode('utf8')) 
>>> urllib.unquote(url).decode('utf8') 
u'Tan\u0131m' 

Answer 2

def unquote(text): 
    def unicode_unquoter(match): 
     return unichr(int(match.group(1),16)) 
    return re.sub(r'%u([0-9a-fA-F]{4})',unicode_unquoter,text) 

Answer 3

अगर आप पूरी तरह से इस राशि के लिए है (मैं वास्तव में "गैर मानक" रोता से सहमत हैं) यह यह करना होगा:

from urllib import unquote 

def unquote_u(source): 
    result = unquote(source) 
    if '%u' in result: 
     result = result.replace('%u','\\u').decode('unicode_escape') 
    return result 

print unquote_u('Tan%u0131m') 

> Tanım 

Answer 4

उपर्युक्त संस्करण में एक बग है जहां यह कभी-कभी बाहर निकलता है जब स्ट्रिंग में एसिसी एन्कोडेड और यूनिकोड एन्कोडेड वर्ण दोनों होते हैं। मुझे लगता है कि यह विशेष रूप से जब यूनिकोड के अलावा ऊपरी 128 रेंज जैसे '\ xab' के वर्ण होते हैं।

उदाहरण के लिए। "% 5 बी% एबी% u03E1% बीबी% 5 डी" इस त्रुटि का कारण बनता है।

मैंने पाया अगर आप सिर्फ यूनिकोड लोगों पहले किया था, समस्या दूर चला गया:

def unquote_u(source): 
    result = source 
    if '%u' in result: 
    result = result.replace('%u','\\u').decode('unicode_escape') 
    result = unquote(result) 
    return result