urllib2 HTTP त्रुटि 42 9

Question

तो मेरे पास उप-reddits की एक सूची है और मैं उन्हें खोलने के लिए urllib का उपयोग कर रहा हूँ।

कोई और अधिक एक हर दो सेकंड से अनुरोध करें: कुछ शोध मैंने पाया कि reddit आईपी द्वारा अपने सर्वर के लिए अनुरोध की राशि की सीमा कर

urllib2.HTTPError: HTTP Error 429: Unknown 

: मैं उन के माध्यम से जाना के रूप में अंत में urllib के साथ विफल । अनुरोधों के विस्फोटों के लिए कुछ भत्ता है, लेकिन इसे शांत रखें। आम तौर पर, इसे एक मिनट में 30 से अधिक अनुरोधों पर रखें।

तो मुझे लगा कि मैं प्रत्येक 10 सेकंड में एक पृष्ठ पर अपने अनुरोधों को सीमित करने के लिए time.sleep() का उपयोग करूंगा। यह भी असफल हो जाता है।

ऊपर उद्धरण reddit API पृष्ठ से लिया गया है। मैं reddit एपीआई का उपयोग नहीं कर रहा हूँ। इस बिंदु पर मैं दो चीजें सोच रहा हूँ। या तो वह सीमा केवल Reddit API या urllib पर लागू होती है, इसकी सीमा भी होती है।

क्या किसी को पता है कि इनमें से कौन सी चीजें हैं? या मैं इस मुद्दे के आसपास कैसे जा सकता हूं?

Answer 1

https://github.com/reddit/reddit/wiki/API से:

कई डिफ़ॉल्ट उपयोगकर्ता-एजेंट ("पायथन/urllib" या "जावा" की तरह) काफी अनोखी और वर्णनात्मक उपयोगकर्ता के एजेंट स्ट्रिंग प्रोत्साहित करने के लिए सीमित हैं।

यह नियमित अनुरोधों पर भी लागू होता है। अनुरोध करते समय आपको अपने स्वयं के उपयोगकर्ता एजेंट शीर्षलेख की आपूर्ति करने की आवश्यकता है।

#TODO: change user agent string 
hdr = { 'User-Agent' : 'super happy flair bot by /u/spladug' } 
req = urllib2.Request(url, headers=hdr) 
html = urllib2.urlopen(req).read() 

हालांकि, यह प्रत्येक अनुरोध के लिए एक नया कनेक्शन बनाएगा। मैं एक और लाइब्रेरी का उपयोग करने का सुझाव देता हूं जो कनेक्शन का पुनः उपयोग करने में सक्षम है, httplib या Request, उदाहरण के लिए। यह सर्वर पर कम दबाव डाल दिया और अनुरोध को गति देगा:

import httplib 
import time 

lst = """ 
science 
scifi 
""" 

hdr= { 'User-Agent' : 'super happy flair bot by /u/spladug' } 
conn = httplib.HTTPConnection('www.reddit.com') 
for name in lst.split(): 
    conn.request('GET', '/r/'+name, headers=hdr) 
    print conn.getresponse().read() 
    time.sleep(2) 
conn.close() 

Answer 2

reddit दोनों IP पते और उपयोगकर्ता एजेंट के लिए अनुरोध के द्वारा सीमित दर (कायर बेनामी द्वारा suggested के रूप में नहीं कनेक्शन) करता है। जिस मुद्दे पर आप चल रहे हैं वह यह है कि जो भी urllib2 का उपयोग करके reddit तक पहुंचने का प्रयास करता है वह एक ही उपयोगकर्ता के रूप में सीमित दर होगी।

समाधान एक उपयोगकर्ता एजेंट सेट करना है जिसे आप this question में उत्तर दे सकते हैं।

वैकल्पिक रूप से, Reddit को क्रॉल करने और PRAW instead का उपयोग करने के लिए अपना स्वयं का कोड लिखना छोड़ दें। यह रेडडिट एपीआई की लगभग सभी सुविधाओं का समर्थन करता है और आपको किसी भी एपीआई नियमों का पालन करने की चिंता करने की आवश्यकता नहीं है क्योंकि यह आपके लिए इसका ख्याल रखता है।