स्कैर

Question

के साथ टोर प्रॉक्सी का उपयोग करके मुझे उबंटू में टोर स्थापित करने और इसे स्केपर ढांचे के भीतर उपयोग करने में सहायता चाहिए।

मैं कुछ शोध किया और इस गाइड में पता चला:

class RetryChangeProxyMiddleware(RetryMiddleware): 

    def _retry(self, request, reason, spider): 
     log.msg('Changing proxy') 
     tn = telnetlib.Telnet('127.0.0.1', 9051) 
     tn.read_until("Escape character is '^]'.", 2) 
     tn.write('AUTHENTICATE "267765"\r\n') 
     tn.read_until("250 OK", 2) 
     tn.write("signal NEWNYM\r\n") 
     tn.read_until("250 OK", 2) 
     tn.write("quit\r\n") 
     tn.close() 
     time.sleep(3) 
     log.msg('Proxy changed') 
     return RetryMiddleware._retry(self, request, reason, spider) 

तो settings.py में इसका इस्तेमाल करते हैं:

DOWNLOADER_MIDDLEWARE = { 
         'spider.middlewares.RetryChangeProxyMiddleware': 600, 
         } 

और फिर तुम सिर्फ स्थानीय टो प्रॉक्सी के माध्यम से अनुरोध भेजने के लिए चाहते हैं (polipo), जो के साथ किया जा सकता है:

tsocks scrapy crawl spirder 

किसी की पुष्टि कर सकते है, कि इस विधि काम करता है और आप di मिल तरंग आईपी?

Answer 1

मैं इस स्निपेट का उपयोग किया गया था: http://snipplr.com/view/66992/use-a-random-user-agent-for-each-request/

अद्यतन: टूट लिंक तय