scrapy

13गर्मी

2उत्तर

पर एक स्केपर स्पाइडर को दोबारा चलाने के लिए मैंने कुछ वेबसाइटों को स्क्रैप करने के लिए Scrapy का उपयोग शुरू कर दिया है। अगर मैं बाद में अपने मॉडल में एक नया फ़ील्ड जोड़ता हूं या अपने पार्सिंग फ़ंक्शंस

6गर्मी

2उत्तर

स्केच में कैप्चास

मैं एक स्केपर ऐप पर काम कर रहा हूं, जहां मैं एक ऐसे साइट पर लॉगिन करने की कोशिश कर रहा हूं जो कैप्चा का उपयोग करता है (यह स्पैम नहीं है)। मैं कैप्चा डाउनलोड करने के लिए ImagesPipeline का उपयोग कर रहा

8गर्मी

2उत्तर

स्क्रैप प्रोजेक्ट से Django मॉडल सहेजना

मेरे पास एक स्केपर प्रोजेक्ट है और मैं आउटपुट आइटम को Django मॉडल परिभाषा (मैं DjangoItem का उपयोग नहीं कर रहा हूं) से ऑब्जेक्ट के रूप में सहेजने की कोशिश कर रहा हूं। मैं डीजेगो सेटिंग्स को here निर्द

11गर्मी

3उत्तर

मैं एक स्क्रैप क्रॉलस्पीडर को कैसे रोक सकता हूं और बाद में फिर से शुरू कर सकता हूं जहां यह बाएं बंद है?

मेरे पास एक स्केपर CrawlSpider है जिसमें क्रॉल करने के लिए URL की एक बड़ी सूची है। मैं इसे रोकने में सक्षम होना चाहता हूं, वर्तमान स्थिति को सहेजना और इसे शुरू करने के बिना बाद में फिर से शुरू करना चा

7गर्मी

2उत्तर

स्क्रैप

में रीडायरेक्ट लिंक का पालन करें मैं इसे कैसे सेट कर सकता हूं? मैंने हैंडल_httpstatus_list = [301, 302, 303] लिखा है, लेकिन स्केपर नए लिंक का पालन नहीं करता है, यह सिर्फ पृष्ठों की खाली फाइलों को सहेज

10गर्मी

4उत्तर

पायथन

में स्कैनिंग कार्यों को चलाने के लिए मेरी स्केच स्क्रिप्ट कमांड लाइन से 'एक ऑफ' परिदृश्य में चलाने पर ठीक काम करती है, लेकिन यदि मैं उसी पायथन सत्र में कोड को दो बार चलाने का प्रयास करता हूं तो मुझे य

12गर्मी

2उत्तर

जावास्क्रिप्ट

के साथ यूआरएल क्रॉल करने के लिए स्केरेपी और एचटीएमएल्यून को कैसे गठबंधन करें मैं पृष्ठों को क्रॉल करने के लिए स्केपर पर काम कर रहा हूं, हालांकि, मैं जावास्क्रिप्ट वाले पृष्ठों को संभाल नहीं सकता। लोग

12गर्मी

2उत्तर

पायथन स्कैरपी: एक विशिष्ट क्रम में कॉलम लिखने के लिए CSVItemExporter कैसे प्राप्त करें

स्केरेपी में, मेरे आइटम्स आइटम्स.py, & में एक निश्चित क्रम में निर्दिष्ट हैं मेरे स्पाइडर में एक ही क्रम में फिर से आइटम हैं। हालांकि, जब मैं स्पाइडर & चलाता हूं तो परिणाम सीएसवी के रूप में सहेजते हैं

7गर्मी

1उत्तर

एक स्क्रिप्ट से स्कैनिंग चल रहा है - हैंग

मैं here पर चर्चा के रूप में एक स्क्रिप्ट से स्केपर चलाने की कोशिश कर रहा हूं। इसने this स्निपेट का उपयोग करने का सुझाव दिया, लेकिन जब मैं ऐसा करता हूं तो यह अनिश्चित काल तक लटकता है। यह संस्करण 10 मे

13गर्मी

3उत्तर

क्या मुझे स्केपर के साथ फाइलों को सहेजने के लिए पाइपलाइन बनाना चाहिए?

मुझे एक फ़ाइल (.pdf) को सहेजने की ज़रूरत है, लेकिन मुझे यकीन है कि यह कैसे करना है। मुझे .pdfs को सहेजने और उन्हें इस तरह से स्टोर करने की आवश्यकता है कि वे एक निर्देशिका में व्यवस्थित हों जैसे कि वे