web-crawler

5गर्मी

2उत्तर

में सभी लिंक क्रॉल नहीं करता है मुझे अपनी साइट को क्रॉल करने में समस्या है ... दो ड्रॉप-डाउन सूचियों वाला एक रूप है .... और जब मैं क्रॉल करना शुरू करता हूं, क्रॉलर केवल फ़ॉर्म से लिंक का हिस्सा लेता ह

5गर्मी

1उत्तर

यह सुनिश्चित करने के लिए कि वेब क्रॉलर एडब्ल्यूएस एस 3 पर होस्ट की गई साइट के लिए काम करता है और AJAX

का उपयोग करता है Google वेबमास्टर गाइड बताता है कि वेब सर्वर को url के अनुरोधों को संभालना चाहिए जिसमें _escaped_fragment_ है (क्रॉलर www.example.com/ajax.html#!mystate को संशोधित करता है www.example.

6गर्मी

3उत्तर

फेसबुक क्रॉलर बॉट क्रैशिंग साइट

क्या फेसबुक ने कुछ वेब क्रॉलर को अभी लागू किया था? मेरी वेबसाइट पिछले कुछ दिनों में दो बार दुर्घटनाग्रस्त हो रही है, जो आईपी द्वारा गंभीर रूप से अधिभारित है जिसे मैंने फेसबुक पर वापस खोज लिया है। मैंन

5गर्मी

3उत्तर

मैं अनंत-स्क्रॉलिंग पृष्ठ को कैसे क्रॉल करूं?

मैं ऐसा कुछ बनाने की कोशिश कर रहा हूं जो सामग्री को अनंत स्क्रॉल वाले पृष्ठ से क्रॉल करता है। हालांकि, मैं पहले 'ब्रेक' से नीचे सामान नहीं प्राप्त कर सकता। मैं यह कैसे करु?

5गर्मी

1उत्तर

स्पाइडर_क्लोज़ सिग्नल भेजे जाने से ठीक पहले पाइथन स्कैपर फ़ंक्शन को कॉल किया जाना चाहिए?

मैंने स्केपर का उपयोग करके एक मकड़ी लिखी, जो साइट्स को अलग करने के लिए HtmlXPathSelector अनुरोधों का पूरा समूह बनाता है। प्रत्येक अनुरोध (असीमित रूप से) संतुष्ट होने के बाद यह एक .csv फ़ाइल में डेटा क

8गर्मी

1उत्तर

wget

का उपयोग करके Google विद्वान खोज परिणामों से सभी पीडीएफ फ़ाइलों को डाउनलोड करना मैं एक साधारण वेब मकड़ी लिखना चाहता हूं या Google विद्वान से पीडीएफ परिणामों को डाउनलोड करने के लिए बस wget का उपयोग करन

6गर्मी

1उत्तर

सिम्फनी 2

में एक कार्यात्मक परीक्षण लिखते समय, इसका प्रत्यक्ष मूल्य नहीं, केवल विकल्प के लेबल का उपयोग करके एक चुनिंदा फ़ील्ड का मान सेट करना, कार्यात्मक परीक्षण लिखते समय, मैं एक विकल्प बॉक्स का मूल्य कैसे सेट

5गर्मी

1उत्तर

जावा के लिए जेटीडी या जेएसप

हाल ही में मैं सुंदर सूप के साथ अजगर में वेब स्क्रैपर्स विकसित कर रहा हूं। अब मैं जानना चाहता हूं कि जावा में कौन सी लाइब्रेरी सबसे पसंदीदा हैं। मैंने कुछ खोज की है, ज्यादातर मैं जेटीडी और जेएसओप देखत

11गर्मी

1उत्तर

phantomjs

के साथ कंसोल के लिए एचटीएमएल स्रोत मुद्रित करने के लिए कैसे मैं बस अपनी मशीन पर phantomjs downloaed और स्थापित किया। मैं एक फ़ाइल बुलाया hello.js में कॉपी और चिपकाया निम्न स्क्रिप्ट: var page = requir

35गर्मी

4उत्तर

स्केल

में यूआरएल के आधार पर डुप्लिकेट अनुरोधों को फ़िल्टर करने के लिए कैसे करें मैं क्रॉलस्पीडर के साथ स्केपर का उपयोग कर वेबसाइट के लिए क्रॉलर लिख रहा हूं। स्केपर एक अंतर्निहित डुप्लिकेट-अनुरोध फ़िल्टर प्र