web-crawler

8गर्मी

2उत्तर

Asp.net Request.Browser.Crawler - गतिशील क्रॉलर सूची?

मैंने सीखा क्यों अनुरोध। Browser.Crawler हमेशा सी # (http://www.digcode.com/default.aspx?page=ed51cde3-d979-4daf-afae-fa6192562ea9&article=bc3a7a4f-f53e-4f88-8e9c-c9337f6c05a0) में गलत है। क्या कोई क्

16गर्मी

6उत्तर

एक अच्छा वेब क्रॉलर टूल क्या है

मुझे पूरे वेबपृष्ठों को अनुक्रमणित करने की आवश्यकता है, क्या अच्छी वेबक्रॉलर उपयोगिताएं हैं? मैं अधिमानतः कुछ ऐसा करने के बाद हूं जो .NET बात कर सकता है, लेकिन यह एक शोस्टॉपर नहीं है। मुझे वास्तव में

5गर्मी

4उत्तर

क्या एरलांग, मेनेसिया और यॉज़ का उपयोग करके एक शक्तिशाली वेब सर्च इंजन विकसित करना संभव है?

मैं एर्लांग, मेनेसिया & यॉ का उपयोग कर एक वेब सर्च इंजन विकसित करने के बारे में सोच रहा हूं। क्या इन सॉफ़्टवेयर का उपयोग करके एक शक्तिशाली और तेज़ वेब सर्च इंजन बनाना संभव है? इसे पूरा करने के लिए क्य

5गर्मी

5उत्तर

robots.txt: कुछ चुनिंदा कुछ के अलावा सभी को अस्वीकार करें, क्यों नहीं?

मैं पूछता हूं, Google, माइक्रोसॉफ्ट और याहू को छोड़कर हर क्रॉलर को अस्वीकार करने के बारे में कुछ समय सोच रहा हूं! मेरी साइट से इसके पीछे तर्क यह है कि मैंने कभी भी किसी भी अन्य वेब क्रॉलर द्वारा उत्पन

8गर्मी

5उत्तर

Greasemonkey आधारित क्रॉलर के लिए डेटा स्टोर करने का सबसे अच्छा तरीका?

मैं Greasemonkey के साथ एक साइट को क्रॉल करना चाहता हूं और आश्चर्य करता हूं कि क्या GM_setValue के साथ अस्थायी रूप से मूल्यों को स्टोर करने का बेहतर तरीका है। मैं जो करना चाहता हूं वह है सोशल नेटवर्क

14गर्मी

6उत्तर

क्या मैं अपाचे वेब सर्वर पर प्रत्येक साइट के लिए खोज क्रॉलर को अवरुद्ध कर सकता हूं?

मेरे पास कुछ वेबसाइटों के लिए उत्पादन कोड की सार्वजनिक इंटरनेट चल रही प्रतियों पर एक स्टेजिंग सर्वर है। स्टेजिंग साइट्स अनुक्रमित होने पर मुझे वास्तव में यह पसंद नहीं आएगा। क्या कोई तरीका है कि मैं अप

7गर्मी

5उत्तर

.NET विश्वसनीय Asynchronouos सॉकेट संचार नहीं है?

मैंने एक बार क्रॉलर को .NET में लिखा था। इसकी स्केलेबिलिटी में सुधार करने के लिए, मैंने .NET के एसिंक्रोनस एपीआई का लाभ उठाने का प्रयास किया। सिस्टम.Net.HttpWebRequest में एसिंक्रोनस एपीआई BeginGetRes

168गर्मी

4उत्तर

अधूरा स्रोत फ़ाइलों को हटाने से rsync रखें

मेरे पास दो मशीनें, गति और द्रव्यमान है। गति में एक तेज इंटरनेट कनेक्शन है और एक क्रॉलर चला रहा है जो डिस्क पर बहुत सी फाइलें डाउनलोड करता है। द्रव्यमान में बहुत सी डिस्क स्पेस है। मैं डाउनलोड करने के

60गर्मी

10उत्तर

क्रॉलर कैसे लिखें?

मेरे पास एक साधारण क्रॉलर लिखने का विचार करने का विचार है जो हमारे एनपीओ की वेबसाइटों और सामग्री के लिए अपने निष्कर्षों की सूची को क्रॉल और उत्पादित कर सकता है। क्या किसी के पास यह कैसे करना है इस पर

7गर्मी

5उत्तर

आप एक गतिशील साइट को एक स्थिर साइट में कैसे बदल सकते हैं जिसे सीडी से डेमो किया जा सकता है?

मुझे हमारी कंपनी के वेब अनुप्रयोगों में से किसी एक को क्रॉल करने और उसमें से एक स्थिर साइट बनाने की आवश्यकता है जिसे सीडी में जलाया जा सकता है और वेब साइट पर डेमो के लिए यात्रा करने वाले लोगों द्वारा