के लिए उचित शिष्टाचार मेरे पास एक वेबसाइट के साइटमैप से सभी पृष्ठों का अनुरोध करने के लिए एक सरल वेब क्रॉलर है जिसे मुझे कैश और इंडेक्स करने की आवश्यकता है। कई अनुरोधों के बाद, वेबसाइट रिक्त पृष्ठों की सेवा शुरू होती है।वेब क्रॉलर http अनुरोध
उनके साइटमैप के लिंक को छोड़कर उनके robots.txt में कुछ भी नहीं है, इसलिए मुझे लगता है कि मैं उनके "नियम" तोड़ नहीं रहा हूं। मेरे पास एक वर्णनात्मक शीर्षलेख है जो मेरे इरादे से बिल्कुल जुड़ा हुआ है, और मेरे द्वारा क्रॉल किए जाने वाले एकमात्र पृष्ठ उनके साइटमैप से हैं।
http स्थिति कोड अभी भी ठीक हैं, इसलिए मैं केवल कल्पना कर सकता हूं कि वे थोड़े समय में बड़ी संख्या में http अनुरोधों को रोक रहे हैं। अनुरोधों के बीच उचित देरी के रूप में क्या माना जाता है?
क्या कोई अन्य विचार है जिसे मैंने अनदेखा किया है जो संभावित रूप से इस समस्या का कारण बन सकता है?
तुम्हारा क्या मतलब है अपने साइटमैप के लिए एक लिंक के अलावा उनकी robots.txt में कोई बात नहीं है? – freespace
अस्वीकार में कोई बात नहीं है, और उनके लिए अनुमति देते है * – Adam