मैं अपने ट्रैकर्स पर ध्यान दे रहा हूं कि बॉट्स मेरी साइट ALOT पर जा रहे हैं। क्या मुझे अपना robots.txt बदलना या संपादित करना चाहिए या कुछ बदलना चाहिए? यकीन नहीं है कि यह अच्छा है, क्योंकि वे अनुक्रमण
का सम्मान नहीं कर रहा है किसी कारण से जब मैं Google वेबमास्टर टूल की "robots.txt का विश्लेषण करता हूं" यह देखने के लिए कि हमारी robots.txt फ़ाइल द्वारा कौन से यूआरएल अवरुद्ध हैं, यह मेरी अपेक्षा नहीं
मेरे पास रूट में निम्न robots.txt के साथ एक साइट है: User-agent: *
Disabled:/
User-agent: Googlebot
Disabled:/
User-agent: Googlebot-Image
Disallow:/
और इस साइट के भीतर के पृष्ठ पूरे दिन Googleb
मैं पूछता हूं, Google, माइक्रोसॉफ्ट और याहू को छोड़कर हर क्रॉलर को अस्वीकार करने के बारे में कुछ समय सोच रहा हूं! मेरी साइट से इसके पीछे तर्क यह है कि मैंने कभी भी किसी भी अन्य वेब क्रॉलर द्वारा उत्पन