robots.txt

32गर्मी

4उत्तर

एक्सप्रेस में robots.txt को संभालने का सबसे बढ़िया तरीका क्या है?

मैं वर्तमान में एक्सप्रेस (नोड.जेएस) के साथ बनाए गए एप्लिकेशन पर काम कर रहा हूं और मैं जानना चाहता हूं कि अलग-अलग वातावरण (विकास, उत्पादन) के लिए विभिन्न robots.txt को संभालने का सबसे बढ़िया तरीका क्य

6गर्मी

1उत्तर

केवल Google सीएसई को अनुमति दें और ROBOTS.txt

में Google मानक खोज को अस्वीकार करें मेरे पास एक साइट है जिसे मैं Google कस्टम सर्च इंजन का उपयोग कर रहा हूं। मैं चाहता हूं कि Google सीएसई मेरी साइट को क्रॉल करे, लेकिन मैं इसे नियमित Google खोज के प

14गर्मी

1उत्तर

Robots.txt वाक्यविन्यास

मैंने Google को अपनी robots.txt फ़ाइल को पहले सबमिट नहीं किया था और यह अभी भी मुझे पहली पंक्ति के लिए समझा नहीं गया वाक्यविन्यास दे रहा है। सबसे आम समस्या गुगल करने के बाद Google एक '?' जोड़ रहा है ला

5गर्मी

1उत्तर

बिंगबॉट और BaiduSpider robots.txt

का सम्मान नहीं करते हैं मेरे सीपीयू उपयोग अचानक मेरी साइट पर घूमने वाले बॉट्स के कारण 400% से अधिक हो जाने के बाद, मैंने एक robots.txt बनाया और फ़ाइल को मेरी जड़ में रखा, उदाहरण के लिए "www.example .c

7गर्मी

1उत्तर

साइट को अनुक्रमित होने से प्रतिबंधित करने के लिए

मुझे पता है कि यह प्रश्न कई बार पूछा जा रहा था लेकिन मैं और अधिक विशिष्ट होना चाहता हूं। मेरे पास एक विकास डोमेन है और साइट को सबफ़ोल्डर में स्थानांतरित कर दिया गया है। से मान लीजिए: http://www.exampl

15गर्मी

1उत्तर

स्प्रिंग एमवीसी

के साथ साइटमैप.एक्सएमएल और robots.txt की सेवा sitemap.xml और robots.txt सर्वर Spring MVC के साथ सबसे अच्छा तरीका क्या है? मैं इन फ़ाइलों को Controller के माध्यम से स्वच्छ तरीके से सर्वर चाहता हूं।

5गर्मी

1उत्तर

HTTP मशीनीकरण

यह शेल कमांड के साथ 403 त्रुटि पुन: प्राप्त करने के लिए robots.txt सफल होता है $ curl -A "Mozilla/5.0 (X11; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0 (compatible;)" http://fifa-infinity.com/r

5गर्मी

1उत्तर

क्या मैं कुछ यूआरएल पैरामीटर को ब्लॉक करने के लिए robots.txt का उपयोग कर सकता हूं?

इससे पहले कि आप मुझे बताएं कि आपने क्या किया है, और 'इसे स्वयं जांचें', मैं यह ध्यान रखना चाहूंगा कि robots.txt मेरी साइट खोज इंजन पर किसी भी साइट के लिए बहुत धीमी गति से अपडेट करता है, इसलिए यदि आप स

42गर्मी

1उत्तर

robots.txt और .htaccess वाक्यविन्यास हाइलाइट

क्या रंग कोड/हाइलाइट robots.txt और .htaccess वाक्यविन्यास का कोई तरीका है? जैसे एक SublimeText2 प्लग-इन के साथ। मुझे यह पता चला, लेकिन यह पता नहीं लगा सकता कि इसे कैसे इंस्टॉल किया जाए: https://github

159गर्मी

1उत्तर

क्या एक सापेक्ष साइटमैप यूआरएल robots.txt में उपयोग किया जा सकता है?

robots.txt में मैं साइटमैप फ़ाइल के लिए निम्नलिखित सापेक्ष यूआरएल लिख सकता हूं? sitemap: http://subdomain.domain.com/sitemap.ashx मैं क्यों आश्चर्य: मैं एक नया ब्लॉग सेवा के मालिक हैं, sitemap: /sit