robots.txt

5गर्मी

3उत्तर

वेब बॉट लिखने के लिए सबसे अच्छी प्रोग्रामिंग भाषा कौन सी है?

मुझे पता है कि कौन सी प्रोग्रामिंग भाषा वेब बॉट प्रोग्राम करने के लिए पुस्तकालयों की अच्छी संख्या प्रदान करती है? कुछ डेटा के लिए एक वेब पेज क्रॉल करने की तरह कुछ। कहो मैं मौसम के लिए मौसम लाने के लिए

7गर्मी

1उत्तर

robots.txt

के लिए Regexp मैं अपने robots.txt को सेट करने का प्रयास कर रहा हूं, लेकिन मुझे regexps के बारे में निश्चित नहीं है। मेरे पास तीन अलग-अलग भाषाओं में चार अलग-अलग पृष्ठ उपलब्ध हैं। प्रत्येक पृष्ठ के समय

9गर्मी

3उत्तर

साइटमैप की एक बड़ी संख्या में गतिशील सबडोमेन

मैं साइट चला रहा हूं जो उपयोगकर्ताओं को सबडोमेन बनाने की अनुमति देता है। मैं साइटमैप के माध्यम से खोज इंजन में इन उपयोगकर्ता सबडोमेन जमा करना चाहता हूं। हालांकि, साइटमैप प्रोटोकॉल (और Google वेबमास्टर

13गर्मी

2उत्तर

Robots.txt, केवल डोमेन रूट तक पहुंच की अनुमति कैसे दें, और कोई गहरा नहीं?

मैं क्रॉलरों को अपने डोमेन की रूट निर्देशिका (यानी index.html फ़ाइल) तक पहुंचने की अनुमति देना चाहता हूं, लेकिन कुछ भी गहरा नहीं है (यानी कोई उपनिर्देशिका नहीं)। मैं robots.txt फ़ाइल के भीतर व्यक्तिगत

6गर्मी

2उत्तर

robots.txt दोनों साइटमैप और साइटमैप इंडेक्स फ़ाइलों को सूचीबद्ध करना?

मेरी साइट में 3 मुख्य अनुभाग शामिल हैं: समीक्षा, फोरम और ब्लॉग। मेरे पास फोरम और ब्लॉग के लिए प्लगइन हैं जो स्वचालित रूप से उनके लिए साइटमैप उत्पन्न करते हैं। फोरम प्लगइन कई इंडेक्स को इंगित करने वाली

5गर्मी

1उत्तर

मैं robots.txt

का पालन कैसे करूं मैं एक ऐप बना रहा हूं जो थोड़ी देर में साइट को क्रॉल करता है और मैं इसे क्रॉल किए जाने वाले robots.txt का पालन/सम्मान करना चाहता हूं। मैं इसके साथ कैसे शुरू करूं? क्या कोई विचार है क

7गर्मी

1उत्तर

Robots.txt: क्या यह वाइल्डकार्ड नियम मान्य है?

सरल सवाल। Disallow */*details-print/ असल में, /foo/bar/dynamic-details-print --- foo और इस उदाहरण में बार के रूप में ब्लॉकिंग नियम भी पूरी तरह से गतिशील हो सकता है: मैं जोड़ना चाहते हैं। भी ध्यान रख

7गर्मी

2उत्तर

Robots.txt: उपनिर्देशिका को अनुमति न दें लेकिन निर्देशिका

अनुमति देते हैं मैं में फ़ाइलों के रेंगने सकते हैं: /directory/ लेकिन में फ़ाइलों के रेंगने नहीं: /directory/subdirectory/ सही robots.txt निर्देश है: User-agent: * Disallow: /subdirectory/ मुझे

11गर्मी

4उत्तर

robots.txt

के साथ सबडोमेन पर अस्वीकार या नोंडेक्स मेरे पास dev.qrcodecity.com और www.qrcodecity.com है। मैं चाहता हूं कि Google देव सबडोमेन के सभी रिकॉर्ड्स को छोड़ दें लेकिन www रखें। मैं दोनों के लिए कोड स्टोर

27गर्मी

3उत्तर

robots.txt केवल रूट की अनुमति है, बाकी सब कुछ अस्वीकार करें?

मुझे यह काम करने के लिए प्रतीत नहीं होता है लेकिन यह वास्तव में मूल लगता है। मैं चाहता हूँ डोमेन जड़ क्रॉल करने http://www.example.com लेकिन कुछ नहीं क्रॉल करने और सभी सबडायरेक्टरियों गतिशील http://