क्या मैं कुछ यूआरएल पैरामीटर को ब्लॉक करने के लिए robots.txt का उपयोग कर सकता हूं?

Question

इससे पहले कि आप मुझे बताएं कि आपने क्या किया है, और 'इसे स्वयं जांचें', मैं यह ध्यान रखना चाहूंगा कि robots.txt मेरी साइट खोज इंजन पर किसी भी साइट के लिए बहुत धीमी गति से अपडेट करता है, इसलिए यदि आप सैद्धांतिक अनुभव प्रदान कर सकते हैं, सराहनीय होगा। मैं बहुत यकीन नहीं है

http://www.example.com/?foo=foo 

:

उदाहरण के लिए, यह अनुमति देने के लिए संभव है:

http://www.example.com 

और ब्लॉक।

सहायता?

Answer 1

Wikipedia के अनुसार, "robots.txt पैटर्न सरल-स्ट्रिंग तुलना द्वारा मिलान किया जाता है" और के रूप में प्राप्त स्ट्रिंग एक यूआरएल है तुम बस को जोड़ने के लिए सक्षम होना चाहिए:

Disallow: /?foo=foo 

या कुछ और अधिक फैंसी

की तरह

Disallow: /*?* 

सभी प्राप्त तारों को अक्षम करने के लिए। तारांकन एक वाइल्डकार्ड प्रतीक है, इसलिए यह किसी भी चीज़ के एक या कई पात्रों से मेल खाता है।

Example of a robots.txt with dynamic urls.