2010-06-27 63 views
5

मेरे पास एएसपीनेट डाउनलोड पेज है जो क्लाइंट को फाइल भेजता है लेकिन मैं रोबोट को इस फ़ाइल को डाउनलोड करने से इनकार करना चाहता हूं क्योंकि फ़ाइल बड़ी है और जैसा कि मैं रिकॉर्ड्स से देख सकता हूं कि एक बॉट इस फ़ाइल को डाउनलोड करता है लगभग 20 गुना। इस सर्वर को धीमा और बैंडविड्थ की खपत का कारण बनता है।मेरी फाइलें डाउनलोड करने के लिए बॉट्स को अस्वीकार करें

मैंने इस पृष्ठ को डाउनलोड करने और क्लाइंट के .NET ढांचे का पता लगाने के लिए कोड किया ताकि मैं .net फ्रेमवर्क वाली एक सेटअप फ़ाइल पोस्ट कर सकूं या नहीं।

मुझे इस पृष्ठ तक पहुंचने के लिए Google और अन्य बॉट से इनकार करने के लिए किसी भी तरह की आवश्यकता है।

मेरे डाउनलोड लिंक download.aspx की तरह है? पैक = एमएसपी

उत्तर

7

हाँ, एक robots.txt फ़ाइल में जोड़ने के लिए उदाहरण के लिए: आपकी जगह। यह (वास्तव में सुझाव) नियमों की एक सूची शामिल करना चाहिए कैसे मकड़ियों व्यवहार करना चाहिए।

अधिक जानकारी के लिए this आलेख देखें। इसके अलावा किक के लिए, this robot.txt गूगल द्वारा उपयोग फ़ाइल है।

3

आप एक robots.txt file चाहते हैं।

User-agent: * 
Disallow: /download.aspx 

यह जबरन खोज इंजन ब्लॉक नहीं करता है, लेकिन सबसे (Google सहित) एक फ़ाइल की जांच करते हैं और उसके निर्देशों का पालन करेंगे

2

सही उत्तर, जैसा कि अन्य दो लोगों द्वारा उल्लेख किया गया है, अच्छी तरह से व्यवहार रोबोट बनाने के लिए robots.txt फ़ाइल बनाने के लिए है।

हालांकि, यह जानना महत्वपूर्ण है कि सभी रोबोट अच्छी तरह से व्यवहार नहीं करते हैं, और robots.txt केवल सलाहकार है। आप पृष्ठ हैं, जिन्हें सार्वजनिक रूप से लिंक नहीं कर रहे हैं, तो के रूप में कुछ विशेष रूप से बुरी तरह से व्यवहार रोबोट वास्तव में देखने के लिए हो सकता है क्या दिलचस्प यूआरएल है कि वे पहले से ही के बारे में पता नहीं है फ़ाइल को स्कैन robots.txt उन्हें "रक्षा" करने के लिए उन्हें सूचीबद्ध नहीं है ।

2

robots.txt फ़ाइल के बदले, जहां यह संभव नहीं है, आप <meta name="robots" content="noindex"> टैग के साथ अपने पृष्ठों को सजाने के लिए तैयार कर सकते हैं।

  • फिर से, के रूप में डॉनी उल्लेख किया है, इस सिर्फ बॉट के लिए एक सिफारिश और करना आवश्यक नहीं यह पालन करने के लिए है।

  • कैप्चा विधि है कि वांछनीय उपयोगकर्ताओं एक संरक्षित फ़ोल्डर जहाँ आप अपने सबसे बड़ी फ़ाइलें रखने का उपयोग करने की अनुमति देने के लिए एक लॉगिन तंत्र प्रदान करता है को लागू करें।

  • इसके बजाय सामग्री है कि आसानी से बॉट, उपयोग जावास्क्रिप्ट अपने डाउनलोड लिंक पर अपने उपयोगकर्ताओं रीडायरेक्ट करने के लिए से पार्स किया गया है के लिए सीधे संपर्क उपलब्ध कराने के

    । कई बॉट जावास्क्रिप्ट को अंजाम नहीं होगा, हालांकि बॉट कहानियो अक्सर एक चलती लक्ष्य है।