Odeist AI

सीखें › जवाब

क्या मुझे robots.txt में AI क्रॉलर ब्लॉक करने चाहिए?

छोटा जवाब: ग्राहक चाहने वाले ज़्यादातर बिज़नेस को AI सर्च बॉट को इजाज़त देनी चाहिए और ट्रेनिंग बॉट के बारे में अलग से फ़ैसला करना चाहिए। सर्च बॉट, जैसे OpenAI का OAI-SearchBot, Anthropic का Claude-SearchBot और PerplexityBot, तय करते हैं कि आप AI जवाबों में मिल सकते हैं और आपका लिंक दिया जा सकता है या नहीं। ट्रेनिंग बॉट, जैसे GPTBot और ClaudeBot, मॉडल ट्रेनिंग के लिए कंटेंट इकट्ठा करते हैं। आप एक तरह को ब्लॉक करके दूसरी को इजाज़त दे सकते हैं।

सर्च बॉट: ब्लॉक करने से आपका क्या नुक़सान होता है

  • OpenAI का OAI-SearchBot, ChatGPT के सर्च फ़ीचर्स में वेबसाइटें दिखाने के लिए इस्तेमाल होता है; जो साइटें इससे ऑप्ट आउट करती हैं वे ChatGPT के सर्च जवाबों में नहीं दिखतीं, हालाँकि वे फिर भी नेविगेशनल लिंक के रूप में दिख सकती हैं।[1]
  • Anthropic का Claude-SearchBot, Claude के यूज़र्स के लिए सर्च नतीजे बेहतर बनाता है; इसे ब्लॉक करने का मतलब है कि आपका कंटेंट सर्च के लिए इंडेक्स नहीं होता, जिससे Claude के जवाबों में आपकी विज़िबिलिटी कम हो सकती है।[2]
  • PerplexityBot, Perplexity के सर्च नतीजों में वेबसाइटें दिखाता और उनका लिंक देता है, और इसका इस्तेमाल फ़ाउंडेशन मॉडल ट्रेन करने के लिए नहीं होता।[3]

ट्रेनिंग बॉट: फ़ैसला आपका

  • OpenAI का GPTBot ऐसा कंटेंट क्रॉल करता है जो उसके मॉडल ट्रेन करने में इस्तेमाल हो सकता है। OpenAI कहता है कि हर सेटिंग अलग है, इसलिए आप GPTBot को ब्लॉक करके भी OAI-SearchBot को इजाज़त दे सकते हैं।[1]
  • Anthropic का ClaudeBot ऐसा कंटेंट इकट्ठा करता है जो ट्रेनिंग में योगदान दे सकता है; इसे ब्लॉक करने से आपका आगे का कंटेंट ट्रेनिंग डेटा से बाहर रहता है।[2]
  • Google-Extended एक robots.txt टोकन है, अलग क्रॉलर नहीं। यह Gemini मॉडल के लिए आपके कंटेंट के इस्तेमाल को नियंत्रित करता है और, Google के मुताबिक़, Google Search में आपके शामिल होने या रैंकिंग पर असर नहीं डालता।[4]

किसी व्यक्ति की ओर से काम करने वाले फ़ेचर

कुछ फ़ेचर किसी पेज पर इसलिए जाते हैं क्योंकि किसी व्यक्ति ने उसके बारे में पूछा। Perplexity कहता है कि इसी वजह से Perplexity-User आम तौर पर robots.txt को नज़रअंदाज़ करता है।[3] OpenAI कहता है कि ChatGPT-User का इस्तेमाल यह तय करने के लिए नहीं होता कि सर्च में क्या दिखेगा, और robots.txt के नियम उस पर लागू न भी हों।[1] robots.txt एक अनुरोध है, ताला नहीं: प्रोटोकॉल खुद कहता है कि उसके नियम एक्सेस ऑथराइज़ेशन का कोई रूप नहीं हैं।[5]

ऐसी robots.txt जो सर्च को इजाज़त दे और ट्रेनिंग को ब्लॉक करे

हर ग्रुप User-agent से किसी बॉट का नाम लेता है और Disallow से बताता है कि वह क्या नहीं ला सकता। कोई क्रॉलर उस ग्रुप को फ़ॉलो करता है जिसमें उसका नाम है, और “*” ग्रुप को सिर्फ़ तब जब किसी ग्रुप में उसका नाम न हो।[5] इसलिए बाक़ी सब को इजाज़त देते हुए GPTBot, ClaudeBot और Google-Extended को ब्लॉक करने के लिए, उन्हें “Disallow: /” वाला अपना अलग ग्रुप दें और सर्च बॉट को अपने सामान्य नियमों के तहत रहने दें। जिस बॉट का नाम उसके अपने ग्रुप में है, वह “*” के नियमों को नज़रअंदाज़ करता है, इसलिए जिन Disallow लाइनों का उसे फिर भी पालन करना चाहिए, उन्हें दोहराएँ। हर बदलाव के बाद फ़ाइल टेस्ट करें।

सवाल

ChatGPT को robots.txt का बदलाव कितनी जल्दी पता चलता है?

OpenAI कहता है कि robots.txt अपडेट होने के बाद उसके सर्च सिस्टम को एडजस्ट होने में लगभग 24 घंटे लग सकते हैं।[1]

क्या Anthropic, robots.txt का पालन करता है?

Anthropic कहता है कि उसके बॉट robots.txt के निर्देशों का पालन करते हैं, और बताता है कि IP ब्लॉक करना शायद भरोसेमंद तरीक़े से काम न करे, क्योंकि इससे बॉट फ़ाइल पढ़ ही नहीं पाते।[2]

संबंधित

स्रोत

  1. OpenAI: Overview of OpenAI crawlers, 6 नवंबर 2026 को पढ़ा गया
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, 6 नवंबर 2026 को पढ़ा गया
  3. Perplexity: Perplexity crawlers, 6 नवंबर 2026 को पढ़ा गया
  4. Google Search Central: Google’s common crawlers (Google-Extended), 6 नवंबर 2026 को पढ़ा गया
  5. RFC 9309: Robots Exclusion Protocol, 6 नवंबर 2026 को पढ़ा गया

6 नवंबर 2026 को अपडेट किया गया। कुछ ग़लत या पुराना है? connect@odeist.com पर ईमेल करें (विषय: सुधार: क्या मुझे robots.txt में AI क्रॉलर ब्लॉक करने चाहिए?)।

फ़्री में शुरू करें 7 दिन फ़्री, कार्ड की ज़रूरत नहीं।