Odeist AI

सीखें › ग्लॉसरी

AI क्रॉलर

AI क्रॉलर एक बॉट है जो किसी AI कंपनी के लिए वेब पेज लाता है, या तो मॉडल ट्रेन करने के लिए या सर्च से लोगों के सवालों के जवाब देने के लिए। आम तौर पर इन दोनों कामों के लिए अलग बॉट होते हैं, और आप एक को इजाज़त देकर दूसरे को ब्लॉक कर सकते हैं।

OpenAI, ऐसा कंटेंट क्रॉल करने के लिए GPTBot का इस्तेमाल करता है जो उसके मॉडल ट्रेन करने में इस्तेमाल हो सकता है, और ChatGPT के सर्च फ़ीचर्स में वेबसाइटें दिखाने के लिए OAI-SearchBot का; वह कहता है कि हर सेटिंग बाक़ी सेटिंग्स से अलग है।[1] Anthropic ट्रेनिंग के लिए ClaudeBot, सर्च के लिए Claude-SearchBot, और जब कोई व्यक्ति Claude से किसी पेज के बारे में पूछे तब Claude-User चलाता है, और कहता है कि उसके बॉट robots.txt का पालन करते हैं।[2] Perplexity कहता है कि PerplexityBot उसके सर्च नतीजों में वेबसाइटें दिखाता और उनका लिंक देता है, और इसका इस्तेमाल AI फ़ाउंडेशन मॉडल ट्रेन करने के लिए नहीं होता।[3]

Google-Extended अलग है: यह क्रॉलर नहीं, बल्कि robots.txt का एक टोकन है जो तय करता है कि Google जो कंटेंट क्रॉल करता है उसका इस्तेमाल Gemini मॉडल के लिए हो सकता है या नहीं, और Google कहता है कि इसका किसी साइट के Google Search में शामिल होने या रैंकिंग पर कोई असर नहीं पड़ता।[4]

संबंधित

स्रोत

  1. OpenAI: Overview of OpenAI crawlers, 6 नवंबर 2026 को पढ़ा गया
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, 6 नवंबर 2026 को पढ़ा गया
  3. Perplexity: Perplexity crawlers, 6 नवंबर 2026 को पढ़ा गया
  4. Google Search Central: Google’s common crawlers (Google-Extended), 6 नवंबर 2026 को पढ़ा गया

6 नवंबर 2026 को अपडेट किया गया। कुछ ग़लत या पुराना है? connect@odeist.com पर ईमेल करें (विषय: सुधार: AI क्रॉलर)।

फ़्री में शुरू करें 7 दिन फ़्री, कार्ड की ज़रूरत नहीं।