OpenAI ایسے مواد کو کرال کرنے کے لیے GPTBot استعمال کرتا ہے جو اس کے ماڈلز کی تربیت میں استعمال ہو سکتا ہے، اور ChatGPT کے سرچ فیچرز میں ویب سائٹس دکھانے کے لیے OAI-SearchBot؛ وہ کہتا ہے کہ ہر سیٹنگ دوسری سے آزاد ہے۔[1] Anthropic تربیت کے لیے ClaudeBot، سرچ کے لیے Claude-SearchBot اور جب کوئی شخص Claude سے کسی صفحے کے بارے میں پوچھے تو Claude-User چلاتا ہے، اور کہتا ہے کہ اس کے بوٹس robots.txt کی پابندی کرتے ہیں۔[2] Perplexity کہتا ہے کہ PerplexityBot اس کے سرچ نتائج میں ویب سائٹس دکھاتا اور ان کا لنک دیتا ہے اور AI فاؤنڈیشن ماڈلز کی تربیت کے لیے استعمال نہیں ہوتا۔[3]
Google-Extended مختلف ہے: یہ کرالر نہیں بلکہ robots.txt کا ایک ٹوکن ہے جو طے کرتا ہے کہ Google کا کرال کیا ہوا مواد Gemini ماڈلز کے لیے استعمال ہو سکتا ہے یا نہیں، اور Google کہتا ہے کہ یہ Google Search میں سائٹ کی شمولیت یا رینکنگ پر اثر نہیں ڈالتا۔[4]
متعلقہ
ذرائع
- OpenAI: Overview of OpenAI crawlers، 6 نومبر، 2026 کو پڑھا گیا
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?، 6 نومبر، 2026 کو پڑھا گیا
- Perplexity: Perplexity crawlers، 6 نومبر، 2026 کو پڑھا گیا
- Google Search Central: Google’s common crawlers (Google-Extended)، 6 نومبر، 2026 کو پڑھا گیا
6 نومبر، 2026 کو اپ ڈیٹ کیا گیا۔ کچھ غلط یا پرانا ہے؟ connect@odeist.com پر ای میل کریں (موضوع: تصحیح: AI کرالر)۔
مفت شروع کریں 7 دن مفت، کارڈ کی ضرورت نہیں۔