سیکھیں › جواب
کیا مجھے robots.txt میں AI کرالرز بلاک کرنے چاہئیں؟
مختصر جواب: گاہک چاہنے والے زیادہ تر کاروباروں کو AI سرچ بوٹس کی اجازت دینی چاہیے اور تربیتی بوٹس کا فیصلہ الگ سے کرنا چاہیے۔ سرچ بوٹس، جیسے OpenAI کا OAI-SearchBot، Anthropic کا Claude-SearchBot اور PerplexityBot، طے کرتے ہیں کہ آپ AI جوابات میں مل سکتے ہیں اور آپ کا لنک دیا جا سکتا ہے یا نہیں۔ تربیتی بوٹس، جیسے GPTBot اور ClaudeBot، ماڈل کی تربیت کے لیے مواد جمع کرتے ہیں۔ آپ ایک قسم بلاک کر کے دوسری کی اجازت دے سکتے ہیں۔
سرچ بوٹس: بلاک کرنے کی قیمت
- OpenAI کا OAI-SearchBot، ChatGPT کے سرچ فیچرز میں ویب سائٹس دکھانے کے لیے استعمال ہوتا ہے؛ جو سائٹس اس سے باہر رہنے کا انتخاب کریں وہ ChatGPT کے سرچ جوابات میں نہیں آتیں، اگرچہ وہ پھر بھی نیویگیشنل لنکس کے طور پر دکھ سکتی ہیں۔[1]
- Anthropic کا Claude-SearchBot، Claude کے صارفین کے لیے سرچ نتائج بہتر بناتا ہے؛ اسے بلاک کرنے کا مطلب ہے کہ آپ کا مواد سرچ کے لیے انڈیکس نہیں ہوتا، جس سے Claude کے جوابات میں آپ کی موجودگی کم ہو سکتی ہے۔[2]
- PerplexityBot، Perplexity کے سرچ نتائج میں ویب سائٹس دکھاتا اور ان کا لنک دیتا ہے اور فاؤنڈیشن ماڈلز کی تربیت کے لیے استعمال نہیں ہوتا۔[3]
تربیتی بوٹس: فیصلہ آپ کا
- OpenAI کا GPTBot ایسا مواد کرال کرتا ہے جو اس کے ماڈلز کی تربیت میں استعمال ہو سکتا ہے۔ OpenAI کہتا ہے کہ ہر سیٹنگ آزاد ہے، اس لیے آپ GPTBot بلاک کر کے بھی OAI-SearchBot کی اجازت دے سکتے ہیں۔[1]
- Anthropic کا ClaudeBot ایسا مواد جمع کرتا ہے جو تربیت میں حصہ ڈال سکتا ہے؛ اسے بلاک کرنے سے آپ کا آئندہ مواد تربیتی ڈیٹا سے باہر ہو جاتا ہے۔[2]
- Google-Extended، robots.txt کا ایک ٹوکن ہے، الگ کرالر نہیں۔ یہ Gemini ماڈلز کے لیے آپ کے مواد کے استعمال کو کنٹرول کرتا ہے اور، Google کے مطابق، Google Search میں آپ کی شمولیت یا رینکنگ پر اثر نہیں ڈالتا۔[4]
کسی شخص کی طرف سے کام کرنے والے فیچرز
کچھ فیچرز کسی صفحے پر اس لیے جاتے ہیں کہ کسی شخص نے اس کے بارے میں پوچھا۔ Perplexity کہتا ہے کہ اسی وجہ سے Perplexity-User عام طور پر robots.txt کو نظر انداز کرتا ہے۔[3] OpenAI کہتا ہے کہ ChatGPT-User یہ طے کرنے کے لیے استعمال نہیں ہوتا کہ سرچ میں کیا آئے، اور robots.txt کے قواعد اس پر لاگو نہیں بھی ہو سکتے۔[1] robots.txt ایک درخواست ہے، تالا نہیں: پروٹوکول خود کہتا ہے کہ اس کے قواعد رسائی کی اجازت کی کوئی شکل نہیں۔[5]
ایسی robots.txt جو سرچ کی اجازت دے اور تربیت بلاک کرے
ہر گروپ User-agent سے ایک بوٹ کا نام لیتا ہے اور Disallow سے بتاتا ہے کہ وہ کیا حاصل نہیں کر سکتا۔ کرالر اس گروپ کی پیروی کرتا ہے جو اس کا نام لے، اور “*” گروپ کی صرف تب جب کوئی گروپ اس کا نام نہ لے۔[5] اس لیے GPTBot، ClaudeBot اور Google-Extended کو بلاک کرنے اور باقی سب کی اجازت دینے کے لیے انہیں “Disallow: /” کے ساتھ ان کا اپنا گروپ دیں اور سرچ بوٹس کو اپنے عام قواعد کے تحت رہنے دیں۔ اپنے گروپ میں نام والا بوٹ “*” کے قواعد نظر انداز کرتا ہے، اس لیے وہ Disallow لائنیں دہرائیں جن کی اسے اب بھی پیروی کرنی چاہیے۔ ہر تبدیلی کے بعد فائل ٹیسٹ کریں۔
سوالات
ChatGPT کو robots.txt کی تبدیلی کا کتنی جلدی پتا چلتا ہے؟
OpenAI کہتا ہے کہ robots.txt اپ ڈیٹ ہونے سے اس کے سرچ سسٹمز کے ایڈجسٹ ہونے تک تقریباً 24 گھنٹے لگ سکتے ہیں۔[1]
کیا Anthropic، robots.txt کی پیروی کرتا ہے؟
Anthropic کہتا ہے کہ اس کے بوٹس robots.txt کی ہدایات کی پابندی کرتے ہیں، اور بتاتا ہے کہ IP بلاک کرنا قابلِ اعتماد طریقے سے کام نہیں بھی کر سکتا کیونکہ اس سے بوٹس فائل پڑھ ہی نہیں پاتے۔[2]
متعلقہ
ذرائع
- OpenAI: Overview of OpenAI crawlers، 6 نومبر، 2026 کو پڑھا گیا
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?، 6 نومبر، 2026 کو پڑھا گیا
- Perplexity: Perplexity crawlers، 6 نومبر، 2026 کو پڑھا گیا
- Google Search Central: Google’s common crawlers (Google-Extended)، 6 نومبر، 2026 کو پڑھا گیا
- RFC 9309: Robots Exclusion Protocol، 6 نومبر، 2026 کو پڑھا گیا
6 نومبر، 2026 کو اپ ڈیٹ کیا گیا۔ کچھ غلط یا پرانا ہے؟ connect@odeist.com پر ای میل کریں (موضوع: تصحیح: کیا مجھے robots.txt میں AI کرالرز بلاک کرنے چاہئیں؟)۔
مفت شروع کریں 7 دن مفت، کارڈ کی ضرورت نہیں۔