Odeist AI

سیکھیں › لغت

robots.txt

robots.txt ویب سائٹ کے سب سے اوپر ایک سادہ ٹیکسٹ فائل ہے جو کرالرز کو بتاتی ہے کہ وہ کون سے پاتھ حاصل کر سکتے ہیں اور کون سے نہیں۔

قواعد RFC 9309، روبوٹس ایکسکلوژن پروٹوکول میں طے ہیں۔ انہیں /robots.txt نام کی فائل میں، تمام چھوٹے حروف میں، سائٹ کے سب سے اوپر والے پاتھ میں ہونا چاہیے۔[1] قواعد کا ہر گروپ User-agent لائنوں سے ایک یا زیادہ کرالرز کا نام لیتا ہے اور Disallow لائنوں سے وہ پاتھ بتاتا ہے جو وہ حاصل نہیں کر سکتے۔[1]

robots.txt ایک درخواست ہے، تالا نہیں۔ RFC کہتا ہے کہ یہ قواعد رسائی کی اجازت کی کوئی شکل نہیں۔[1] کسی شخص کی طرف سے کام کرنے والے فیچرز مختلف طرح برتاؤ کر سکتے ہیں: Perplexity کہتا ہے کہ اس کا Perplexity-User فیچر عام طور پر robots.txt کو نظر انداز کرتا ہے کیونکہ صفحہ کسی صارف نے مانگا ہوتا ہے۔[2]

متعلقہ

ذرائع

  1. RFC 9309: Robots Exclusion Protocol، 6 نومبر، 2026 کو پڑھا گیا
  2. Perplexity: Perplexity crawlers، 6 نومبر، 2026 کو پڑھا گیا

6 نومبر، 2026 کو اپ ڈیٹ کیا گیا۔ کچھ غلط یا پرانا ہے؟ connect@odeist.com پر ای میل کریں (موضوع: تصحیح: robots.txt)۔

مفت شروع کریں 7 دن مفت، کارڈ کی ضرورت نہیں۔