قواعد RFC 9309، روبوٹس ایکسکلوژن پروٹوکول میں طے ہیں۔ انہیں /robots.txt نام کی فائل میں، تمام چھوٹے حروف میں، سائٹ کے سب سے اوپر والے پاتھ میں ہونا چاہیے۔[1] قواعد کا ہر گروپ User-agent لائنوں سے ایک یا زیادہ کرالرز کا نام لیتا ہے اور Disallow لائنوں سے وہ پاتھ بتاتا ہے جو وہ حاصل نہیں کر سکتے۔[1]
robots.txt ایک درخواست ہے، تالا نہیں۔ RFC کہتا ہے کہ یہ قواعد رسائی کی اجازت کی کوئی شکل نہیں۔[1] کسی شخص کی طرف سے کام کرنے والے فیچرز مختلف طرح برتاؤ کر سکتے ہیں: Perplexity کہتا ہے کہ اس کا Perplexity-User فیچر عام طور پر robots.txt کو نظر انداز کرتا ہے کیونکہ صفحہ کسی صارف نے مانگا ہوتا ہے۔[2]
متعلقہ
ذرائع
- RFC 9309: Robots Exclusion Protocol، 6 نومبر، 2026 کو پڑھا گیا
- Perplexity: Perplexity crawlers، 6 نومبر، 2026 کو پڑھا گیا
6 نومبر، 2026 کو اپ ڈیٹ کیا گیا۔ کچھ غلط یا پرانا ہے؟ connect@odeist.com پر ای میل کریں (موضوع: تصحیح: robots.txt)۔
مفت شروع کریں 7 دن مفت، کارڈ کی ضرورت نہیں۔