Odeist AI

تعلّم › المسرد

robots.txt

robots.txt ملف نصي بسيط في أعلى الموقع يخبر الزواحف بالمسارات التي يجوز لها جلبها والتي لا يجوز.

القواعد معرّفة في RFC 9309، بروتوكول استبعاد الروبوتات. يجب أن توضع في ملف اسمه /robots.txt، بأحرف صغيرة كلها، في المسار الأعلى للموقع.[1] تسمّي كل مجموعة قواعد زاحفًا واحدًا أو أكثر بأسطر User-agent، وتسرد المسارات التي لا يجوز لها جلبها بأسطر Disallow.[1]

robots.txt طلب، وليس قفلًا. يقول الـRFC إن القواعد ليست شكلًا من أشكال تفويض الوصول.[1] وقد تتصرف أدوات الجلب التي تعمل نيابة عن شخص بشكل مختلف: تقول Perplexity إن أداة الجلب Perplexity-User تتجاهل robots.txt عمومًا لأن مستخدمًا طلب الصفحة.[2]

صفحات ذات صلة

المصادر

  1. RFC 9309: Robots Exclusion Protocol، قُرئ في ٦ نوفمبر ٢٠٢٦
  2. Perplexity: Perplexity crawlers، قُرئ في ٦ نوفمبر ٢٠٢٦

حُدّث في ٦ نوفمبر ٢٠٢٦. هل هناك خطأ أو معلومة قديمة؟ راسلنا على connect@odeist.com (الموضوع: تصحيح: robots.txt).

ابدأ مجانًا 7 أيام مجانًا، دون الحاجة إلى بطاقة.