القواعد معرّفة في RFC 9309، بروتوكول استبعاد الروبوتات. يجب أن توضع في ملف اسمه /robots.txt، بأحرف صغيرة كلها، في المسار الأعلى للموقع.[1] تسمّي كل مجموعة قواعد زاحفًا واحدًا أو أكثر بأسطر User-agent، وتسرد المسارات التي لا يجوز لها جلبها بأسطر Disallow.[1]
robots.txt طلب، وليس قفلًا. يقول الـRFC إن القواعد ليست شكلًا من أشكال تفويض الوصول.[1] وقد تتصرف أدوات الجلب التي تعمل نيابة عن شخص بشكل مختلف: تقول Perplexity إن أداة الجلب Perplexity-User تتجاهل robots.txt عمومًا لأن مستخدمًا طلب الصفحة.[2]
صفحات ذات صلة
المصادر
- RFC 9309: Robots Exclusion Protocol، قُرئ في ٦ نوفمبر ٢٠٢٦
- Perplexity: Perplexity crawlers، قُرئ في ٦ نوفمبر ٢٠٢٦
حُدّث في ٦ نوفمبر ٢٠٢٦. هل هناك خطأ أو معلومة قديمة؟ راسلنا على connect@odeist.com (الموضوع: تصحيح: robots.txt).
ابدأ مجانًا 7 أيام مجانًا، دون الحاجة إلى بطاقة.