Odeist AI

تعلّم › إجابة

هل يجب أن أحظر زواحف الذكاء الاصطناعي في robots.txt؟

إجابة مختصرة: معظم الشركات التي تريد عملاء يجب أن تسمح لروبوتات البحث بالذكاء الاصطناعي وأن تقرر بشكل منفصل بشأن روبوتات التدريب. روبوتات البحث، مثل OAI-SearchBot من OpenAI وClaude-SearchBot من Anthropic وPerplexityBot، تحدد هل يمكن أن يُعثر عليك ويُربط بك في إجابات الذكاء الاصطناعي. أما روبوتات التدريب، مثل GPTBot وClaudeBot، فتجمع المحتوى لتدريب النماذج. يمكنك حظر نوع والسماح بالآخر.

روبوتات البحث: ماذا يكلّفك حظرها

  • يُستخدم OAI-SearchBot من OpenAI لإظهار المواقع في ميزات البحث في ChatGPT، والمواقع التي تنسحب منه لا تظهر في إجابات بحث ChatGPT، وإن كان يمكن أن تظهر كروابط تنقّل.[1]
  • يحسّن Claude-SearchBot من Anthropic نتائج البحث لمستخدمي Claude، وحظره يعني أن محتواك لا يُفهرس للبحث، مما قد يقلل ظهورك في إجابات Claude.[2]
  • يُظهر PerplexityBot المواقع ويربط بها في نتائج بحث Perplexity ولا يُستخدم لتدريب النماذج الأساسية.[3]

روبوتات التدريب: القرار لك

  • يزحف GPTBot من OpenAI إلى المحتوى الذي قد يُستخدم لتدريب نماذجها. تقول OpenAI إن كل إعداد مستقل، لذا يمكنك حظر GPTBot مع السماح بـOAI-SearchBot.[1]
  • يجمع ClaudeBot من Anthropic محتوى قد يُسهم في التدريب، وحظره يستبعد محتواك المستقبلي من بيانات التدريب.[2]
  • Google-Extended رمز في robots.txt، وليس زاحفًا منفصلًا. يتحكم في استخدام محتواك لنماذج Gemini، وبحسب Google لا يؤثر في إدراجك أو ترتيبك في Google Search.[4]

أدوات الجلب التي تعمل نيابة عن شخص

بعض أدوات الجلب تزور صفحة لأن شخصًا سأل عنها. تقول Perplexity إن Perplexity-User يتجاهل robots.txt عمومًا لهذا السبب.[3] وتقول OpenAI إن ChatGPT-User لا يُستخدم لتحديد ما يظهر في البحث، وإن قواعد robots.txt قد لا تنطبق عليه.[1] robots.txt طلب، وليس قفلًا: البروتوكول نفسه يقول إن قواعده ليست شكلًا من أشكال تفويض الوصول.[5]

ملف robots.txt يسمح بالبحث ويحظر التدريب

كل مجموعة تسمّي روبوتًا بسطر User-agent وتسرد ما لا يجوز له جلبه بأسطر Disallow. يتبع الزاحف المجموعة التي تسمّيه، ولا يتبع مجموعة «*» إلا إذا لم تسمّه أي مجموعة.[5] لذا لحظر GPTBot وClaudeBot وGoogle-Extended مع السماح بكل شيء آخر، اجعل لها مجموعة خاصة بها فيها «Disallow: /» واترك روبوتات البحث تحت قواعدك المعتادة. الروبوت المسمّى في مجموعته الخاصة يتجاهل قواعد «*»، لذا كرّر أي أسطر Disallow يجب أن يظل يتبعها. اختبر الملف بعد كل تغيير.

الأسئلة

ما مدى سرعة ملاحظة ChatGPT لتغيير في robots.txt؟

تقول OpenAI إن أنظمة البحث لديها قد تحتاج إلى نحو 24 ساعة من تحديث robots.txt حتى تتكيّف.[1]

هل تلتزم Anthropic بملف robots.txt؟

تقول Anthropic إن روبوتاتها تلتزم بتوجيهات robots.txt، وتشير إلى أن حظر عناوين IP قد لا يعمل بشكل موثوق لأنه يمنع الروبوتات من قراءة الملف أصلًا.[2]

صفحات ذات صلة

المصادر

  1. OpenAI: Overview of OpenAI crawlers، قُرئ في ٦ نوفمبر ٢٠٢٦
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?، قُرئ في ٦ نوفمبر ٢٠٢٦
  3. Perplexity: Perplexity crawlers، قُرئ في ٦ نوفمبر ٢٠٢٦
  4. Google Search Central: Google’s common crawlers (Google-Extended)، قُرئ في ٦ نوفمبر ٢٠٢٦
  5. RFC 9309: Robots Exclusion Protocol، قُرئ في ٦ نوفمبر ٢٠٢٦

حُدّث في ٦ نوفمبر ٢٠٢٦. هل هناك خطأ أو معلومة قديمة؟ راسلنا على connect@odeist.com (الموضوع: تصحيح: هل يجب أن أحظر زواحف الذكاء الاصطناعي في robots.txt؟).

ابدأ مجانًا 7 أيام مجانًا، دون الحاجة إلى بطاقة.