تستخدم OpenAI الروبوت GPTBot لزحف المحتوى الذي قد يُستخدم لتدريب نماذجها، وOAI-SearchBot لإظهار المواقع في ميزات البحث في ChatGPT، وتقول إن كل إعداد مستقل عن الآخر.[1] وتشغّل Anthropic الروبوت ClaudeBot للتدريب، وClaude-SearchBot للبحث، وClaude-User عندما يسأل شخص Claude عن صفحة، وتقول إن روبوتاتها تلتزم بملف robots.txt.[2] وتقول Perplexity إن PerplexityBot يُظهر المواقع ويربط بها في نتائج بحثها ولا يُستخدم لتدريب نماذج الذكاء الاصطناعي الأساسية.[3]
أما Google-Extended فمختلف: فهو ليس زاحفًا، بل رمز في robots.txt يتحكم في ما إذا كان يجوز استخدام المحتوى الذي تزحف إليه Google لنماذج Gemini، وتقول Google إنه لا يؤثر في إدراج الموقع أو ترتيبه في Google Search.[4]
صفحات ذات صلة
المصادر
- OpenAI: Overview of OpenAI crawlers، قُرئ في ٦ نوفمبر ٢٠٢٦
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?، قُرئ في ٦ نوفمبر ٢٠٢٦
- Perplexity: Perplexity crawlers، قُرئ في ٦ نوفمبر ٢٠٢٦
- Google Search Central: Google’s common crawlers (Google-Extended)، قُرئ في ٦ نوفمبر ٢٠٢٦
حُدّث في ٦ نوفمبر ٢٠٢٦. هل هناك خطأ أو معلومة قديمة؟ راسلنا على connect@odeist.com (الموضوع: تصحيح: زاحف الذكاء الاصطناعي).
ابدأ مجانًا 7 أيام مجانًا، دون الحاجة إلى بطاقة.