Odeist AI

Öğren › Sözlük

Yapay zeka tarayıcısı (AI crawler)

Yapay zeka tarayıcısı, bir yapay zeka şirketi için web sayfalarını çeken bir bottur; amacı ya modelleri eğitmek ya da insanların sorularını aramayla yanıtlamaktır. Bu iki iş için genellikle farklı botlar vardır; birine izin verip diğerini engelleyebilirsin.

OpenAI, modellerini eğitmek için kullanılabilecek içeriği taramak için GPTBot'u, ChatGPT'nin arama özelliklerinde web sitelerini öne çıkarmak için de OAI-SearchBot'u kullanır; her ayarın diğerlerinden bağımsız olduğunu söylüyor.[1] Anthropic, eğitim için ClaudeBot'u, arama için Claude-SearchBot'u ve bir kişi Claude'a bir sayfa hakkında soru sorduğunda Claude-User'ı çalıştırır ve botlarının robots.txt'ye uyduğunu söylüyor.[2] Perplexity, PerplexityBot'un arama sonuçlarında web sitelerini öne çıkarıp onlara bağlantı verdiğini ve yapay zeka temel modellerini eğitmek için kullanılmadığını söylüyor.[3]

Google-Extended farklıdır: bir tarayıcı değil, Google'ın taradığı içeriğin Gemini modelleri için kullanılıp kullanılamayacağını kontrol eden bir robots.txt belirtecidir; Google bunun bir sitenin Google Arama'ya dahil edilmesini veya sıralamasını etkilemediğini söylüyor.[4]

İlgili

Kaynaklar

  1. OpenAI: Overview of OpenAI crawlers, 6 Kasım 2026 tarihinde okundu
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, 6 Kasım 2026 tarihinde okundu
  3. Perplexity: Perplexity crawlers, 6 Kasım 2026 tarihinde okundu
  4. Google Search Central: Google’s common crawlers (Google-Extended), 6 Kasım 2026 tarihinde okundu

6 Kasım 2026 tarihinde güncellendi. Yanlış ya da eskimiş bir şey mi var? connect@odeist.com adresine yaz (konu: Düzeltme: Yapay zeka tarayıcısı (AI crawler)).

Ücretsiz başla 7 gün ücretsiz, kart gerekmez.