Odeist AI

Öğren › Yanıt

robots.txt'de yapay zeka tarayıcılarını engellemeli miyim?

Kısa yanıt: Müşteri isteyen çoğu işletme yapay zeka arama botlarına izin vermeli ve eğitim botları hakkında ayrıca karar vermelidir. OpenAI'ın OAI-SearchBot'u, Anthropic'in Claude-SearchBot'u ve PerplexityBot gibi arama botları, yapay zeka yanıtlarında bulunup bulunamayacağını ve sana bağlantı verilip verilemeyeceğini belirler. GPTBot ve ClaudeBot gibi eğitim botları ise model eğitimi için içerik toplar. Bir türü engelleyip diğerine izin verebilirsin.

Arama botları: engellemenin sana maliyeti

  • OpenAI'ın OAI-SearchBot'u, ChatGPT'nin arama özelliklerinde web sitelerini öne çıkarmak için kullanılır; bunu reddeden siteler ChatGPT'nin arama yanıtlarında görünmez, ancak yine de yönlendirme bağlantıları olarak çıkabilirler.[1]
  • Anthropic'in Claude-SearchBot'u, Claude kullanıcıları için arama sonuçlarını iyileştirir; onu engellemek içeriğinin arama için dizine eklenmemesi demektir ve bu, Claude'un yanıtlarındaki görünürlüğünü azaltabilir.[2]
  • PerplexityBot, Perplexity'nin arama sonuçlarında web sitelerini öne çıkarır ve onlara bağlantı verir; temel modelleri eğitmek için kullanılmaz.[3]

Eğitim botları: karar senin

  • OpenAI'ın GPTBot'u, modellerini eğitmek için kullanılabilecek içeriği tarar. OpenAI her ayarın bağımsız olduğunu söylüyor; yani GPTBot'u engelleyip OAI-SearchBot'a yine de izin verebilirsin.[1]
  • Anthropic'in ClaudeBot'u, eğitime katkıda bulunabilecek içerik toplar; onu engellemek gelecekteki içeriğini eğitim verisinin dışında bırakır.[2]
  • Google-Extended ayrı bir tarayıcı değil, bir robots.txt belirtecidir. İçeriğinin Gemini modelleri için kullanılmasını kontrol eder ve Google'a göre Google Arama'ya dahil edilmeni veya sıralamanı etkilemez.[4]

Bir kişi adına hareket eden getiriciler

Bazı getiriciler bir sayfayı, bir kişi onun hakkında soru sorduğu için ziyaret eder. Perplexity, Perplexity-User'ın bu nedenle robots.txt'yi genellikle yok saydığını söylüyor.[3] OpenAI, ChatGPT-User'ın aramada neyin görüneceğine karar vermek için kullanılmadığını ve robots.txt kurallarının ona uygulanmayabileceğini söylüyor.[1] robots.txt bir kilit değil, bir ricadır: protokolün kendisi, kurallarının bir erişim yetkilendirmesi biçimi olmadığını söylüyor.[5]

Aramaya izin veren ve eğitimi engelleyen bir robots.txt

Her grup User-agent ile bir botu adlandırır ve Disallow ile onun neyi çekemeyeceğini listeler. Bir tarayıcı kendisini adlandıran grubu izler; “*” grubunu ise yalnızca hiçbir grup onu adlandırmıyorsa izler.[5] Yani diğer her şeye izin verirken GPTBot, ClaudeBot ve Google-Extended'ı engellemek için onlara “Disallow: /” içeren kendi gruplarını ver ve arama botlarını normal kurallarının altında bırak. Kendi grubunda adlandırılan bir bot “*” kurallarını yok sayar; bu yüzden yine de uyması gereken Disallow satırlarını tekrarla. Her değişiklikten sonra dosyayı test et.

Sorular

ChatGPT bir robots.txt değişikliğini ne kadar hızlı fark eder?

OpenAI, bir robots.txt güncellemesinden sonra arama sistemlerinin uyum sağlamasının yaklaşık 24 saat sürebileceğini söylüyor.[1]

Anthropic robots.txt'ye uyuyor mu?

Anthropic, botlarının robots.txt yönergelerine uyduğunu söylüyor ve IP engellemenin güvenilir şekilde çalışmayabileceğini, çünkü botların dosyayı hiç okuyamamasına yol açtığını belirtiyor.[2]

İlgili

Kaynaklar

  1. OpenAI: Overview of OpenAI crawlers, 6 Kasım 2026 tarihinde okundu
  2. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?, 6 Kasım 2026 tarihinde okundu
  3. Perplexity: Perplexity crawlers, 6 Kasım 2026 tarihinde okundu
  4. Google Search Central: Google’s common crawlers (Google-Extended), 6 Kasım 2026 tarihinde okundu
  5. RFC 9309: Robots Exclusion Protocol, 6 Kasım 2026 tarihinde okundu

6 Kasım 2026 tarihinde güncellendi. Yanlış ya da eskimiş bir şey mi var? connect@odeist.com adresine yaz (konu: Düzeltme: robots.txt'de yapay zeka tarayıcılarını engellemeli miyim?).

Ücretsiz başla 7 gün ücretsiz, kart gerekmez.