Kurallar, Robots Exclusion Protocol olan RFC 9309'da tanımlanır. Kurallar, sitenin en üst düzey yolunda, tamamı küçük harfle /robots.txt adlı bir dosyada bulunmalıdır.[1] Her kural grubu, User-agent satırlarıyla bir veya daha fazla tarayıcıyı adlandırır ve Disallow satırlarıyla çekemeyecekleri yolları listeler.[1]
robots.txt bir kilit değil, bir ricadır. RFC, kuralların bir erişim yetkilendirmesi biçimi olmadığını söylüyor.[1] Bir kişi adına hareket eden getiriciler farklı davranabilir: Perplexity, Perplexity-User getiricisinin, sayfayı bir kullanıcı istediği için robots.txt'yi genellikle yok saydığını söylüyor.[2]
İlgili
- Yapay zeka tarayıcısı (AI crawler)
- robots.txt'de yapay zeka tarayıcılarını engellemeli miyim?
- llms.txt
Kaynaklar
- RFC 9309: Robots Exclusion Protocol, 6 Kasım 2026 tarihinde okundu
- Perplexity: Perplexity crawlers, 6 Kasım 2026 tarihinde okundu
6 Kasım 2026 tarihinde güncellendi. Yanlış ya da eskimiş bir şey mi var? connect@odeist.com adresine yaz (konu: Düzeltme: robots.txt).
Ücretsiz başla 7 gün ücretsiz, kart gerekmez.