Odeist AI

Öğren › Sözlük

robots.txt

robots.txt, bir web sitesinin en üst dizininde bulunan ve tarayıcılara hangi yolları çekebileceklerini ve çekemeyeceklerini söyleyen düz bir metin dosyasıdır.

Kurallar, Robots Exclusion Protocol olan RFC 9309'da tanımlanır. Kurallar, sitenin en üst düzey yolunda, tamamı küçük harfle /robots.txt adlı bir dosyada bulunmalıdır.[1] Her kural grubu, User-agent satırlarıyla bir veya daha fazla tarayıcıyı adlandırır ve Disallow satırlarıyla çekemeyecekleri yolları listeler.[1]

robots.txt bir kilit değil, bir ricadır. RFC, kuralların bir erişim yetkilendirmesi biçimi olmadığını söylüyor.[1] Bir kişi adına hareket eden getiriciler farklı davranabilir: Perplexity, Perplexity-User getiricisinin, sayfayı bir kullanıcı istediği için robots.txt'yi genellikle yok saydığını söylüyor.[2]

İlgili

Kaynaklar

  1. RFC 9309: Robots Exclusion Protocol, 6 Kasım 2026 tarihinde okundu
  2. Perplexity: Perplexity crawlers, 6 Kasım 2026 tarihinde okundu

6 Kasım 2026 tarihinde güncellendi. Yanlış ya da eskimiş bir şey mi var? connect@odeist.com adresine yaz (konu: Düzeltme: robots.txt).

Ücretsiz başla 7 gün ücretsiz, kart gerekmez.