Tanım
Robots.txt, web sitesinin kök dizininde yer alan ve arama motoru botlarına hangi sayfaları tarayabilecekleri, hangilerini tarayamayacakları konusunda yönergeler veren metin dosyasıdır. Bu dosya, Robots Exclusion Protocol (REP) standardına uygun olarak yazılır ve web sitesinin arama motorları tarafından nasıl indeksleneceğini kontrol etmeye yardımcı olur. Web sitelerinin SEO stratejisinin önemli bir parçasıdır ve doğru yapılandırıldığında arama motoru optimizasyonuna olumlu katkı sağlar.
Yanlış Bilinenler
“Robots.txt dosyası hassas içerikleri tamamen korur.”
Robots.txt sadece tarama botlarına yönerge verir, güvenlik aracı değildir. Kötü niyetli kullanıcılar dosyayı görebilir ve yasaklanan alanları keşfedebilir.
“Robots.txt değişiklikleri neden hemen etkili olmuyor?”
Arama motorlarının robots.txt dosyasını yeniden okuması zaman alabilir. Google Search Console’dan yeniden getirme talebinde bulunmak süreci hızlandırabilir.
Kaynakça ve Referanslar
Resmi Standartlar ve Dokümantasyonlar:
- Robots Exclusion Protocol (REP)
- Google Robots.txt Spesifikasyonu
- RFC 9309 – Robots Exclusion Protocol
Google Araçları ve Kaynakları: