Robots.txt, web sitesinin kök dizininde yer alan ve arama motoru botlarına hangi sayfaları tarayabilecekleri, hangilerini tarayamayacakları konusunda yönergeler veren metin dosyasıdır. Bu dosya, Robots Exclusion Protocol (REP) standardına uygun olarak...
Web Sözlük
Listelenen harf "R"