Robots.txt, web sitesinin kök dizininde yer alan ve arama motoru botlarına hangi sayfaları tarayabilecekleri, hangilerini tarayamayacakları konusunda yönergeler veren metin dosyasıdır. Bu dosya, Robots Exclusion Protocol (REP) standardına uygun olarak...
SEO Sözlük
Terms starting with "R" in SEO