Google tarzı arama motorları sitenizi indekslemesin!
Google tarzı arama motorlarının indeksleme robotları bir web sitesine ulaştıklarında ilk olarak root dizinde bulunan robots.txt dosyasını ararlar. Bu dosya robotlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini belirtir.
Size ait bir site yada ftp site’ının indekslenmemesini istiyorsanız, robots.txt içeriğini aşağıdaki gibi düzenleyin.
User-agent: *
Disallow: /
Ve root dizine atın
Size ait bir site yada ftp site’ının indekslenmemesini istiyorsanız, robots.txt içeriğini aşağıdaki gibi düzenleyin.
User-agent: *
Disallow: /
Ve root dizine atın
Yorumlar