Robot Txt Nedir Nedegildir?

Arama motorlarının indeksleme robotları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Bu dosya robotlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak için yerleştirilir. Robotlar sadece kök dizindeki robots.txt dosyasına bakacakları için alt dizinlere bu dosyayı yerleştirmek anlamsızdır. Eğer alt dizinlerden birisine ait url (veya url’lerin) indekslenmesini istemiyorsanız bunlar da kök dizindeki robots.txt dosyasında bildirmeniz gerekiyor. Ya da alternatif olarak indekslenmesini istemediğiniz sayfalarda Meta Tag kullanabilirsiniz. Çoğu ücretsiz blog servisi kök dizine erişime izin vermediğinden Meta Tag’lardan yararlanmak gerekecetir.

Sitenizin Tamamının İndexlenmesini Engellemek İstiyorsanız

User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:

Robotların Siteninzin Tamamını İndexlemesi İçin

User-agent: *
Disallow:

Bir DizininTüm Robotlar Tarafından İndexlenmesini İstiyorsanız.

User-agent: *
Disallow: /dizin-adi/

Bir Sayfa'nın Tüm Robotlar Tarafından İndexlenmesini Engellemek İçin

User-agent: *
Disallow: /dizin-adi/ozel-sayfa.html