SEO (Arama Motoru Optimizasyonu) Terimi Olarak Disallow :
Arama motorları örümceklerinin sitenizde gezmesini istemediğiniz bir sayfayı veya dizini belirtmek için kullanılan robots dosyası terimi. Robots.txt dosyasındaki kullanımı şu şekildedir.
User-agent:*
Disallow: /dizin-adi/
Bu şekilde belirlediğiniz dizine hiç bir arama motoru örümceği girmeyecektir. Yine bu disallow komutuyla sitenizin tamamının gezilebilir veya gezilemez olmasını belirleyebilirsiniz.