Disallow:
Arama motorları örümceklerinin sitenizde gezmesini istemediğiniz bir sayfayı veya dizini belirtmek için kullanılan robots dosyası terimi. Robots.txt dosyasındaki kullanımı şu şekildedir.
User-agent:*
Disallow: /dizin-adi/
Bu şekilde belirlediğiniz dizine hiç bir arama motoru örümceği girmeyecektir. Yine bu disallow komutuyla sitenizin tamamının gezilebilir veya gezilemez olmasını belirleyebilirsiniz.
Directory:
Dizin. Web sitelerinin kategori sistemine göre listelendiği internet rehberleri. En tanınmışları "DMOZ (ODP)" ve "Yahoo Directory"'dir.
DMCA:
Digital Millennium Copyright Act (Dijital Milenyum Telif Hakkı Yasası). Web sitenizin içerik veya resimleri resmi olarak altında tutan derneği.
Delinking:
Bir linkin bağlantısı kesmek.
Deep Crawl:
Sitenizi uzun aralıklarla ziyaret edip inceleyen, indeks almamış sayfalarınızı indeksleyen Google botu.