Boti

Crawler, nebo také bot, či spider je program, který automaticky skenuje stránky a objevuje nové pomocí následování odkazů umístěných na stránce. Crawlery využívají všechny vyhledávače k procházení internetu. Každý bot indexují určitý typ informací.