Boti

Crawlers - internetoví roboti (nejen ) vyhledávačů

Crawler, nebo také bot, či spider je program, který automaticky skenuje stránky a objevuje nové pomocí následování odkazů umístěných na stránce. Crawlery využívají všechny vyhledávače k procházení internetu. Každý bot indexují určitý typ informací. Pravidla pro procházení webu roboty stanovuje robots.txt