Robots.txt - přístup robotů na web
Posted by Luděk Kvapil on Sunday, 13 October 2013Robots.txt je textový soubor, který obsahuje základní informace pro internetové boty (crawlery, roboty). Definuje co můžou indexovat a co indexovat nesmí. V robots.txt může být také informace o umístění mapy webu pro vyhledávače, pokud se soubr nenachází v kořenovém adresáři.