Kontrola nevhodných zápisů v ROBOTS.txt

ROBOTS.txt slouží k řízení robotů vyhledávačů na Vašich stránkách. Pomocí definic jim říkáte kam chodit mohou a kam ne. Špatným zápis této definice můžete lehce donutit robota, aby např. přestal prochátet (většinou i indexovat) nové stránky, produkty.

Automatická kontrola

Soubor ROBOTS.txt automaticky kontrolujeme každý den a porovnáváme obsah s předchozím dnem. Díky tomu Vás můžeme upozornit na jeho změny v čase a zobrazit i k jakým konkrétním změnám došlo.

Na řádku 41 z nějakého důvodu ať už ručně nebo díky nějaké doplňku došlo ke změně z Disallow: na Disallow: /*. Tato změna má za důsledek zákaz procházení všech stránek na dané doméně. Což mělo v tomto případě za důsledek snížení počtu indexovaných stránek na Seznam.cz