Co to je?

Odborná definice

Crawlování (z anglického „crawling“) je automatizovaná činnost, při které vyhledávací robot (například Googlebot) systematicky navštěvuje jednotlivé stránky webu, stahuje jejich obsah, sleduje interní odkazy a vyhledává nové nebo aktualizované stránky. Získaná data jsou dále zpracovávána pro účely indexace a zobrazování výsledků ve vyhledávačích.

Definice pro běžného uživatele

Crawlování znamená, že robot vyhledávače (jako Google nebo Seznam) pravidelně navštěvuje váš web, prohlíží nové nebo změněné stránky a díky tomu rozhoduje, co se ukáže lidem ve vyhledávači.

Co ovlivňuje crawlování

Technické faktory

Robots.txt určuje, ke kterým částem webu mají roboti přístup. Nesprávně nastavený soubor může znemožnit procházení důležitých stránek.
Sitemap.xml slouží jako mapa webu a pomáhá robotům najít všechny důležité stránky.
Stavové kódy a přesměrování (například 200, 301, 404, 500) informují roboty, zda je stránka dostupná nebo byla přesunuta jinam.
Rychlost a dostupnost webu ovlivňuje, kolik stránek stihne robot projít.
Interní prolinkování a hloubka stránek – čím je stránka lépe dostupná z hlavní stránky, tím větší šance, že ji robot navštíví.
Duplicate content a canonical – duplicity robotům komplikují orientaci; pomocí atributu canonical lze určit hlavní verzi stránky.

Obsahové faktory

Dobře strukturovaný obsah pomáhá robotům snadněji porozumět struktuře webu a zařazovat stránky správně.

Externí faktory

Kvalitní zpětné odkazy mohou zvýšit četnost návštěv robotů. Naopak nízká důvěryhodnost domény nebo penalizace může crawlování omezit.

Kdy sledovat crawlování v SEO

Při vstupním SEO auditu

Je potřeba zkontrolovat, zda jsou všechny klíčové stránky přístupné pro roboty a jestli něco není omylem blokováno. Ověřuje se robots.txt, sitemap i vnitřní struktura webu.

Pravidelné kontroly

Web se vyvíjí, obsah přibývá nebo se mění. Pravidelné sledování crawlování pomáhá odhalit nové chyby, například chybné přesměrování, výpadky nebo nechtěně zablokované sekce.

Po technických změnách a přesunech v rámci webu

Po větších změnách (například při přesunech kategorií, změně URL, migraci na nový systém) je potřeba ověřit, že robot stále prochází všechny stránky správně a že nedošlo k omezení nebo přerušení crawlování.