A Googlebot véges türelemmel tölt le: látogatásonként annyi URL-t crawlol, amennyit a szerver sebessége és az oldal megítélt értéke enged. Kis oldal sosem üti meg a limitet — néhány száz oldal mind látóvá válik. Korláttá több ezer URL-es oldalaknál válik, ahol a paraméteres URL-ekre, fasettás lapokra, címkearchívumokra és átirányításláncokra költött kapacitás nem a fontos oldalakra jut.
A karbantartás házimunka: a robots.txt és canonical tartsa távol a szemét-URL-eket, a belső linkek a végleges célra mutassanak átirányított hopok helyett, a sitemap legyen 404-mentes, a szerver gyors — a crawl-rate egy gyorsan válaszoló oldalhoz igazodik.
Kapcsolódó fogalmak
robots.txt
Egyszerű szövegfájl a site gyökerében, ami megmondja a crawlereknek, mit hozhatnak le — utasítás gépeknek, nem lakat az ajtón.
Indexelés
A keresőmotor felvétele egy oldalt a kereshető adatbázisába — a crawling letölti, az indexelés megtalálhatóvá teszi; ami nincs indexelve, az láthatatlan.
XML-sitemap
Géppel olvasható lista minden indexelésre érdemes URL-ről — utolsó módosításokkal együtt —, hogy a crawler mindent megtaláljon, gyorsan.
Belső linkelés
A saját oldalaid közti linkek — így folyik a tekintély a rászoruló oldalakra, és így találják meg a crawlerek és olvasók a mélységet.
Ide tartozó munkapad
WebteljesítményÚjraépítés, ami mobilneten, telefonon is betölt, abban az országban, ahol az ügyfeleid tényleg vannak. A Core Web Vitals a mérőszám, a bevétel a cél.
