Minden komoly bot először a /robots.txt-t olvassa: mely útvonalak tiltottak, hol a sitemap, esetleg mely botok üdvözölték konkrétan. A „Disallow: /admin” azt jelenti: „kérlek, ne crawld ezt” — távol tartja a crawlereket a keretüket pazarló területektől, mint a szűrt keresőoldalak és belső eszközök.
Két dolog, ami nem: nem biztonság — a fájl nyilvános és pontosan felsorolja, mit rejtettél, így az érzékeny útvonalaknak auth kell —, és nem garancia: a Google tiszteletben tartja, a rosszindulatú botok nem, és a „Disallow” nem vesz ki oldalt az indexből, ha már benne van. Ahhoz noindex kell magán az oldalon.
Kapcsolódó fogalmak
XML-sitemap
Géppel olvasható lista minden indexelésre érdemes URL-ről — utolsó módosításokkal együtt —, hogy a crawler mindent megtaláljon, gyorsan.
Indexelés
A keresőmotor felvétele egy oldalt a kereshető adatbázisába — a crawling letölti, az indexelés megtalálhatóvá teszi; ami nincs indexelve, az láthatatlan.
SEO
Keresőoptimalizálás — az oldalak megtalálhatóvá, indexelhetővé és rangsorolásra érdemessé tétele: technikai egészség plusz tartalom, amit az emberek tényleg akarnak.
Ide tartozó munkapad
WebteljesítményÚjraépítés, ami mobilneten, telefonon is betölt, abban az országban, ahol az ügyfeleid tényleg vannak. A Core Web Vitals a mérőszám, a bevétel a cél.
