# Crawl-büdzsé

> Mennyit hajlandó a Googlebot letölteni az oldaladból — csak nagy oldalaknál korlát, de ott tényleges.

A Googlebot véges türelemmel tölt le: látogatásonként annyi URL-t crawlol, amennyit a szerver sebessége és az oldal megítélt értéke enged. Kis oldal sosem üti meg a limitet — néhány száz oldal mind látóvá válik. Korláttá több ezer URL-es oldalaknál válik, ahol a paraméteres URL-ekre, fasettás lapokra, címkearchívumokra és átirányításláncokra költött kapacitás nem a fontos oldalakra jut.

A karbantartás házimunka: a robots.txt és canonical tartsa távol a szemét-URL-eket, a belső linkek a végleges célra mutassanak átirányított hopok helyett, a sitemap legyen 404-mentes, a szerver gyors — a crawl-rate egy gyorsan válaszoló oldalhoz igazodik.

## Kapcsolódó fogalmak

- https://dfieldsolutions.hu/hu/fogalomtar/robots-txt.md
- https://dfieldsolutions.hu/hu/fogalomtar/indexing.md
- https://dfieldsolutions.hu/hu/fogalomtar/xml-sitemap.md
- https://dfieldsolutions.hu/hu/fogalomtar/internal-linking.md

---

Source: https://dfieldsolutions.hu/hu/fogalomtar/crawl-budget
DField Solutions — Dunakeszi, Hungary — dezso@dfieldsolutions.com
Booking: see https://dfieldsolutions.hu/en/contact