# robots.txt

> Egyszerű szövegfájl a site gyökerében, ami megmondja a crawlereknek, mit hozhatnak le — utasítás gépeknek, nem lakat az ajtón.

Minden komoly bot először a /robots.txt-t olvassa: mely útvonalak tiltottak, hol a sitemap, esetleg mely botok üdvözölték konkrétan. A „Disallow: /admin” azt jelenti: „kérlek, ne crawld ezt” — távol tartja a crawlereket a keretüket pazarló területektől, mint a szűrt keresőoldalak és belső eszközök.

Két dolog, ami nem: nem biztonság — a fájl nyilvános és pontosan felsorolja, mit rejtettél, így az érzékeny útvonalaknak auth kell —, és nem garancia: a Google tiszteletben tartja, a rosszindulatú botok nem, és a „Disallow” nem vesz ki oldalt az indexből, ha már benne van. Ahhoz noindex kell magán az oldalon.

## Kapcsolódó fogalmak

- https://dfieldsolutions.hu/hu/fogalomtar/xml-sitemap.md
- https://dfieldsolutions.hu/hu/fogalomtar/indexing.md
- https://dfieldsolutions.hu/hu/fogalomtar/seo.md

---

Source: https://dfieldsolutions.hu/hu/fogalomtar/robots-txt
DField Solutions — Dunakeszi, Hungary — dezso@dfieldsolutions.com
Booking: see https://dfieldsolutions.hu/en/contact