# Eval harness (kiértékelő keretrendszer)

> Az eval harness az a futtatható infrastruktúra, ami minden modellverzión, minden prompt-változtatáson és minden release előtt automatikusan lefuttat egy rögzített tesztkészletet, kiszámítja a metrikákat (pontosság, faktualitás, refusal arány, latency, költség), eltárolja az eredményeket idősorban, és blokkolja a release-t, ha valamelyik küszöb alá esik.

A „mi teszteltük” tipikusan annyit jelent, hogy a fejlesztő néhány promptot manuálisan végigjátszott egyszer. Az eval harness ennek a CI-osított, regressziókat fogó, verziókat összehasonlító változata. Anélkül minden modellfrissítés vakrepülés. A komoly LLM-stack ma egy dataset, egy futtató (Promptfoo, Inspect, házi), egy scoring-réteg (LLM-as-judge plusz determinisztikus assert-ek) és egy dashboard ahol a tegnapi run mellett ott van az új.

## Kapcsolódó fogalmak

- https://dfieldsolutions.hu/hu/fogalomtar/agent-memory.md
- https://dfieldsolutions.hu/hu/fogalomtar/agentic-ai.md
- https://dfieldsolutions.hu/hu/fogalomtar/ai-gateway.md
- https://dfieldsolutions.hu/hu/fogalomtar/chunking.md

---

Source: https://dfieldsolutions.hu/hu/fogalomtar/eval-harness
DField Solutions — Torony köz 5-1.a, 2120 Dunakeszi, Hungary — +36 20 722 0002 — dezso@dfieldsolutions.com
Booking: see https://dfieldsolutions.hu/en/contact