# LLM eval-as-code: a CI-kapu minden RAG-deployra

> A valódi eval-keretrendszer, amit szállítunk · metrikák, regresszió-blokkoló küszöbök, gold-set kezelés, és a diff-jelentés, ami minden PR-en fut.

Egy release elott manuálisan futtatott eval nem eval · remeny. A produkcióban megálló RAG-rendszereknek evals-as-code van: fix gold-set, metrikák CI-ben, regresszió-blokkolás, PR-enkénti diff-jelentés.

## Ot metrika-osztály

- Faithfulness · a válasz a retrieval kontextuson belül maradt-e
- Context precision · a retrieval a jó chunkot hozta-e
- Answer relevance · a válasz a kérdést célozza-e
- Bias · semleges kontextusra semleges válasz
- Injection resistance · 80+ ismert támadási mintára ellenáll-e

## Gold-set fegyelem

A gold-set a repo-ban verziozva · nem táblázatban, nem megosztott Notion-oldalon. Változáshoz PR kell reviewerrel. Az eval harness konkrét gold-set-verzióra pinol · így az eval-futások összehasonlíthatók az időben.

## Regresszió-blokkolás

A CI elbukik, ha bármelyik metrika 5 pontnál többet esik a baseline alól. A baseline-updatek csak explicit human approval-lal merge-ölnek · nem automatikusan minden javulásra. Megállítja azt a drift-et, ahol 'kis' regressziók halmozódnak.

```python
if current_score < baseline_score - 0.05:
    raise AssertionError(
        f'Regressziu · {metric}: {current_score:.3f} < {baseline_score:.3f} - 0.05'
    )
```

## Heti kanári az élő modell ellen

A PR-blokkoló evalokon túl hetente futtatjuk ugyanazt a suite-ot a produkciós forgalmon · elkapja a driftet a merge-időbeli CI és a vadonbeli valóság között (query-eloszlás-változás, prompt-drift, adat-avulás).

> A leggyorsabb eval-as-code win: mutass a promptfoo-nak 20 valódi ügyfélkérdést + amit a jó válasznak fogadsz el. Ship CI-ba. Ez elott minden LLM-minoségi beszélgetés érzés.

## Amit érdemes elvinni

- A manuális eval nem eval · ez a workflow: 5 metrika CI-ben, verziozott gold-set, regresszió-blokkoló küszöbök, PR-enkénti diff-jelentés, heti kanári az élő modell ellen.

## Címkék

AI, LLM, RAG, Eval, CI, Production

## Az írásban használt fogalmak

- https://dfieldsolutions.hu/hu/fogalomtar/eval.md
- https://dfieldsolutions.hu/hu/fogalomtar/eval-harness.md

## Ezt is megépítjük

https://dfieldsolutions.hu/hu/szolgaltatasok/ai-automation

## Több a laborból

- https://dfieldsolutions.hu/hu/labor/ai-chatbot-szallitasa-14-nap.md — AI chatbot szállítása 14 nap alatt · RAG, eval, deploy
- https://dfieldsolutions.hu/hu/labor/shipping-ai-agents-that-work.md — AI ügynökök produkcióban: ne demó legyen, hanem rendszer
- https://dfieldsolutions.hu/hu/labor/llm-prompt-caching-production-savings.md — LLM prompt caching produkcióban · 60-80%-os költségvágás
- https://dfieldsolutions.hu/hu/labor/rag-adatszivargas-magyar-ugyfel-2026.md — RAG adatszivárgás 2026: hogyan védd az ügyféladatot

---

Source: https://dfieldsolutions.hu/hu/labor/llm-evals-as-code-production
DField Solutions — Torony köz 5-1.a, 2120 Dunakeszi, Hungary — +36 20 722 0002 — dezso@dfieldsolutions.com
Booking: see https://dfieldsolutions.hu/en/contact