Építési jegyzetek3 rész · 2 percÍrta: Dezső Mező · Megjelent 2026. október 3..mdLLMEvalsCIPrompting
Egy agent szállítása heti promptmódosítást jelent. Eval harness nélkül minden változás pénzfeldobás — az egyik hiba javítása csendben elront két viselkedést, amit senki nem ellenőrzött.
01Az eval-halmaz a szerződés
Ötven-kétszáz reprezentatív bemenet elvárt kimenettel — vagy legalább elvárt tulajdonságokkal — számmá teszi a „jobbnak tűnik”-et. Valódi transzkriptekből építsd, nem abból, amit a csapat kitalál a felhasználókról.
02Bíróval bíráltass, szemmel spotcheckelj
Az LLM-as-judge rubrika-kritériumokra pontoz minden futást és skáláz minden változáshoz; egy heti emberi átolvasás tíz véletlen kimeneten kifogja, amiről a rubrika megfeledkezett. Egyik önmagában sem elég.
03A promptot verziózd, mint a kódot
Prompt-szöveg verziókezelésben, eval-pontszámok CI-ban minden változásnál, és egy rollback, ami percek alatt megy, nem megbeszélés alatt. A prompt deployolt artefakt, és megérdemli ugyanazt a higiéniát.
Amit érdemes elvinni
- Az eval-halmazt valódi transzkriptekből építsd, nem találgatásból.
- LLM-bíró skálán, emberi spotcheck hetente.
- A promptváltozások menjenek CI-n, mint bármely kód.
- A rollback legyen triviális — a prompt is deployol.
Több a laborból
Összes bejegyzés
RAG, ami nem tud rossz árat mondani
Self-hosted n8n vagy Zapier — hol tér el tényleg a számla
MCP-szerverek élesben, nem demóban
A számlázási pipeline, ami véget vetett a péntek délutáni adminnak
Megnézzük ugyanezt a te rendszereden?Kezdjünk bele
