A „mi teszteltük” tipikusan annyit jelent, hogy a fejlesztő néhány promptot manuálisan végigjátszott egyszer. Az eval harness ennek a CI-osított, regressziókat fogó, verziókat összehasonlító változata. Anélkül minden modellfrissítés vakrepülés. A komoly LLM-stack ma egy dataset, egy futtató (Promptfoo, Inspect, házi), egy scoring-réteg (LLM-as-judge plusz determinisztikus assert-ek) és egy dashboard ahol a tegnapi run mellett ott van az új.
Kapcsolódó fogalmak
Ágens-memória (Agent Memory)
Ahogy egy AI-ágens megőrzi az állapotát a fordulók és munkamenetek között: rövid távú (kontextusablak), hosszú távú (vektortár/DB tényekkel) és epizodikus.
Agentic AI (ügynök-AI)
AI-rendszer, ami tool-okat hív és több lépést hajt végre önállóan egy cél érdekében.
AI Gateway
Proxy-réteg az app és az LLM-szolgáltatók (OpenAI, Anthropic) között: routing, újrapróbálás, cache, rate-limit, kulcskezelés, költségkövetés és átkapcsolás kiesés esetén.
Chunkolás (darabolás)
A dokumentumaid kis, egymást átfedő részekre bontása, mielőtt a vektoradatbázisba kerülnek.
Ide tartozó munkapad
AI automatizálásA heted ismétlődő fele átadva egy szoftvernek, ami nem unja meg. Levelezés szűrése, utánkövetés, riportok, adatmozgatás olyan eszközök között, amiket sosem terveztek együttműködésre.
