Magyar nyelvű AI utasítás-tervezés (prompt engineering)

A prompt engineering utódja: tudatosan állítjuk össze, mi kerül a modell kontextusába - rendszerprompt, lekért dokumentumok, eszközök, memória. A cél a maximális pontosság a lehető legkevesebb tokenből. A modell csak annyit tud, amennyit beletettünk.

Proxy-réteg az app és az LLM-szolgáltatók (OpenAI, Anthropic) között: routing, újrapróbálás, cache, rate-limit, kulcskezelés, költségkövetés és átkapcsolás kiesés esetén. Egy helyen látod a teljes AI-számládat, és nem ragadsz be egy szállítóhoz.

Minden kérést a legolcsóbb modellhez küldünk, ami még megbirkózik vele: kis modell az egyszerű kérdéseknek, frontier modell a nehezeknek - gyakran egy osztályozó dönt. A drága hívásokat 5-10×-esére csökkenti az inference-költséget.

RAG-változat, amely tudásgráfon (entitások + kapcsolatok) keres, nem lapos szövegdarabokon. Így megválaszolja a több lépéses kérdéseket („hogyan kapcsolódik X-hez Y?”), amiket a tisztán vektoros keresés elszalaszt.

Ahogy egy AI-ágens megőrzi az állapotát a fordulók és munkamenetek között: rövid távú (kontextusablak), hosszú távú (vektortár/DB tényekkel) és epizodikus. Ez a különbség egy felejtő ágens és egy olyan közt, amely tanulja a cégedet.

Modell által generált tanító- és teszt-adat, ha a valódi szűkös, érzékeny (GDPR) vagy kiegyensúlyozatlan. Hasznos, de a minőséget és diverzitást ellenőrizni kell - különben a modell saját vakfoltjait sütöd bele a rendszerbe.