A drága hívásokat 5-10×-esére csökkenti az inference-költséget.
Kapcsolódó fogalmak
AI Gateway
Proxy-réteg az app és az LLM-szolgáltatók (OpenAI, Anthropic) között: routing, újrapróbálás, cache, rate-limit, kulcskezelés, költségkövetés és átkapcsolás kiesés esetén.
Prompt caching
A nagy modell-szolgáltatók (Anthropic, OpenAI, Google) támogatják, hogy a prompt elejére tett, ritkán változó blokkot (rendszerprompt, dokumentum-kontextus, eszközdefiníció) a szerver oldalán cache-eljék.
Ágens-memória (Agent Memory)
Ahogy egy AI-ágens megőrzi az állapotát a fordulók és munkamenetek között: rövid távú (kontextusablak), hosszú távú (vektortár/DB tényekkel) és epizodikus.
Agentic AI (ügynök-AI)
AI-rendszer, ami tool-okat hív és több lépést hajt végre önállóan egy cél érdekében.
Ide tartozó munkapad
AI automatizálásA heted ismétlődő fele átadva egy szoftvernek, ami nem unja meg. Levelezés szűrése, utánkövetés, riportok, adatmozgatás olyan eszközök között, amiket sosem terveztek együttműködésre.
