A következő hívás ugyanazzal a prefix-szel 5 perc alatt akár 90 százalék input-token árcsökkenést és kétszer gyorsabb time-to-first-token-t ad. Akkor éri meg, ha a prefix legalább pár ezer token, és sok hívás osztja meg, például egy support-bot, egy RAG-pipeline vagy egy code-review agent. Akkor nem éri meg, ha a prompt minden hívásnál egyedi (például user-level personalizáció a prefix közepén), vagy ha a kontextus alig néhány száz token. A cache-t úgy kell felépíteni, hogy a stabil rész elöl legyen, a változó (felhasználói üzenet) hátul.
Kapcsolódó fogalmak
AI Gateway
Proxy-réteg az app és az LLM-szolgáltatók (OpenAI, Anthropic) között: routing, újrapróbálás, cache, rate-limit, kulcskezelés, költségkövetés és átkapcsolás kiesés esetén.
Modell-routing (Model Routing)
Minden kérést a legolcsóbb modellhez küldünk, ami még megbirkózik vele: kis modell az egyszerű kérdéseknek, frontier modell a nehezeknek - gyakran egy osztályozó dönt.
Ágens-memória (Agent Memory)
Ahogy egy AI-ágens megőrzi az állapotát a fordulók és munkamenetek között: rövid távú (kontextusablak), hosszú távú (vektortár/DB tényekkel) és epizodikus.
Agentic AI (ügynök-AI)
AI-rendszer, ami tool-okat hív és több lépést hajt végre önállóan egy cél érdekében.
Ide tartozó munkapad
AI automatizálásA heted ismétlődő fele átadva egy szoftvernek, ami nem unja meg. Levelezés szűrése, utánkövetés, riportok, adatmozgatás olyan eszközök között, amiket sosem terveztek együttműködésre.
