Az archívumból5 rész · 2 percÍrta: Dezső Mező · Megjelent .mdAILLMRAGCostPerformance
Az Anthropic hozta a prompt caching-et 2024-ben. Az OpenAI követte. 2026-ra default minden komoly LLM-providernél. A legtöbb csapat a megtakarítás felét mégis az asztalon hagyja, mert csak a nyilvánvaló dolgot cache-eli. Itt van a négy minta, ami halmozódik.
011. minta · system prompt
A legkönnyebb win. Jelöld a system prompt-ot cache-elhetőnek. Minden következő hívás a cache-elt prefixet újrahasznosítja. Tipikus megtakarítás: 30-50% a teljes token-költségből chatty support-ügynökökön.
022. minta · statikus RAG-kontextus
Ha a RAG-od egy viszonylag stabil korpuszból retrieve-el, a top-5 chunk sok hasonló query-re ugyanaz. Cache-eld ezeket prefix-blokkként. Tipikus megtakarítás: 20-30% az 1. minta tetején.
033. minta · tool-sémák
A tool-definíciók (function-sémák) nagyok és statikusak hívások között. Jelöld cache-elhetőnek. Tipikus megtakarítás: 10-15% ügynöki workloadon sok tool-lal.
044. minta · few-shot példák
Ha a promptod few-shot példákat tartalmaz (klasszifikáció, extrakció), nem változnak hívásonként. Cache. Tipikus megtakarítás: 10-20% extrakció-nehéz pipeline-on.
05Két gotcha
- A cache TTL ~5 perc Anthropicon, ~10 perc OpenAI-on. Alacsony-forgalmú rendszerek folyton cache-misst kapnak. Ha burst-ös a forgalom, előmelegítsd háttér keep-alive-val.
- A prompt-caching árazási modell változó · Anthropic ~25% extrát tölt az első write-nál, OpenAI ingyenes. Budgetelj rá.
Mérd a költséget előtte és utána 1000 produkciós query-re. Ha a számla nem 60%+ kisebb, kihagytál egy mintát. Minden 2026-os RAG-deploymentünk eléri vagy túllépi ezt a számot.
Amit érdemes elvinni
- A prompt caching 60-80%-kal vágja az LLM-token-költséget produkciós RAG-on szinte nulla engineering-költségért. 4 minta (system-prompt cache, statikus kontextus cache, tool-séma cache, few-shot cache), valódi megtakarítás-számok szállított projektekből, 2 gotcha.
Az írásban használt fogalmak
Több a laborból
Összes bejegyzés- AI chatbot szállítása 14 nap alatt · RAG, eval, deploy
- Miért szivárogtat pénzt az AI ügynököd · 6 cache minta
- LLM eval-as-code: a CI-kapu minden RAG-deployra
- pgvector 10M+ soron: index, query-minták, teljesítmény
Megnézzük ugyanezt a te rendszereden?Kezdjünk bele
