A modellek nem szöveget, hanem tokeneket látnak: a gyakori szó egy token, a ritka többre darabolódik, és száz token nagyjából hetvenöt angol szó. Minden modellhívást bemeneti és kimeneti tokenben mérnek — ezért drágul el az a chatbot, ami minden üzenetbe beránt egy hosszú dokumentumot.
A gyakorlati következmény a keretgazdálkodás: a prompt hossza, a beszélgetés története és maga a válasz ugyanazt a kontextusablakot osztja meg, az árazás pedig millió tokenre szól, nem kérésre. A RAG-szerű technikák épp azért léteznek, hogy token csak a lényeges töredékekre menjen.
Kapcsolódó fogalmak
Kontextusablak
A legnagyobb szövegmennyiség, amit a modell egyszerre figyelembe tud venni — az utasításokkal, a beszélgetéssel és a válasszal együtt.
RAG (visszakereséssel bővített generálás)
Először megkeressük a releváns dokumentumokat, és beletesszük a promptba, így a modell a te anyagodból válaszol, nem a memóriájából.
Nagy nyelvi modell (LLM)
Hatalmas szövegmennyiségen tanított modell, amely a következő szövegrészt jósolja meg — és kiderült, hogy ez elég íráshoz, összefoglaláshoz, fordításhoz és sokféle feladat végiggondolásához.
Ide tartozó munkapad
AI automatizálásA heted ismétlődő fele átadva egy szoftvernek, ami nem unja meg. Levelezés szűrése, utánkövetés, riportok, adatmozgatás olyan eszközök között, amiket sosem terveztek együttműködésre.
