Mindennek, amit a modell figyelembe vesz, ebbe az egy keretbe kell férnie: a rendszerpromptnak, a visszakeresett dokumentumoknak, az eddigi teljes beszélgetésnek és annak a válasznak, amit épp írni fog. Amikor egy hosszú csevegés elkezdi elfelejteni, mi hangzott el az elején, az ok általában az, hogy az elejét eldobták, hogy legyen hely.
A nagyobb ablakok egy csomó kerülőutat feleslegessé tettek, a fegyelmet nem. Ha a nagy ablakot mindennel megtöltjük, ami kéznél van, az minden híváson pénzbe kerül, késleltetést ad hozzá, és mérhetően rontja a pontosságot: a modellek kevésbé megbízhatóan figyelnek arra, ami egy nagyon hosszú kontextus közepén van eltemetve. A megfelelő öt oldalt elküldeni még mindig jobb, mint mind a kétszázat.
Kapcsolódó fogalmak
Nagy nyelvi modell (LLM)
Hatalmas szövegmennyiségen tanított modell, amely a következő szövegrészt jósolja meg — és kiderült, hogy ez elég íráshoz, összefoglaláshoz, fordításhoz és sokféle feladat végiggondolásához.
RAG (visszakereséssel bővített generálás)
Először megkeressük a releváns dokumentumokat, és beletesszük a promptba, így a modell a te anyagodból válaszol, nem a memóriájából.
Rendszerprompt
Az az állandó utasítás, amely minden beszélgetés elé kerül, és megszabja, mit kell a modellnek csinálnia és hogyan viselkedjen.
Ide tartozó munkapad
AI automatizálásA heted ismétlődő fele átadva egy szoftvernek, ami nem unja meg. Levelezés szűrése, utánkövetés, riportok, adatmozgatás olyan eszközök között, amiket sosem terveztek együttműködésre.
