Egy modell csak azt tudja, ami a tanítóanyagában volt, az pedig egy rögzített dátumnál megáll, és sosem tartalmazta a szerződéseidet, a termékdokumentációdat vagy az előző negyedév számait. A RAG úgy hidalja át ezt, hogy semmit nem kell újratanítani: amikor kérdés érkezik, egy keresési lépés megtalálja azt a néhány szövegrészt, amelyik a legnagyobb eséllyel tartalmazza a választ, ezek a kérdés mellé kerülnek a promptba, és a modell ezekből válaszol.
A visszakeresési lépésen áll vagy bukik az egész rendszer, és általában épp ez kapja a legkevesebb figyelmet. Ha a keresés rossz három bekezdést ad vissza, egy jobb modell sem menti meg a választ: gördülékeny, magabiztos választ fog adni rossz forrásból. A csalódást keltő RAG-bevezetések többsége valójában visszakeresési probléma, generálási jelmezben.
Ez egyben a tisztességes módja a hivatkozásnak is. Mivel a rendszer tudja, milyen dokumentumokat tett a promptba, meg is tudja mutatni őket, az olvasó pedig ellenőrizheti. Egy kizárólag tanítóanyagból válaszoló modell erre nem képes — ezért a hivatkozás nélküli válaszokat állításként érdemes kezelni, nem tényként.
Kapcsolódó fogalmak
Embedding (beágyazás)
Számok listája, amely egy szövegrészt képvisel úgy, hogy a hasonló dolgokról szóló szövegek közel kerülnek egymáshoz.
Vektoradatbázis
Olyan adatbázis, amely gyorsan megtalálja azokat a tárolt elemeket, amelyek embeddingje a legközelebb esik a kérdéséhez, akár több millió sor között.
Hallucináció
Magabiztos, gördülékeny, teljesen kitalált válasz: egy hivatkozás, egy szám vagy egy API, ami nem létezik.
Kontextusablak
A legnagyobb szövegmennyiség, amit a modell egyszerre figyelembe tud venni — az utasításokkal, a beszélgetéssel és a válasszal együtt.
Ide tartozó munkapad
AI automatizálásA heted ismétlődő fele átadva egy szoftvernek, ami nem unja meg. Levelezés szűrése, utánkövetés, riportok, adatmozgatás olyan eszközök között, amiket sosem terveztek együttműködésre.
