Azért létezik, mert a klasszikus webes lista nem fedi le ezt a terepet. Az általa megnevezett kockázatok — prompt injection, a modellkimenet nem biztonságos kezelése, ellátási lánc problémák modellekben és bővítményekben, érzékeny adat a válaszban, ügynöknek adott túlzott jogosultság — nem feleltethetők meg az injekciónak, a hibás hozzáférés-szabályozásnak és a többinek anélkül, hogy elveszne, amitől sajátosak.
Jól használva beszélgetésindító, nem bizonyítvány. Ha egy architektúrát végigvezetünk a listán, előbb és olcsóbban jön elő a lényegi kérdés — mit tud ez a rendszer csinálni, amikor a modell téved —, mint ha élesben derül ki. Rosszul használva aláírandó ellenőrzőlistává válik, ami minden ilyen lista kudarcmódja.
Kapcsolódó fogalmak
Prompt injection
Olyan támadás, amelyben a modell utasításként hajtja végre azt a szöveget, amit adatként kellett volna olvasnia.
AI ügynök
Olyan nyelvi modell, amely hívható eszközöket és elérendő célt kapott, így ő dönti el a lépéseket, nem egy rögzített szkriptet követ.
Adatszivárogtatás
Adatok kijuttatása olyan rendszerből, amelynek nem lett volna szabad kiengednie őket.
OWASP Top 10
A webes alkalmazások legkritikusabb biztonsági kockázatainak régóta ismert közösségi listája, néhány évente frissítve.
Ide tartozó munkapad
KiberbiztonságPurple Team: ugyanaz az ember írja az exploitot és zárja be a rést. A legtöbb ügynökség csak véd, vagyis olyan fenyegetés ellen, amit senki nem tesztelt.
