Ez az a lépés, ami a hozzáférést incidenssé változtatja, és gyakran ez a legkönnyebb rész a támadónak, mert a rendszereket általában arra építik, hogy azt figyeljék, mi jön be, nem azt, mi megy ki. A csatorna bármi lehet, ami távozik: egy API-hívás, egy DNS-lekérdezés, egy e-mailben megjelenített képhivatkozás, egy hibajegyre adott válasz.
AI rendszerekben a csatorna gyakran maga a válasz. Egy modell, amely belső dokumentumokat olvashat, és közvetve arra kérik, hogy tegyen bele valamit egy ügyfélnek szóló válaszba, úgy szivárogtatott ki adatot, hogy a naplóban semmi nem néz ki támadásnak. Ezért számít a kimenetszűrés és a kimenő forgalom kontrollja legalább annyit ügynökarchitektúrákban, mint a bemenetellenőrzés.
Kapcsolódó fogalmak
Prompt injection
Olyan támadás, amelyben a modell utasításként hajtja végre azt a szöveget, amit adatként kellett volna olvasnia.
OWASP LLM Top 10
Közösségi lista a nagy nyelvi modellekre épülő alkalmazások legjelentősebb, rájuk jellemző biztonsági kockázatairól.
AI ügynök
Olyan nyelvi modell, amely hívható eszközöket és elérendő célt kapott, így ő dönti el a lépéseket, nem egy rögzített szkriptet követ.
Ide tartozó munkapad
KiberbiztonságPurple Team: ugyanaz az ember írja az exploitot és zárja be a rést. A legtöbb ügynökség csak véd, vagyis olyan fenyegetés ellen, amit senki nem tesztelt.
