2023.10.24. VipAIR
Az OpenAI GPT-4V, bár úttörő, rejtett sebezhetőséget rejt magában, a képalapú támadásokat, amelyek újraértelmezhetik a viselkedését.
-
A GPT-4V képfeldolgozási képessége új sebezhetőséget vezet be a multimodális prompt injection képi támadásokkal szemben.
-
Azok a vállalkozások, amelyek képelemzésükben nagymértékben támaszkodnak LLM-ekre, vannak kitéve a támadások legnagyobb kockázatának.
-
A jelenlegi védekezés nem megfelelő, és új stratégiákra van szükség e képalapú fenyegetések elhárításához.
Az
OpenAI legújabb kiadása, a
GPT-4V a képfeltöltés támogatásával az AI képességek új korszakát nyitotta meg. Ez a fejlesztés azonban egy újszerű fenyegetésnek is megnyitotta az ajtót: a multimodális prompt injection képtámadásoknak. Ezek a támadások lehetővé teszik a rosszindulatú szereplők számára, hogy parancsokat, szkripteket és kódot ágyazzanak be a képekbe. Amikor a modell feldolgozza, az megfelel a követelményeknek, ami potenciális adatszivárgáshoz, félretájékoztatáshoz, sőt, akár működési szabotázshoz is vezethet.
Veszélyeztetett vállalkozások
E támadások következményei óriásiak. Azok a vállalatok, amelyek nagy nyelvi modelleket (LLM) integráltak a működésükbe, különösen azok, amelyek LLM-eket használnak képelemzésre, kifejezetten sebezhetőek. Egy támadó különböző technikákat alkalmazva megváltoztathatja a képek értelmezését, ami félretájékoztatáshoz és káoszhoz vezethet. Ráadásul, ha egyszer egy LLM promptját manipulálják, az egyre fogékonyabbá válik további rosszindulatú parancsokra, ami csaláshoz és más káros kimenetelű eseményekhez vezethet.
Miért sebezhetőek az LLM-ek
A probléma lényege abban rejlik, hogy az LLM-ek feldolgozásában nincs adatrendezési lépés. Minden kép eleve megbízható. Ez olyan, mintha korlátlan hozzáférést engedélyeznénk egy hálózaton mindenféle ellenőrzés nélkül. Simon Willison egy nemrégiben megjelent blogbejegyzésében kiemelte az LLM-ek hiszékenységét, mondván, hogy bármilyen utasítást követnek, még ha az rosszindulatú is. Ez teszi őket a prompt injection támadások elsődleges célpontjaivá.
A védelem jelenlegi állapota
Bár a fenyegetés nyilvánvaló, a megoldások még mindig fejlesztés alatt állnak. Az OpenAI-nak még ki kell dolgoznia egy bolondbiztos módszert ezeknek a képalapú támadásoknak az elhárítására. Néhány iránymutatást azonban már javasoltak. Ezek közé tartozik az adatrendezés javítása, a platformarchitektúra továbbfejlesztése a felhasználói bemenet és a rendszerlogika szétválasztása érdekében, valamint a többlépcsős feldolgozási munkafolyamatok elfogadása a rosszindulatú támadások korai felismerése érdekében. Egy másik javasolt védekezés a jailbreak-et célzó egyéni promptok használata, amely módszer az LLM-ek megtévesztésére használt technika.
A növekvő fenyegetettség
Ahogy egyre több LLM fejlődik multimodálissá, a képalapú támadások jelentette fenyegetés is növekedni fog. Ezek a támadások az egyszerű parancsoktól az ipari szabotázst és széles körű félretájékoztatást tartalmazó bonyolult forgatókönyvekig terjedhetnek. A technológiai közösségnek ébernek és proaktívnak kell maradnia az újonnan megjelenő fenyegetés elleni védekezés kidolgozásában.
