Az AI-modellek többsége nem felel meg az EU AI-törvényének

• A Stanford Egyetem tanulmánya feltárja, hogy a legtöbb AI-modell nem felel meg az EU AI-törvényének.

• A legmagasabb pontszámot elért modell a Bloom volt az Hugging Face-től, míg a legalacsonyabb pontszámot elért modell a Luminous volt az Aleph Alpha-tól.

• A kutatók szerint az uniós AI-törvény jelentős változásokat és előrelépést fog eredményezni az átláthatóság és az elszámoltathatóság terén.

A neves Stanford Egyetem, Institute for Human-Centered Artificial Intelligence (HAI) által nemrégiben végzett tanulmány meglepő tényt tárt fel: a legtöbb mesterséges intelligencia modell nem felel meg az EU AI-ról szóló törvényének. A vizsgálat, amely tíz főbb alapmodell vizsgálatát végezte el, megállapította, hogy a legmagasabb pontszámot a Bloom, a Hugging Face nyílt forráskódú modellje kapta. A legalacsonyabb pontszámot azonban a Luminous kapta, amely az Aleph Alpha német AI startup fejlesztett.

A kutatók az EU AI-ról szóló törvényének 22 követelményét használták fel a modellek értékeléséhez, és 12 olyan modellt választottak ki, amelyeket nyilvános információk felhasználásával érdemben lehetett értékelni. Ezek közé tartoztak az adatforrások, az adatkezelés, a szerzői jogvédelem alatt álló adatok, a számítás, az energia, a képességek/korlátozások, a kockázatok/mérséklések, az értékelések, a tesztelés, a gépi tartalom, a tagállamok és a későbbi dokumentáció. A modelleket egy 4 pontos skálán értékelték, ahol az 1 a legalacsonyabb, a 4 pedig a legmagasabb megfelelési szintet jelentette.

A tanulmány arra a következtetésre jutott, hogy még a legmagasabb pontszámot kapott modellekben is van még jelentős javítanivaló. Ez arra enged következtetni, hogy az uniós AI-ról szóló törvénye jelentős előrelépést fog eredményezni az átláthatóság és az elszámoltathatóság terén. A kutatók azt is megállapították, hogy a legtöbb modell négy területen küszködött: a szerzői joggal védett adatok, a számítástechnika/energia, a kockázatcsökkentés és az értékelés/tesztelés területén.

A Stanford kutatói most azt sürgetik az EU döntéshozóit, hogy a nagyobb elszámoltathatóság érdekében szigorítsák a telepítési követelményeket. Úgy vélik, hogy sok modellszolgáltató számára megvalósítható, hogy a megfelelési pontszámot a 30-as vagy 40-es magasára emelje. A kutatók szakpolitikai változtatásokat is javasolnak, többek között az alul-specifikált területek pontosítását, a szolgáltatók kényszerítését a felhasználási minták közzétételére, valamint a modellek átláthatóságának előtérbe helyezését.