MIT tanulmány: Az AI modellek nem képesek lemásolni az emberi ítélőképességet

Az MIT nemrégiben készült tanulmánya egy égbekiáltó problémát tár fel az AI-rendszerekkel kapcsolatban: nem képesek pontosan tükrözni az emberi ítéleteket, különösen a szabályszegésekkel kapcsolatban. Az elterjedt adatgyűjtési módszerekkel kifejlesztett AI-modellekről kiderült, hogy szigorúbban ítélik meg a szabálysértéseket, mint emberi társaik. Ez a megállapítás kulcsfontosságú, mivel a kormányok és az iparágak a mesterséges intelligencia rendszerek fokozott alkalmazását fontolgatják, ami szükségessé teszi annak értékelését, hogy képesek-e az emberi ítélőképességet leképezni.

A Science Advances című tudományos folyóiratban közzétett eredmények azt az aggasztó tendenciát tárják fel, hogy az AI-modellek túlbecsülik a szabályszegéseket, amikor leíró adatokkal képzik őket. Az ilyen típusú adatok emberi beavatkozást igényelnek a tényszerű szempontok, például a fénykép egyes elemeinek azonosítása érdekében.

Az MIT kutatása szerint ezek a pontatlanságok súlyos valós következményekkel járhatnak, különösen a szigorú értékelésekre való hajlamuk miatt. Például egy mesterséges intelligencia modell pontatlanul jelezheti előre, hogy egy személy újból elkövetheti a bűntettet, ami túlzott összegű óvadékhoz vagy elhúzódó börtönbüntetéshez vezethet. Továbbá a leíró adatokon képzett modellek általában alulteljesítik a normatív adatokon képzett modelleket, és nagyobb valószínűséggel jelezhetik tévesen előre a szabályszegéseket.

Marzyeh Ghassemi, az MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) tanszékének adjunktusa és az Egészséges ML csoport vezetője figyelmeztet az ilyen torzítások veszélyeire: "A probléma az, hogy ezek a modellek még csak nem is replikálják a már eleve elfogult emberi ítéleteket a képzési adatok hibája miatt: az emberek másként jelölnék a képek és a szöveg jellemzőit, ha tudnák, hogy ezeket a jellemzőket fogják használni az ítélethozatalhoz".

Ezek az eredmények megnyitják a vitát a AI-modellek nyelvi torzításairól is, ami kulcsfontosságú szempont a mesterséges intelligencia chatbotok esetében. A tanulmány vezető szerzője, Aparna Balagopalan szerint emellett jelentős hangsúlyt kap a képzési környezet és a telepítési környezet összeegyeztetésének döntő jelentősége.

A kutatás aggályokat vet fel azokkal a korábbi tanulmányokkal kapcsolatban, amelyek azt állították, hogy a mesterséges intelligencia nyelvi modelljei, mint például a GPT-4, összehasonlíthatók az emberekkel a kognitív érvelésben. Olyan kritikus eltéréseket tár fel, amelyeket nem lehet figyelmen kívül hagyni az emberi megismerés és a AI-feldolgozás között.

Az MIT kutatása az adatkészletek átláthatóságának fokozását javasolja e kihívások leküzdése érdekében. Javasolja továbbá a transzfer-tanulás vizsgálatát, amely magában foglalja a leíróan betanított modell beállítását egy kis normatív adathalmazon. Marzyeh Ghassemi hozzáteszi: "Az adatgyűjtés kontextusának átlátható elismerése kiemelkedő fontosságú, ha pontosan akarjuk reprodukálni az emberi ítélőképességet. Ellenkező esetben olyan rendszerekhez juthatunk, amelyek sokkal szigorúbb mértéktartást tanúsítanak, mint amit egy ember tenne".