Veszélyes precedens: a Google egészségügyi AI-ja kitalált egy emberi testrészt, ami nem is létezik

Egy különösen kínos eset több mint egy éven át rejtve maradt. A Google 2024 májusában publikált kutatási tanulmányában mutatta be Med-Gemini nevű egészségügyi AI-modelljét, amely agyi képalkotások (például MRI- és CT-felvételek) elemzésére is képes. Az egyik esettanulmányban a rendszer „old left basilar ganglia infarct”-et azonosított – vagyis egy állítólagos agyterület, a „basilar ganglia” infarktusát –, csakhogy ilyen anatómiai rész az emberi testben nem létezik.

Bryan Moore, okleveles neurológus jelezte a problémát a The Verge-nek, ami után a Google csendben javította a blogbejegyzését, de magát a tudományos publikációt a mai napig nem módosította. A hiba forrása feltehetően a basal ganglia (törzsdúcok) és a basilar artery (alapi artéria) fogalmak összekeverése volt. A Google magyarázata szerint mindössze elírásról van szó, amely az AI tanítóadatainak hibás átirataiból eredt.

„Amiről beszélünk, az rendkívül veszélyes” – mondta Maulin Shah, a Providence egészségügyi rendszer informatikai vezetője. – „Két betű, de óriási különbség.”

Tévedni már nem csak emberi dolog

Az AI-hallucinációk veszélye éppen abban rejlik, hogy a modellek nem jelzik, ha nem tudnak biztos választ adni – magabiztosan állítanak hamis adatokat is. Judy Gichoya, az Emory Egyetem radiológia és informatika professzora szerint ez különösen kockázatos az orvoslásban, ahol a legkisebb tévedés is komoly következményekkel járhat.

A Google újabb egészségügyi AI-ja, a MedGemma, szintén mutatott hasonló hibákat: az adott kérdés megfogalmazásától függően eltérő és olykor hibás diagnózist adott.

A szakértők arra figyelmeztetnek, hogy a klinikai bevezetés üteme túl gyors, miközben az emberi felülvizsgálat hiánya a hibák és félreértések felhalmozódásához vezethet. Ráadásul a folyamatos ellenőrzés éppen azt a hatékonyságot csökkentheti, amely miatt az AI-t sokan bevezetnék.

Google tovább nyomul az egészségügyben

Mindezek ellenére a Google nem lassít: márciusban bejelentette, hogy AI Overviews nevű keresési funkciója egészségügyi tanácsokat is ad majd, és „AI társtudóst” mutatott be új gyógyszerjelöltek azonosítására. A kritikusok szerint azonban, ha ezek az eszközök felügyelet nélkül működnek, az emberi életek kerülhetnek veszélybe.

„Szerintem az AI-nak sokkal magasabb hibahatáron kellene teljesítenie, mint az embernek” – fogalmazott Shah. – „Mások szerint ha emberi szintet elérünk, az már elég jó. Én egyáltalán nem így gondolom.”