A ChatGPT magas pontszámmal sikeres orvosi vizsgát tesz

Az OpenAI ChatGPT nyelvi modellje elérte a 60%-os küszöböt az Egyesült Államok orvosi engedélyezési vizsgáján (USMLE) - derül ki a PLOS Digital Health szaklap tanulmányból. Az USMLE az Egyesült Államokban az orvosi hivatás gyakorlásához szükséges szabványosított vizsgák sorozata, amely olyan témakörökre terjed ki, mint a biokémia, a diagnosztikai érvelés és a bioetika.

A tanulmányban a kutatók a ChatGPT-t a 2022. júniusi USMLE-kiadás 376 nyilvánosan elérhető kérdéséből 350-en tesztelték, kizárva a képalapú kérdéseket és a határozatlan válaszokat. A chatbot 52,4% és 75,0% közötti pontszámot ért el a három vizsgán és ezzel felülmúlta a PubMedGPT modelljét, amelyet kizárólag az orvosbiológiai szakirodalomra képeztek ki és 50,8%-ot ért el egy régebbi, USMLE-stílusú kérdésekből álló adatkészletén.

Az elemzés korlátozott terjedelme ellenére a szerzők úgy vélik, hogy a ChatGPT az USMLE vizsgán nyújtott teljesítménye bepillantást enged abba a lehetőségbe, hogy javíthatja az orvosi oktatást és végül a klinikai gyakorlatot. Az AnsibleHealth orvosai már most is használják a ChatGPT-t a szakzsargonnal terhelt jelentések átfogalmazására, hogy a betegek jobban megértsék ezeket. A szerzők szerint a közismerten nagy kihívást jelentő vizsgán az átmenő pontszám elérése emberi megerősítés nélkül jelentős mérföldkövet jelent a klinikai mesterséges intelligencia területén.