A Pennsylvaniai Állami Egyetem friss kísérlete váratlan kérdést vet fel: vajon egy nagy nyelvi modell pontosabban dolgozik, ha nem finomkodunk vele, hanem nyers, direkt utasítást kap?

A vizsgálat szerint a válasz meglepően közel áll ehhez – bár messze nem azért, amiért az elsőre gondolnánk.
A kutatás eredetileg itt érhető el, de összeszedtük a legérdekesebb pontokat belőle.
A kutatók 50 közepesen nehéz, matematikai, történelmi és természettudományos kérdést készítettek, majd ezeket ötféle hangnemben tették fel az OpenAI ChatGPT-40 modellnek:
A skála két végét jól érzékelteti a különbség: a legfinomabb változat „Lennél olyan kedves…?” felütéssel indult, míg a legerősebb verzió már sértő, lekezelő hangon kérdezte rá: „Te szerencsétlen, tudod egyáltalán, hogyan kell ezt megoldani?”.
Minden kérdés feleletválasztós volt, a modellt pedig arra kérték, hogy csak a betűjelből álló választ adja meg, magyarázat nélkül. A korábbi beszélgetéseket minden kör előtt törölték, hogy ne befolyásolja a teljesítményt.
A kutatók szerint a hangnem valóban számít. A ChatGPT-4o pontossága a következőképpen alakult:
Vagyis a szélsőségesen nyers hangnem valamivel jobb teljesítményt hozott, mint a kimért udvariasság. A különbség nem hatalmas, de statisztikailag érzékelhető.
A magyarázat nem az, hogy az AI „megsértődik” vagy éppen „igyekezni kezd” a lekezelő hangvételtől – a kutatók hangsúlyozták, hogy erről szó sincs. Sokkal inkább a természetes nyelv működése, valamint a nagy nyelvi modellek tanulási sajátosságai lehetnek a háttérben.
A tanulmány még nem esett át tudományos lektoráláson, ráadásul a kutatók is tisztában vannak a korlátaival:
A csapat ennek megfelelően folytatni kívánja a kutatást más modellekkel és jóval nagyobb kérdéskészlettel.
A legfontosabb figyelmeztetésük azonban az emberi oldalra vonatkozik: a durva hangnem semmilyen formában nem ajánlott valós alkalmazásokban. A sértő kommunikáció rombolja a felhasználói élményt, normalizálja a negatív kommunikációt, és hosszú távon káros.
A jelenség tehát érdekes tudományos megfigyelés – de gyakorlati tanácsként egyáltalán nem ajánlható.