Új tanulmány szerint a ChatGPT teljesítménye romlik

2023.07.24. VipAIR

Nemrég megjelent feltételesések szerint a ChatGPT és a GPT-4 teljesítménye lefelé ívelő spirálba került, ezt most már kutatók egy tanulmánnyal is alátámasztják.

  • A ChatGPT, amelyet egykor különböző területeken nyújtott lenyűgöző teljesítményéért dicsértek, most vizsgálatnak van kitéve képességeinek érzékelhető hanyatlása miatt.

  • A Stanford Egyetem és a Kaliforniai Egyetem kutatói jelentős eltéréseket találtak a GPT-3.5 és a GPT-4 teljesítményében és viselkedésében.

  • Az összeesküvés-elméletek költségtakarékossági intézkedéseket vagy az OpenAI szándékos leminősítését feltételezik, de a vállalat tagadja ezeket az állításokat.

A ChatGPT, az OpenAI mesterséges intelligenciával működő chatbotja változást hozott a technológiai iparba, és figyelemre méltó jártasságot mutatott különböző területeken. A Stanford Egyetem és a Kaliforniai Egyetem (Berkeley) kutatóinak nemrégiben készült tanulmánya azonban arra utal, hogy teljesítménye már nem olyan következetes, mint korábban gondolták, sőt, akár romolhat is.

A kutatók jelentős eltéréseket találtak a GPT-3.5 és a GPT-4 teljesítményében és viselkedésében. Négy hónapos időszak alatt jelentős csökkenést tapasztaltak a bizonyos feladatokra adott válaszokban. Különösen aggasztó volt a GPT-4 pontossági arányának a prímszámokkal kapcsolatos feladatokban, a márciusi 97,6%-ról júniusra mindössze 2,4%-ra zuhant vissza.

A tanulmány a ChatGPT-nek a programozási és hibakeresési feladatokban a programozókat segítő szerepével kapcsolatos problémákra is rávilágított. A pontos, futtatásra kész szkriptek elkészítésének sikerességi aránya drámai mértékben, a márciusi több mint 50%-ról júniusra 10%-ra esett vissza. A kutatók feltételezték, hogy a rendszer módosításai és frissítései hozzájárulhattak ezekhez a teljesítményingadozásokhoz.

Ezekre az eredményekre reagálva összeesküvés-elméletek hívei felvetették, hogy az OpenAI esetleg az LLM kisebb verzióival kísérletezik a költségek megtakarítása érdekében, vagy szándékosan leminősíti a GPT-4-et, hogy a felhasználókat a GitHub LLM-kiegészítőjének, a Copilot-nak a megvásárlása felé terelje. Az OpenAI cáfolta ezeket az állításokat, Peter Welinder, a termékért felelős alelnök kijelentette, hogy folyamatosan törekednek a ChatGPT fejlesztésére.

Megosztás Facebookon