Szövegkörnyezeten belüli tanulás – áttörés az AI-képzésben

A Google Research, az MIT és a Stanford Egyetem kutatói a mesterséges intelligencia egyik rejtélyét, a szövegkörnyezeten belüli tanulást tanulmányozzák. Ennek során egy nagy nyelvi modell, például a GPT-3, képes megtanulni egy új feladat elvégzését, miután csupán néhány példát látott. A kutatók felfedezték, hogy ezek a modellek kisebb, egyszerűbb lineáris modelleket tartalmazhatnak magukban, amelyek egy egyszerű tanulási algoritmus segítségével betaníthatók új feladatok elvégzésére.

A GPT-3 egy olyan nyelvi modell, amely hatalmas mennyiségű internetes adat felhasználásával képes emberhez hasonló szöveget generálni. Fogadja a bemeneti szöveget, és megjósolja, hogy mi fog következni. A kutatók azonban azt vizsgálják, hogy ezek a modellek képesek-e megtanulni új feladatokat a szövegkörnyezeten belüli tanulás révén. Normális esetben egy olyan modellt, mint a GPT-3, újra kellene képezni egy új feladat elvégzéséhez, de a szövegkörnyezeten belüli tanulással a modell paraméterei változatlanok maradnak, így a tanulás látszatát keltik anélkül, hogy ténylegesen tanulnának.

Ekin Akyürek, a jelenségről szóló tanulmány vezető szerzője szerint ez a kutatás ahhoz vezethet, hogy a modellek költséges átképzés nélkül is képesek lesznek új feladatok elvégzésére. A szövegkörnyezeten belüli tanulás egy hatékony tanulási folyamat, amely átalakíthatja a mesterséges intelligencia területét. Akyürek és csapata megállapította, hogy ezek a nagy nyelvi modellek mindössze néhány példa alapján képesek tanulni és kisebb gépi tanulási modelleket tartalmazhatnak, amelyeket új feladatok elvégzésére lehet betanítani.