BloombergGPT: pénzügyi feladatokra kifejlesztett új nagy nyelvi modell

A Bloomberg L.P. bemutatta a BloombergGPT-t, egy nagy nyelvi modellt, amelyet a pénzügy-specifikus természetes nyelvi feldolgozási feladatokhoz hoztak létre.

A Bloomberg L.P., a pénzügyi adatok és hírek óriása új nagy nyelvi modellt fejlesztett ki BloombergGPT néven. A nyelvi modellt a pénzügyi adatok széles skáláján képezték ki, hogy különféle NLP-feladatokat hajtson végre, különösen a pénzügyi ágazatban. A Bloomberg szerint a pénzügyek összetettsége és egyedi terminológiája indokolttá tesz egy szakterület-specifikus modellt, és a BloombergGPT-t olyan feladatok támogatására hozták létre, mint a megnevezett entitások felismerése, a hangulatelemzés, a hírek osztályozása és a kérdésmegoldás.

Shawn Edwards, a Bloomberg technológiai igazgatója szerint a BloombergGPT lehetővé teszi a vállalat számára, hogy gyorsabban és nagyobb teljesítménnyel kezelje az új alkalmazásokat, elkerülve, hogy minden egyes alkalmazáshoz egyedi modelleket kelljen létrehozni. A BloombergGPT emellett új módszereket vezet be az adatbányászathoz a Bloomberg Terminálon, amely összetett felhasználói felülettel rendelkezik, és évek óta a funkcióbillentyűket használja.

A modellt egy 50 milliárd paraméteres, kizárólag ok-okozati nyelvi dekódoló modell kiképzésével hozták létre a Bloomberg kiterjedt pénzügyi adatarchívumán, amely egy 363 milliárd tokenből álló, angol nyelvű pénzügyi dokumentumokból álló adathalmazt és egy 345 milliárd tokenből álló nyilvános adathalmazt tartalmaz, amely egy nagy, több mint 700 milliárd tokent tartalmazó képzési korpuszt hozott létre. A Bloomberg ML mérnökei ezután a pénzügy-specifikus NLP-benchmarkokon és egy belső szabványcsomagon jóváhagyták az eredményül kapott modellt.

Méretét tekintve a BloombergGPT 50 milliárd paraméterrel rendelkezik, ami jóval kisebb, mint az OpenAI GPT-3, a legjelentősebb nagy nyelvi modell 175 milliárd paraméterrel. A BloombergGPT-t azonban kifejezetten nagyon specifikus pénzügyi NLP-feladatokra képezték ki, ami azt jelenti, hogy nem igényel általánosabb adatokat, mint az OpenAI modellje. A hasonló modellekkel összehasonlítva a BloombergGPT mérete a Meta 65 milliárdos LLaMA modelljéhez áll a legközelebb.

A BloombergGPT a pénzügyi feladatokban nagymértékben felülmúlja a meglévő, hasonló méretű, nyílt modelleket, és az általános NLP benchmarkokon is egyenértékű vagy jobb teljesítményt nyújt. Az általános benchmark teszteken azonban a BloombergGPT elmarad az OpenAI GPT-3-tól, de még így is hasonló eredményeket ér el.

Más vállalatok is kifejlesztették saját nagy nyelvi modelljeiket, például a Cerebras, egy chipgyártó startup, amely bemutatta saját, az Andromeda nevű mesterséges intelligencia-szuperszámítógépén képzett modelljeit. A Salesforce is létrehozta az EinsteinGPT-t az ügyfélkapcsolat-kezeléshez. A nagy nyelvi modellek létrehozása azonban nagyon drága lehet, ami sok vállalkozást elriaszthat a saját modellek kifejlesztésétől.

• OpenAI
• Meta
• Salesforce
• Cerebras
• Bloomberg
• BloombergGPT
• Pénzügyi NLP