Az AI2 OLMo: Új nyílt forráskódú nyelvi modell a tudomány számára

Az Allen Institute for AI Research (AI2) létrehozza az Open Language Model (OLMo) nevű fejlett, nyílt forráskódú mesterséges intelligenciát, amely 2024-ben jelenik meg. Az AMD-vel, a Large Unified Modern Infrastructure (LUMI) konzorciummal, a Surge AI-val és a MosaicML-lel partnerségben kifejlesztett OLMo célja, hogy áthidalja az állami és a magán kutatási képességek közötti szakadékot.

Hanna Hajishirzi, az AI2 NLP-kutatásért felelős vezető igazgatója hangsúlyozza, hogy a tudomány fejlődéséhez nyílt nyelvi modellekre van szükség. Az OLMo-t olyan platformnak szánják, amely lehetővé teszi a kutatóközösség számára, hogy az AI2 által létrehozott egyes komponenseket felhasználja és fejlessze. Az OLMo minden aspektusa nyíltan elérhető lesz, beleértve a nyilvános demót, a képzési adatállományt, az API-t és a dokumentációt.

Az OLMo egyedülálló módon arra összpontosít, hogy a modell jobban megértse a tankönyveket és a tudományos dolgozatokat, ami megkülönbözteti a többi nyílt forráskódú AI-modelltől. Az AI2 akadémiai tapasztalata és a kutatáshoz kifejlesztett eszközök, mint például a Semantic Scholar, segítenek abban, hogy az OLMo különösen alkalmas legyen tudományos és akadémiai alkalmazásokhoz.

Az AI2 célja, hogy közösen építse fel a világ legjobb nyílt nyelvi modelljét. Az intézet harmadik fél szakértői státusza lehetőséget biztosít az iparág vezető elméivel való együttműködésre és biztonságos, hatékony AI-technológiák kifejlesztésére.

A generatív AI-val kapcsolatos etikai és jogi kérdésekkel foglalkozva az OLMo csapata az AI2 jogi osztályával és külső szakértőkkel együttműködve a modellépítési folyamat során minden egyes ellenőrzési ponton újraértékeli a magánélet védelmével és a szellemi tulajdonjogokkal kapcsolatos kérdéseket. Ennek a nyílt és átlátható párbeszédnek az a célja, hogy az elfogultság és a toxicitás csökkenjen, valamint kiemelje a közösségen belüli szemet szúró kutatási kérdéseket.

A visszaélések kockázatának minimalizálása érdekében az AI2 a licencelést, a modelltervezést és a mögöttes összetevőkhöz való szelektív hozzáférést alkalmazza, amelyet egy belső és külső tanácsadókból álló etikai felülvizsgálati bizottság irányít. A modellalkotási folyamat során figyelembe veszik a visszajelzéseiket, hogy maximalizálják a tudományos előnyöket, ugyanakkor csökkentsék a káros felhasználás kockázatát.

Bár számos technikai specifikációt még nem hoztak nyilvánosságra, az AI2 elárulta, hogy az OLMo körülbelül 70 milliárd paraméterrel fog rendelkezni. A következő hónapokban kezdődik a képzés Európa leggyorsabb szuperszámítógépén, a finnországi LUMI-n. Az AI2 felkéri a munkatársakat, hogy járuljanak hozzá és bírálják a modellfejlesztési folyamatot.