Az AI2 OLMo: Új nyílt forráskódú nyelvi modell a tudomány számára

Az AI2 az AMD-vel és más partnerekkel együttműködve fejleszti az OLMo-t, egy tudományos és akadémiai alkalmazásokhoz tervezett nyílt forráskódú nyelvi modellt.

Az Allen Institute for AI Research (AI2) létrehozza az Open Language Model (OLMo) nevű fejlett, nyílt forráskódú mesterséges intelligenciát, amely 2024-ben jelenik meg. Az AMD-vel, a Large Unified Modern Infrastructure (LUMI) konzorciummal, a Surge AI-val és a MosaicML-lel partnerségben kifejlesztett OLMo célja, hogy áthidalja az állami és a magán kutatási képességek közötti szakadékot.

Hanna Hajishirzi, az AI2 NLP-kutatásért felelős vezető igazgatója hangsúlyozza, hogy a tudomány fejlődéséhez nyílt nyelvi modellekre van szükség. Az OLMo-t olyan platformnak szánják, amely lehetővé teszi a kutatóközösség számára, hogy az AI2 által létrehozott egyes komponenseket felhasználja és fejlessze. Az OLMo minden aspektusa nyíltan elérhető lesz, beleértve a nyilvános demót, a képzési adatállományt, az API-t és a dokumentációt.

Az OLMo egyedülálló módon arra összpontosít, hogy a modell jobban megértse a tankönyveket és a tudományos dolgozatokat, ami megkülönbözteti a többi nyílt forráskódú AI-modelltől. Az AI2 akadémiai tapasztalata és a kutatáshoz kifejlesztett eszközök, mint például a Semantic Scholar, segítenek abban, hogy az OLMo különösen alkalmas legyen tudományos és akadémiai alkalmazásokhoz.

Az AI2 célja, hogy közösen építse fel a világ legjobb nyílt nyelvi modelljét. Az intézet harmadik fél szakértői státusza lehetőséget biztosít az iparág vezető elméivel való együttműködésre és biztonságos, hatékony AI-technológiák kifejlesztésére.

A generatív AI-val kapcsolatos etikai és jogi kérdésekkel foglalkozva az OLMo csapata az AI2 jogi osztályával és külső szakértőkkel együttműködve a modellépítési folyamat során minden egyes ellenőrzési ponton újraértékeli a magánélet védelmével és a szellemi tulajdonjogokkal kapcsolatos kérdéseket. Ennek a nyílt és átlátható párbeszédnek az a célja, hogy az elfogultság és a toxicitás csökkenjen, valamint kiemelje a közösségen belüli szemet szúró kutatási kérdéseket.

A visszaélések kockázatának minimalizálása érdekében az AI2 a licencelést, a modelltervezést és a mögöttes összetevőkhöz való szelektív hozzáférést alkalmazza, amelyet egy belső és külső tanácsadókból álló etikai felülvizsgálati bizottság irányít. A modellalkotási folyamat során figyelembe veszik a visszajelzéseiket, hogy maximalizálják a tudományos előnyöket, ugyanakkor csökkentsék a káros felhasználás kockázatát.

Bár számos technikai specifikációt még nem hoztak nyilvánosságra, az AI2 elárulta, hogy az OLMo körülbelül 70 milliárd paraméterrel fog rendelkezni. A következő hónapokban kezdődik a képzés Európa leggyorsabb szuperszámítógépén, a finnországi LUMI-n. Az AI2 felkéri a munkatársakat, hogy járuljanak hozzá és bírálják a modellfejlesztési folyamatot.

• AI
• nyelvi modell
• kutatás
• Etika
• Együttműködés
• Szuperszámítógép
• AMD
• AI2
• OLMo
• Nyílt forráskódú
• Tudományos alkalmazások