A Databricks kiadja a Dolly nyílt forráskódú LLM modellt a vállalati chatbotokhoz

A Databricks elindított egy Dolly nevű nyílt forráskódú nagy nyelvi modellt (LLM), amellyel a vállalatok a ChatGPT-hez hasonló utasításkövető chatbotokat fejleszthetnek. A platform kevés adatból és rövid idő alatt betanítható, mindössze 30 dollárba, egy szerverbe és három órába kerül, hogy megtanítsák emberi szintű interakcióra - mondta a cég vezérigazgatója, Ali Ghodsi.

A Databricks megjegyezte, hogy több oka is van annak, hogy egy vállalat inkább saját LLM-modellt hoz létre, minthogy egy központi LLM-szolgáltatót vegyen igénybe. A vállalatok például nem kívánnak érzékeny adatokat átadni egy harmadik félnek, vagy speciális igényeik lehetnek a modell minőségével, költségeivel vagy a kívánt viselkedéssel kapcsolatban.

Meglepő módon az utasításkövetés nem igényli a legújabb vagy legnagyobb modelleket: a Dolly mindössze 6 milliárd paraméterrel rendelkezik, szemben a GPT-3 175 milliárd paraméterével. A Databricks 2013 óta foglalkozik adat- és mesterséges intelligenciával, és közel 1000 olyan ügyféllel rendelkezik, akik az LLM-eket használtak a platformján. Ugyanakkor kevés vállalat rendelkezik a ChatGPT-szintű képességekhez szükséges hatalmas nyelvi modellekkel, és csak néhány szervezet rendelkezik ilyen modellekkel.

Februárban a Meta közzétette a LLaMA nevű, kiváló minőségű nyelvi modelleket, amelyeket egyenként több mint 80 000 GPU-órán keresztül képeztek. Márciusban a Stanford megépítette az Alpaca modellt, amely a LLaMA-n alapult, de egy 50 000 emberhez hasonló kérdésből és válaszból álló kis adathalmazon hangolták, amely a ChatGPT-hez hasonló interaktivitást mutatott. E két lehetőséget inspirációként használva a Databricks képes volt módosítani az EleutherAI egy meglévő, nyílt forráskódú, 6 milliárd paraméteres modelljét, hogy az Alpaca adatainak felhasználásával olyan utasításkövető képességeket hívjon elő, mint az ötletelés és a szöveggenerálás, amelyek az eredeti modellben nem voltak jelen.

A Databricks úgy véli, hogy több LLM-modell olcsóbb lesz, és többé már nem csak néhány vállalat kezében lesz, Ali Ghodsi szerint valószínűleg a világ minden szervezete használni fogja ezeket a modelleket. Azt jósolja, hogy minden iparág vezető vállalatai olyan adat- és mesterséges intelligencia-cégek lesznek, amelyek kihasználják az ilyen típusú technológiát, és ilyen modellekkel rendelkeznek.