A Databricks kiadja a Dolly 2.0-t, egy nyílt forráskódú LLM-et kutatási és kereskedelmi célokra
2023.04.15. VipAIR
A Databricks elindította a Dolly 2.0-t, egy nagy nyelvi modellt, kutatásra és kereskedelmi felhasználásra, amely a Databricks munkatársainak válaszaiból épített kiváló minőségű adathalmazon alapul.
A Databricks kiadta a Dolly 2.0-t, egy új utasításkövető nagy nyelvi modellt (LLM) kereskedelmi felhasználásra. Ez alig két héttel a Dolly, a ChatGPT nyílt forráskódú változatának bevezetése után következik, amelynek képzése 30 dollárba került. A Dolly 2.0-t kutatási és kereskedelmi felhasználásra egyaránt tervezték, és a világ első klónozott emlőséről kapta a nevét. A program 12 milliárd paraméterrel rendelkezik, és egy ember által generált utasításkövető adathalmazon, a databricks-dolly-15k-n lett betanítva, amely 15 000 parancs- és válaszpárt tartalmaz az utasítások hangolásához. A Databricks azt állítja, hogy az adathalmaz kis mérete ellenére kiváló minőségű.
A Databricks bemutatta a modell képességeit is, például a belső dokumentumok összegzését és a tweetek tartalmának írását. Azzal, hogy a Dolly 2.0 teljes egészében, beleértve a képzési kódot, az adathalmazt és a modell súlyait, a Databricks szerint bármely szervezet létrehozhat, birtokolhat és testre szabhat nagy teljesítményű LLM-eket, amelyek képesek kommunikálni az emberekkel anélkül, hogy API-hozzáférésért kellene fizetnie vagy adatokat kellene megosztania harmadik féllel.
Az adatállományt azonban olyan személyek befolyásolták, akik nem angol anyanyelvűek, és néhány Wikipedia-adatot is felhasználtak, ami bizonyos anomáliákat okozhat. Mindazonáltal a Databricks csapata állítólag inspirációt merített a ChatGPT mögött álló egyik modellből, az InstructGPT-ből, amelyet egy körülbelül 13 000 utasítást követő viselkedés bemutatását tartalmazó adathalmazon képeztek ki. A Databricks 2023 márciusa és áprilisa között gyűjtött válaszokat alkalmazottaitól, amelyek különböző viselkedési formákra, például ötletelésre, tartalomgenerálásra, információszerzésre és összegzésre terjedtek ki.
A Dolly 2.0 modell a Hugging Face-en keresztül érhetők el, míg az adatkészlet a Databricks-labs Dolly-tárában érhető el. A Dolly 2.0-t bejelentő blogbejegyzés nem említette a legújabb verzió képzésének költségeit. A Databricks csapata azonban azért hozta létre az új adatkészletet, mert számos megkeresés érkezett a technológia kereskedelmi célú felhasználására.- Legfrissebb
- A Microsoft elhallgattatta mérnökét a DALL-E 3-mal kapcsolatos aggodalmai miatt
- Az Eagle 7B: A költséghatékony, többnyelvű AI modellek új korszaka
- A Neuralink sikeresen beültetett egy vezeték nélküli agyi chipet egy emberbe
- Az OpenAI és a Common Sense Media együttműködik az AI-irányelvek kidolgozásában
- Elon Musk nagy tétekre épülő stratégiája az AI-technológiai versenyben
- Az AI spam már kezdi tönkretenni az internetet
- A Hugging Face és a Google együttműködik, hogy felgyorsítsa a nyílt AI-fejlesztést
- Az OpenAI új frissítésekkel gyógyítja a GPT-4 lustaságát
- Az AI-startupok és a technológiai óriások befektetései vizsgálat alatt állnak
- Chrome M121 frissítés: Az AI bevezetése az intelligensebb böngészési élményért
- Legnépszerűbb címkék
- OpenAI
- ChatGPT
- generatív AI
- AI
- gépi tanulás
- Microsoft
- innováció
- GPT-4
- technológia