Alpaca 7B: a ChatGPT olcsó, nyílt forráskódú chatbot versenytársa

2023.03.21. VipAIR

Stanfordi kutatók kifejlesztettek egy generatív AI chatbotot, az Alpaca 7B-t, amely az OpenAI ChatGPT-jéhez hasonlóan viselkedő, nyílt forráskódú és olcsón fejleszthető.

A Stanford Egyetem kutatói létrehoztak egy nyílt forráskódú chatbotot Alpaca 7B néven, amely a Meta LLaMA nyelvi modelljének finomhangolt változata. A csapat a LLaMA 7B-t vette, és 52 000 utasítást követő bemutatón finomhangolta, hogy létrehozzon egy ChatGPT-szerű chatbotot, amelynek kifejlesztése kevesebb mint 600 dollárba került. Az Alpaca-t azért fejlesztették ki, hogy az akadémikusoknak egy olyan utasításkövető modellt adjanak, amelyet tesztelhetnek, mivel más modellek, mint például az OpenAI, szoros forrásból származó modelleket használnak. Azzal, hogy nyílt forráskódúvá és bármely akadémikus számára elérhetővé válik, a kutatók úgy vélik, hogy gyorsabb előrelépés érhető el a chatbot hiányosságainak, például a valótlanságok, előítéletek és sztereotípiák generálásának kezelésében.

A kutatók olyan technikákat használtak, mint a Fully Sharded Data Parallel és a vegyes pontosságú képzés, hogy a LLaMA 7B modellt mindössze három óra alatt finomhangolják nyolc 80 GB-os Nvidia A100-as chipen, amelyek a legtöbb felhőszolgáltatónál kevesebb mint 100 dollárba kerülnek. A csapat értékelte az Alpaca bemeneteit, így a felhasználó-orientált utasítások változatos listáját fedte le, beleértve az e-mail írást, a közösségi médiát és a termelékenységi eszközöket. Ezután vak páronkénti összehasonlítást végeztek a text-davinci-003 (GPT-3.5) és az Alpaca 7B között, és megállapították, hogy a két modell nagyon hasonló teljesítményt nyújt.

Az Alpaca még mindig szenved a hallucinációktól, a toxicitástól és a sztereotípiáktól, mint a legtöbb nyelvi modell. A kutatók elismerik, hogy felhasználható olyan jól megírt kimenetek generálására, amelyek félretájékoztatást terjesztenek. A kutatók azonban úgy vélik, hogy az eszköz még mindig hasznos lesz a közösség számára, mivel egy viszonylag könnyű modellt nyújt, amely alapként szolgál a fontos hiányosságok tanulmányozásához. Egy interaktív demót már kiadtak, és a kutatók visszajelzéseket várnak a nyilvánosságtól, ami nem nagyon hasonlít a ChatGPT-vel rendelkező OpenAI-hoz.

Összefoglalva, az Alpaca egy nyílt forráskódú, generatív AI chatbot, amely az OpenAI (GPT-3.5) text-davinci-003-hoz hasonlóan viselkedik, és olcsó a fejlesztése. Az Alpaca kiadása elősegítheti az utasításkövető modellek és az emberi értékekkel való összehangolásuk további kutatását, ami segíthet a chatbotok olyan hiányosságainak kezelésében, mint a valótlanságok, elfogultságok és sztereotípiák generálása.

Megosztás Facebookon