Aviary: az Anyscale áttörő projektje a nagy nyelvi modellek telepítésének egyszerűsítésére

Az Anyscale, amely a nyílt forráskódú Ray ML skálázási technológia vezető kereskedelmi fejlesztője, bejelenti az Aviary projekt elindítását, amelynek célja a nyílt forráskódú LLM-ek telepítésének racionalizálása.

Ahogy a nyílt forráskódú nagy nyelvi modellek (LLM) – mint például a Dolly, az LLaMA, a Carper AI, az Amazon LightGPT és sok más, a Hugging Face-en szabadon elérhető – száma egyre nő, úgy nőnek a valós környezetben történő telepítésükkel kapcsolatos kihívások is. Az Anyscale Aviary célja, hogy leegyszerűsítse az ilyen LLM-ek infrastruktúrára való telepítésének összetett folyamatát, amelyet gyakran a megfelelő számítási erőforrások és konfigurációs paraméterek azonosítására irányuló próbálkozások és hibák jellemeznek. "Minden héten új nyílt forráskódú modelleket látunk, amelyek feszegetik a határokat. A legfontosabb terület, ahol még több előrelépésre van szükség, az e modellek futtatásához szükséges nyílt forráskódú infrastruktúra" – mondja Robert Nishihara, az Anyscale vezérigazgatója.

Az Aviary projekt a nyílt forráskódú Ray projektet egészíti ki speciális optimalizációkkal és konfigurációkkal, célja a nyílt forráskódú LLM-ek telepítésének egyszerűsítése. A Ray-t, amely a nagy szervezetek körében népszerű választás a modellek képzéséhez, az OpenAI is használja modelljeihez, köztük a GPT-3 és GPT-4 modellekhez. Az Aviary célja ennek a folyamatnak az egyszerűsítése, mivel a felhasználók számára előre konfigurált alapértelmezett beállításokat biztosít bármely nyílt forráskódú LLM-hez a Hugging Face-en, megkönnyítve ezzel az időigényes infrastruktúra-konfigurációs folyamatokban való navigálást. Az Aviary célja továbbá, hogy megoldja a modellválasztás kihívását, összehasonlító adatokat szolgáltatva a pontosságról, a késleltetésről és a költségekről.

Az Aviary fejlesztési folyamata az elmúlt három hónapban zárt körű volt. Ez idő alatt az Anyscale csapata az összes LLM telepítéséhez közös mintákat azonosított, ami lehetővé tette az Aviary számára, hogy gyorsan támogassa az új modelleket, amint azt a LightGPT támogatásának kevesebb mint öt perc alatt történő hozzáadása is bizonyította. A nyílt forráskódú modellek növekedése valószínűleg folytatódni fog, növelve a szervezetek számára a megfelelő modellek kiválasztásával kapcsolatos kihívásokat. Robert Nishihara azonban optimista, hogy az Aviary nyílt forráskódú jellege megkönnyíti az új modellek könnyű hozzáadását a közösség számára, ami egyszerűsíti a telepítést és csökkenti a többletmunkát.

• gépi tanulás
• infrastruktúra
• Nyílt forráskód
• LLM
• Modellképzés
• Anyscale
• Aviary
• Üzembe helyezés
• Optimalizálás
• Konfigurálás