A MosaicML megfizethető következtetési szolgáltatást indít a generatív AI telepítéséhez

A kaliforniai székhelyű MosaicML, a generatív AI-infrastruktúra szolgáltatója bevezetett egy teljesen menedzselt következtetési szolgáltatást, amely megkönnyíti és megfizethetőbbé teszi a vállalkozások számára a generatív AI-modellek telepítését. Ez az ajánlat kibővíti a MosaicML képességeit, így az a generatív AI képzés és telepítés teljes körű eszközévé válik. Ezt megelőzően a vállalat nagyrészt a generatív AI-modellek képzéséhez szükséges szoftver-infrastruktúra biztosítására összpontosított.

A ChatGPT-hez hasonló nagy nyelvi modellek (LLM) iránti kereslet az iparágakban folyamatosan növekszik. Az adatvédelmi kihívások és az ilyen modellek építésével és telepítésével járó magas költségek miatt azonban a vállalkozások számára nem éppen könnyű a feladat. Az új következtetési szolgáltatással a MosaicML leegyszerűsíti a telepítést azáltal, hogy a vállalkozásoknak lehetőséget biztosít arra, hogy lekérdezzék saját, egyedi LLM-jeiket vagy a nyílt forráskódú modellek egy válogatását.

A szolgáltatás alapvetően két különálló szintet tartalmaz: a kezdő és a vállalati szintet. A kezdő szint a MosaicML által kezelésbe vett és üzemeltetett nyílt forráskódú modelleket kínál API végpontokként, hogy a generatív AI könnyen elindítható legyen az alkalmazásokhoz való hozzáadáskor. Ezek változatlan formában telepíthetők. A vállalati szint egy lépéssel tovább megy, lehetővé téve a csapatok számára, hogy bármilyen modellt telepítsenek, beleértve a saját hálózatukban (VPC) az egyedi felhasználási esetekre kifejlesztett egyedi modelleket is. Ily módon a következtetési adatok soha nem hagyják el a felhasználó infrastruktúrájának védett környezetét, így biztosítva a teljes adatvédelmet és biztonságot.

Emellett az alacsony késleltetésnek és a magas hardverkihasználtsági képességeknek köszönhetően a MosaicML Inference többszörösen olcsóbb lehet a modellek telepítésében, mint más hasonló ajánlatok. A MosaicML költségfelmérése szerint következtetési szolgáltatásának kezdő kiadása négyszer olcsóbban biztosítja a szövegkiegészítési és beágyazási modelleket, mint az OpenAI kínálata, míg a vállalati szint 15-ször olcsóbbnak bizonyult.

Bár a MosaicML nem osztotta meg az új következtetési szolgáltatást használó vállalatok nevét, Naveen Rao vezérigazgató és társalapító megjegyezte, hogy az ügyfelek máris eredményeket tapasztalnak a szolgáltatással kapcsolatban. "Egy tőzsdén jegyzett ügyfelünk a pénzügyi megfelelési területen a MosaicML következtetési szolgáltatást használja arra, hogy egyedi GPT-jét telepítse a semmiből a MosaicML-re" – mondta Rao. "Ez az ügyfél az alternatív szolgáltatókhoz képest 10-szeres következtetési megtakarítást tapasztalt. A TCO (teljes tulajdonlási költség) az első modelljük esetében kevesebb mint 100 000 dollár volt."