A Got It AI ELMAR-ja kisebb, helyhez kötött LLM vállalati felhasználásra

A Got It AI, egy társalgási AI startup nemrégiben dobta piacra az ELMAR (Enterprise Language Model Architecture) nyelvi modellt, amely készen áll a vállalati felhasználásra, különösen a párbeszédalapú chatbot kérdés-felelet alkalmazásokban. A vállalat állítása szerint az ELMAR kisebb, mint a GPT-3, és helyben is működhet, így megfizethető megoldást jelent a vállalati ügyfelek számára. Az ELMAR kereskedelmi szempontból is életképes, mivel független a Meta LLaMA-jától és a Stanford Alpaca-jától.

A Got It AI elsősorban azért hozta létre az ELMAR-t, mert számos vállalati ügyfél nem akarta, hogy az adatai elhagyják a telephelyét. Peter Relan, a Got It AI elnöke kifejtette, hogy a vállalat egy olyan kereskedelmi szempontból életképes, kis méretű modellt tervezett, amely helyben futtatható, ugyanakkor a fontos vállalati felhasználási esetekben megfelel a rendelkezésre álló nagy nyelvi modellek (LLM) pontosságának. Az ELMAR magában foglalja a válaszok igazságtartalmának ellenőrzését és az utólagos feldolgozást, hogy csökkentse a felhasználók számára a hibás válaszok kockázatát. A jelenleg elérhető LLM-ekhez képest az ELMAR kevésbé drága hardvert igényel, így a kísérleti tesztelésre feliratkozó vállalati bétatesztelők számára is elérhetőbbé válik.

A Got It AI szerint az ELMAR számos előnyt kínál a nyelvi modellt beépíteni kívánó vállalkozások számára. Az ELMAR működtetéséhez szükséges hardver a kis mérete miatt lényegesen olcsóbb, mint az OpenAI GPT-4-hez szükséges hardver. Emellett az ELMAR lehetővé teszi a céladathalmazon történő finomhangolást, így nincs szükség költséges API-alapú modellekre, és megelőzhető a költségek megugrása.

A Got It AI az ELMAR-t az OpenAI ChatGPT-jével, a GPT-3-mal, a GPT-4-gyel, a GPT-J/Dolly-val, a Meta LLaMA-jával és a Stanford Alpaca modelljével hasonlította össze egy hallucinációs arányokat mérő vizsgálatban, bemutatva, hogy egy kisebb, de finomhangolt LLM ugyanolyan jól teljesít a párbeszédalapú felhasználási esetekben egy 100 cikkből álló tesztkészleten. A vállalat korábban kifejlesztette a TruthChecker-t, egy kis nyelvi modell alapú finomhangolt utófeldolgozót, amely összehasonlítja a bármely más nyelvi modell által generált válaszokat a céladatkészletben lévő alapigazsággal és megjelöli a helytelennek, a félrevezetőnek vagy hiányosnak tűnő válaszokat, az úgynevezett "hallucináció" jelenségét. A tanulmány kimutatta, hogy a kisebb nyílt forráskódú LLM-ek bizonyos feladatokban rosszul teljesítenek, hacsak nem finomhangolják őket céladathalmazokon.

Az ELMAR nyelvi modellje lehetővé teszi a vállalkozások számára, hogy konfigurálják előfeldolgozóikat, és intézkedéseket tervezzenek nyelvi modellarchitektúrájuk támadások elleni védelmére. Az előfeldolgozót a vállalkozás hangolja, konfigurálja és ellenőrzi, így a vállalati felhasználó határozza meg az adatok, például a személyazonosításra alkalmas információk (PII) eltávolítására vonatkozó irányelveit. A Got It AI az ELMAR modellt több tudásbázison, például a Zendesk és a Confluence adatbázisokon, valamint nagy méretű PDF dokumentumokon tesztelte.

A Got It AI azt tervezi, hogy az ELMAR béta programját több iparágat átfogó vállalati kísérleti projektekkel kezdi meg, és visszajelzést kap arról, hogy milyen típusú elő- és utófeldolgozási „igazítás” működik minden iparágban, szemben az iparág- vagy vállalatspecifikusokkal. A Got It AI célja, hogy a kísérleti projektek visszajelzései alapján javítsa az ELMAR sebességét, pontosságát és bővítse funkcióit.