Hogyan képes egy token a végtelenségig működtetni az AI beszélgetéseket?

2023.10.06. VipAIR

A StreamingLLM áttöri a korlátokat, lehetővé téve az AI-modellek számára, hogy végtelen hosszúságú beszélgetéseket folytassanak anélkül, hogy elveszítenék a fonalat.

  • A nagy nyelvi modellek teljesítményproblémákkal szembesülnek a hosszú beszélgetések során a tokenkorlátozások miatt.

  • A kutatók bevezették a StreamingLLM keretrendszert, amely „figyelemelnyelő” tokeneket használ az AI teljesítményének egységes fenntartása érdekében.

  • Ez az áttörés lehetővé teszi a potenciálisan végtelen számú AI-beszélgetéseket a minőség romlása nélkül.

A szövegről szövegre terjedő nagy nyelvi modellek (LLM) forradalmasították a technológiai világot, de kihívást jelent, a folyamatos teljesítmény fenntartása a kiterjedt beszélgetések során. Mi ennek az oka? Az olyan LLM-ek, mint az OpenAI ChatGPT, az Anthropic Claude 2 és a Meta Llama 2, meghatározott adatblokkokon, úgynevezett tokeneken vannak előre betanítva. Amikor egy beszélgetés túllépi a tokenhatárt, a mesterséges intelligencia válaszminősége csökken, ami nem ideális a nyílt végű AI-interakciókat célzó vállalkozások számára.

A StreamingLLM, egy úttörő megoldás, amelyet a Meta, az MIT és a CMU kutatói fejlesztettek ki. Ez az új keretrendszer a „figyelemelnyelők” bevezetésével foglalkozik a token korlátozásával. Ezek olyan speciális tokenek, amelyekre az LLM-ek a beszélgetések során erősen koncentrálnak. A kutatók megállapították, hogy a figyelemelnyelőknek a beszélgetés különböző pontjain történő újbóli bevezetésével az AI-teljesítménye még a több millió tokenre kiterjedő beszélgetésekben is egyenletes marad. Gondoljunk úgy, mint egy „varázsszóra”, amelyet megismételve a mesterséges intelligencia továbbra is figyelmes és reagáló marad.

Az innováció azonban nem áll meg itt. A csapat egy lépéssel tovább ment és bebizonyította, hogy egyetlen speciális token is képes figyelemfelkeltőként működni. Ha ezt a tokent stratégiailag elhelyezik a beszélgetésekben, akár manuálisan, akár automatikusan, az AI-teljesítménye magas marad. Ez a felfedezés egy olyan jövőt sejtet, ahol az LLM-eket kezdettől fogva ezzel a speciális tokennel lehetne betanítani, optimalizálva őket a hosszan tartó interakciókra.

A StreamingLLM keretrendszert folyamatos alkalmazásokhoz tervezték, ideális a többfordulós párbeszédekhez és a napi asszisztens LLM-ekhez. Lehetővé teszi, hogy a modell megállás nélkül működjön anélkül, hogy túlzottan támaszkodna a múltbeli adatokra, csökkentve ezzel a gyakori adatfrissítés szükségességét. Lényeges azonban megjegyezni, hogy bár a StreamingLLM növeli a beszélgetés hosszát, nem bővíti a mesterséges intelligencia kontextusablakát és nem javítja a hosszú távú memóriáját.

Megosztás Facebookon