A Google bemutatta a Gemma 3 270M modellt – ultra-kicsi, mégis nagy teljesítményű AI, amely okostelefonon is futtatható

A cél ezúttal nem a nyers számítási erő növelése, hanem az extrém hatékonyság, amely lehetővé teszi a modell futtatását közvetlenül okostelefonon, internetkapcsolat nélkül. A Google belső tesztjei szerint a Pixel 9 Pro rendszerchipjén akár 0,75%-nál kisebb akkumulátorfogyasztással képes 25 párbeszédet feldolgozni.

Kis méret, nagy képességek

A Gemma 3 270M két fő komponensből áll:

• 170 millió embedding paraméter egy 256 ezres szókészlettel, amely ritka és specifikus tokenek kezelésére is képes.
• 100 millió paraméter a transformer blokkokban, optimalizált architektúrával.

A modell a nagyobb Gemma 3 változatok architektúráját és előtanítását örökölte, így kompatibilis a teljes Gemma-ökoszisztémával. Előre betanított és utasításkövetésre hangolt verzióban is elérhető, valamint Quantization-Aware Training (QAT) ellenőrzőpontokkal, amelyek INT4 pontosság mellett is minimális teljesítményvesztést okoznak.

Böngészőben és Raspberry Pi-n is fut

Omar Sanseviero, a Google DeepMind fejlesztői kapcsolatok mérnöke szerint a modell webböngészőben, Raspberry Pi-n, sőt szinte bármilyen könnyű hardveren futtatható. Ez a rugalmasság új lehetőségeket nyit a fejlesztőknek, különösen offline és adatvédelmi szempontból érzékeny alkalmazások esetében.

Teljesítmény és összehasonlítás

Az IFEval benchmark teszten a Gemma 3 270M utasításkövető változata 51,2%-os pontszámot ért el, ami felülmúlja a hasonló méretű SmolLM2 135M Instruct és Qwen 2.5 0.5B Instruct modellek eredményeit, és megközelíti az egyes milliárdparaméteres modellek szintjét.
A Liquid AI rivális startup megjegyezte, hogy a Google nem tüntette fel a saját LFM2-350M modelljüket, amely 65,12%-ot ért el hasonló paraméterszámmal.

A Google filozófiája szerint nem minden feladathoz kell óriásmodell. Egy kisméretű, finomhangolt LLM hatékonyabb lehet például sentiment-analízis, entitás-kinyerés, lekérdezésirányítás, strukturált szöveg-generálás vagy megfelelőségi ellenőrzés esetén.
A Gemma 3 270M alkalmas specializált modellek flottájának létrehozására is, amelyek kifejezetten egy-egy feladatot látnak el gyorsan és alacsony költséggel.

Kreatív demó: offline esti mesegenerátor

A Google egy YouTube-demóban mutatta be a Bedtime Story Generator alkalmazást, amely teljesen offline, böngészőben futva hoz létre rövid, kontextusérzékeny történeteket a felhasználó által megadott karakterek, helyszínek, fordulatok és hangulat alapján.

Licencelés és kereskedelmi felhasználás

A modell a Gemma Terms of Use licenc alatt érhető el, amely széles körű kereskedelmi felhasználást engedélyez, feltéve, hogy a fejlesztők betartják a Google tiltott felhasználásra vonatkozó szabályait, és továbbadják a felhasználási feltételeket. Bár a licenc nem klasszikus értelemben vett nyílt forráskód, külön díj nélküli kereskedelmi integrációt tesz lehetővé.