A Google Cloud bemutatja az A3 szuperszámítógépét

A Google Cloud bemutatja A3-as szuperszámítógépes virtuális gépeit, amelyeket a nagy nyelvi modellek és generatív AI-alkalmazások költséghatékonyabb működtetésére terveztek.

A Google Cloud nemrég a Google I/O-n mutatta be új A3 szuperszámítógépes virtuális gépeit (VM), amelyeket kifejezetten a nagy nyelvi modellek (LLM) és a generatív AI-alkalmazások kiterjedt számítási igényeinek hatékony kezelésére terveztek. Az A3 GPU VM-ek a modern gépi tanulási munkaterhelésekhez nyújtanak csúcsteljesítményt, fejlett CPU-kat, továbbfejlesztett gazdagép-memóriát, új generációs Nvidia GPU-kat és jelentős hálózati fejlesztéseket használva.

Ezek a nagy teljesítményű gépek az Nvidia H100 GPU-ival vannak felszerelve, és egy speciális adatközpontban működnek, így hatalmas számítási képességeket, nagy áteresztőképességet és alacsony késleltetést biztosítanak versenyképes áron. A 8 Nvidia H100 GPU-val, 4. generációs Intel Xeon Scalable processzorokkal, 2 TB host memóriával és 3,6 TB-os bisectional sávszélességgel az A3 VM-ek akár 26 exaFlops teljesítményre képesek, optimalizálva a nagy gépi tanulási modellek képzésének idejét és költségeit.

Az A3 VM-ek munkaterhelései továbbá a Google speciális Jupiter adatközponti hálózati szövetén belül működnek, amely 26 000 nagymértékben összekapcsolt GPU-ból áll, és olyan újrakonfigurálható optikai linkekkel rendelkezik, amelyek igény szerint képesek a topológiát módosítani. Ez a megközelítés hozzájárul az ilyen munkaterhelésekkel kapcsolatos költségek csökkentéséhez.

Az ügyfelek kétféle módon férhetnek hozzá az A3 VM-ekhez: önállóan futtathatják azokat a Google Kubernetes Engine (GKE) és a Google Compute Engine (GCE) rendszereken, vagy menedzselt szolgáltatásként a Vertex AI-n, a Google menedzselt gépi tanulási platformján. Bár a Google I/O-n jelentették be, az A3 VM-ek jelenleg csak előnézeti várólistán keresztül érhetők el.

• generatív AI
• AI
• Google
• gépi tanulás
• Google Cloud
• NVIDIA
• Szuperszámítógép
• LLM
• Virtuális gép