Az OpenAI bemutatja a Shap-E-t: egy forradalmi szövegből-3D-be generáló modellt

Az OpenAI a közelmúltban jelentette be a Shap-E, egy új szövegből 3D objektummá alakító rendszer bevezetését, amely jelentősen továbbfejleszti a generatív AI eszközeinek területét. A Shap-E képes 3D objektumokat létrehozni közvetlenül szöveges leírásokból vagy a mellékelt képek felhasználásával, innovatív megoldást nyújtva a legkülönbözőbb alkalmazások számára.

Az OpenAI korábbi kiadása, a Point-E által lefektetett alapokra építve a Shap-E jelentős előrelépést jelent, mivel gyorsabb és képes "implicit függvényként" modelleket felépíteni. Ezek a függvények olyan matematikai képletek, amelyek textúrázott hálóként vagy neurális sugárzási mezőként (NeRF), azaz 2D képekből gépi tanulással generált 3D modellekként jelennek meg. A Shap-E által létrehozott 3D modellek kompatibilisek a különböző letöltő folyamat alkalmazásokkal, így lehetőség nyílik a verbálisan programozott 3D vizuális effektek, a virtuális valóság/növelt valóság (VR/AR) alkalmazások és a 3D nyomtatással való zökkenőmentes integrációra.

A Shap-E egy feltételes generatív modell a 3D eszközökhöz, amely képes közvetlenül generálni az implicit függvények paramétereit, amelyek texturált hálóként és neurális sugárzási mezőként is megjeleníthetők. A képzési folyamat két szakaszból áll: egy kódolóból, amely a 3D-eszközöket egy implicit függvény paramétereire képezi le, és egy feltételes diffúziós modellből, amelyet a kódoló kimeneteinek felhasználásával képeznek ki. Az így kapott modellek másodpercek alatt képesek bonyolult és változatos 3D-eszközöket létrehozni, gyorsabb konvergenciát mutatnak, és a Point-E-nél hasonló vagy akár jobb mintaminőséget érnek el.

Az OpenAI nyilvánosan elérhetővé tette a Shap-E modell következtetési kódját és mintáit, ezzel ösztönözve a további kutatást és innovációt a területen. A Shap-E a GitHub oldalán keresztül érhető el.