Stability AI heeft Stable Video 3D uitgebracht. Dat is een tool die zich richt op het omzetten van 2d-foto's in een 'orbitaal' 3d-model. SV3D is beschikbaar voor zowel commercieel als niet-commercieel gebruik.
De tool is gebaseerd op Stable Diffusion, de afbeeldingengenerator van het bedrijf. Er zijn twee varianten: SV3D_u en SV3D_p. De eerste variant kan beelden maken met slechts één afbeelding als input zonder dat het uitmaakt hoe de camera precies stond toen de afbeelding werd genomen. Hierdoor is het mogelijk om beelden om te zetten in 3d-modellen zonder camerabewegingen. SV3D_p is de krachtigere variant, die ook in staat is om video's te produceren langs vooraf gedefinieerde camerabewegingen.
Volgens Stability AI lost SV3D consistentieproblemen op waarmee oudere modellen, zoals Stable Zero123, te kampen hadden. Dat wordt gedaan door middel van neural radiance fields, een techniek die wordt gebruikt om foto’s om te vormen tot 3d-objecten, in combinatie met meshrepresentaties. Dat laatste is een soort digitale vorm van draadframes die computers helpt om objecten in 3d te begrijpen en weer te geven.
SV3D maakt ook gebruik van een nieuwe aanpak om belichtingsproblemen aan te pakken. Het verlichtingsmodel is losgekoppeld van andere aspecten van de video, zoals vorm en textuur. Volgens Stability AI helpt dit om de belichting consistent te houden en ervoor te zorgen dat het object er realistisch uitziet vanuit verschillende hoeken.
SV3D is voor commercieel gebruik beschikbaar voor alle Stability AI-abonnees. Niet-commerciële gebruikers kunnen de zogenoemde modelgewichten, de parameters die het model heeft geleerd tijdens het trainingsproces, downloaden op Hugging Face. Ook de onderzoekspaper is gratis te lezen.
/i/2006478828.png?f=fpa)
/i/2005662524.png?f=fpa)
:strip_exif()/i/2004677808.jpeg?f=fpa)
/i/2004629064.png?f=fpa)
/i/2006079680.png?f=fpa)
:strip_exif()/i/2006285086.jpeg?f=fpa)
/i/2005046258.png?f=fpa)
:strip_exif()/i/2005763776.jpeg?f=fpa)
:strip_exif()/i/2006000912.jpeg?f=fpa)
/i/1233670851.png?f=fpa)
:strip_icc():strip_exif()/u/705488/crop58a57e1c51e2e_cropped.jpeg?f=community){kind=small}
/u/3174/crop5f1e2a4facc1b.png?f=community){kind=small}
/u/381607/have%2520a%2520nice%2520day%2520-%2520small.png?f=community){kind=small}
:strip_icc():strip_exif()/u/116210/crop5ab6397009836_cropped.jpeg?f=community){kind=small}
:strip_exif()/u/8178/hitchhikersguidethemoviesmall.gif?f=community){kind=small}
/u/627287/crop5f8ef98351ddc_cropped.png?f=community){kind=small}
:strip_icc():strip_exif()/u/238484/IMG_2493%2520CB750_icoontjeKlein3.jpg?f=community){kind=small}
