Nvidia ontwikkelt AI-tool die objecten voor virtuele werelden kan genereren

Nvidia heeft een AI-tool ontwikkeld waarmee ontwikkelaars virtuele 3d-werelden kunnen maken. Get3d is in staat om personages, gebouwen, voertuigen en andere 3d-objecten te creëren. Volgens Nvidia kan de tool ongeveer twintig objecten per seconde genereren met een enkele gpu.

Volgens Nvidia moet de tool, die ontwikkeld is door het AI-lab in Toronto, bijdragen aan 'de enorme virtuele werelden die door een groeiend aantal bedrijven worden gecreëerd'. Ontwikkelaars kunnen de virtuele werelden volgens het bedrijf door middel van Get3d sneller vullen met een variatie aan objecten.

Get3d is getraind met behulp van 2d-afbeeldingen en genereert volgens Nvidia 3d-objecten met 'high-fidelity texturen en complexe geometrische details'. De objecten hebben de vorm van een driehoekige mesh, zoals een model van papier-maché met een textuur eroverheen.

Op basis van een dataset van 2d-beelden van auto's is Get3d in staat om een verzameling van onder meer sedans, vrachtwagens, raceauto's en bestelbussen te genereren. Als de AI-tool foto's van dieren voorgeschoteld krijgt, kan hij bijvoorbeeld vossen, neushoorns en beren creëren. Ook kan de tool tekst omzetten in 3d-objecten. Hoe groter en diverser de dataset, hoe gevarieerder en gedetailleerder het resultaat is, stelt Nvidia logischerwijs.

De gegeneerde 3d-objecten kunnen worden geïmporteerd in verschillende grafische softwaretoepassingen, zoals game-engines, waardoor ontwikkelaars ze verder kunnen bewerken en verwerken. Nvidia ziet naast gaming ook toepassingen voor de gegenereerde 3d-objecten in onder andere robotica, architectuur en sociale media.

Reacties (55)

[Morkatog]

Dit is toch prachtig Met dit soort innovaties wordt met een beetje geluk game development in de toekomst een stuk simpeler en goedkoper.

Ook een interessante toevoeging:

The researchers note that a future version of GET3D could use camera pose estimation techniques to allow developers to train the model on real-world data instead of synthetic datasets. It could also be improved to support universal generation — meaning developers could train GET3D on all kinds of 3D shapes at once, rather than needing to train it on one object category at a time.

edit: De code komt trouwens volgende week beschikbaar

[Reactie gewijzigd door Morkatog op 22 juli 2024 14:21]

[Verwijderd]

Als alles door de zelfde AI wordt gemaakt dan brengt dat ook wel een valkuil met zich mee. Het kan er allemaal hetzelfde uit gaan zien/voelen. Zo heb je onlangs een website/dienst gezien dat ineens heel populair werd omdat de AI een kunstwedstrijd gewonnen had. Voer met tekst een onderwerp in, hoe willekeurig ook en de AI maakt er een kunstwerk van.

In het begin extreem onder de indruk maar na een paar weken allerlei voorbeelden op het internet viraal zien gaan en voorbij zien komen, pik ik de AI ontwikkelde kunst er zo tussen uit. Ook al is de inhoud van de foto totaal anders, je ziet dezelfde gebruikte technieken in elke foto terugkomen. Ik hoop niet dat dit met games ook zal gebeuren. Het haalt een stukje originaliteit weg.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 14:21]

[Morkatog]

Dat is een goed punt inderdaad. Ik denk dat dat ten dele van de eigen implementatie afhangt; Je kunt het systeem namelijk ook trainen met eigen data, wat toch wel een hoop opties geeft. Dan zijn er nog zaken die je wel vrij universeel kunt inzetten als de kwaliteit goed genoeg is (zo ver zijn ze geloof ik nog niet); dieren, natuurlijke objecten zoals stenen e.d.

[brandbrand]

Het is niet heel realistisch om je eigen StableDiffusion of DallE generatie tool te trainen voor het maken van gamecontent. Kost behoorlijk wat (in de orde van miljoenen aan GPU fees) en dan heb je nog geen enkele afbeelding geproduceerd voor je spel.

Ben het met je eens dat voor veel generieke ontwerpen het wel degelijk kan werken. Maar ook het kiezen van een andere stijl is wel degelijk mogelijk bij de huidige AI art tools. De 'latente ruimte' is nog steeds niet volledig in kaart gebracht!

[mr_seeker]

Het is niet heel realistisch om je eigen StableDiffusion of DallE generatie tool te trainen voor het maken van gamecontent. Kost behoorlijk wat (in de orde van miljoenen aan GPU fees) en dan heb je nog geen enkele afbeelding geproduceerd voor je spel.

Dus wat doen de meesten? Ze gaan zo'n StableDiffusion hertrainen. In het geval van KoboldAI (waar ik bij betrokken ben) hebben we nu een AI text generator die echt goede verhalen kan produceren, en ook door een indie ontwikkelaar wordt gebruikt om zijn game te produceren. Kosten? Veel lager dan een compleet nieuw model bouwen...

[m.z]

Met dit soort innovaties wordt met een beetje geluk game development in de toekomst een stuk simpeler en goedkoper.

Mocht dat zo zijn is mij direct de vraag: wat gaan wij als gamer terugzien? Tot heden blijft de winst groeien, meer uitgemelkt en kwaliteit blijft dalen. Hier heb ik vooral op grote bedrijven, maar zou hier zeker wel veel voordeel voor zien voor starters of kleine/serieuze studios.

[Verwijderd]

Tja, als serieuze gamers stoppen met piraten of wachten op koopjes en hun games juist in deluxe versie kopen, dan krijgen we de games te zien die we willen spelen.

[Verwijderd]

Tja, als serieuze gamers stoppen met piraten of wachten op koopjes en hun games juist in deluxe versie kopen, dan krijgen we de games te zien die we willen spelen.

U sure about that? Er word in de gameindustrie meer geld verdiend dan menig persoon denkt. Jij lijkt mij echt de perfecte klant voor dit soort gigantische techbedrijven. Pre-order onze Deluxe box voor 150+ euro zodat je van ons een mooi plastic prul en een in kleur geprint boekje erbij krijgt... oh misschien ook wel een extra skin in de game. Ondertussen krijg je een game dat voor 75% af is, vol met bugs en de laatste 25% mag je de DLC's voor kopen. Game ontwikkelaars komen hier mee weg JUIST vanwege mensen die altijd maar de deluxe edities kopen en blijven pre-orderen.

Neeh, ik wacht wel tot die in de (digitale) kortingsbak ligt. Dan zijn de bugs er uit en krijg je de DLC er gratis bij.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 14:21]

[Verwijderd]

Koop goede games, ipv rommel. En betaal de makers er goed voor. Das toch niet zo ingewikkeld?

[Verwijderd]

Koop goede games, ipv rommel. En betaal de makers er goed voor. Das toch niet zo ingewikkeld?

Je weet van te voren niet of het een goede game of rommel is. Reviews kan je ook niet meer van op aan tegenwoordig.

[centr1no]

Het budget en beschikbare tijd voor het daadwerkelijk produceren van een game worden bij de grote studio's van te voren vastgelegd.
De (soms enorme) winst die een game kan maken gaat naar investeerders, aandeelhouders en die willen dat trucje herhalen zolang het een forse winstmarge oplevert. Een hoop van die copy/paste games series kunnen met een relatief kleine investering een enorme hoeveelheid geld opleveren.
Het gevolg is dat in sommige franchises maximaal iedere 2 jaar of zo weer een 'nieuwe' game verschijnt die net zo massaal pre-ordered wordt een miljoenen verkoopt op release als de voorgangers.
Het leidt er helaas ook toe dat franchises worden uitgemolken en games geforceerd worden gemaakt en uitgebracht die simpelweg niet voldoen.

[Verwijderd]

Daarom moet je in plaats daarvan goede games kopen en daar flink voor betalen.

[Ahrnuld]

Wat we nu al terugzien, is dat games gemaakt door 1 persoon vrij aardig mee kunnen komen met die van de grote studio's, zolang ze in een bepaalde niche zitten. Bijv. Banished, Regiments e.d.

Dit soort technologie zorgt ervoor dat dat mogelijk blijft.

[Jur_]

ik vermoed eerlijk gezegd dat je hier niks direct van terug gaat zien in games omdat assets in principe door kunstenaars ("artists") gemaakt worden. Games proberen toch altijd wel hun eigen stijl te verwerken en zoals je nu ook al op fotografie/afbeelding websites ziet wordt AI-gegenereerde kunst ook al geweerd vanwege mogelijk copyright problemen [1].

Wel kan het misschien helpen in een vroeg stadium van ontwikkeling tijdelijke assets te hebben of daar mee te experimenteren om gameplay en iets van sfeer te kunnen testen. Wie weet dat de assets wel procedureel verder aangepast zouden kunnen worden, maar ik vermoed dat dit voorlopig niet in lijn zal zijn met de visie die games hebben over het algemeen.

[1]: https://www.vice.com/en/a...oving-ai-generated-images

[Reactie gewijzigd door Jur_ op 22 juli 2024 14:21]

[vj_slof]

Wat is de volgende stap? Dat AI uit jouw vraag en teksten die je invoert over de wensen over wat voor 'n game je zou willen spelen een game voor je in elkaar zet?

[PjotrX]

Een jaar geleden ben ik voor de unreal engine een plugin tegengekomen die door middel van ai je assisteert bij het maken van een scène. Op deze site staan wat filmpjes: https://www.prometheanai.com/ Ik heb het zelf niet geprobeerd en heb dus geen idee of deze ook zo goed werkt als in sommige van deze filmpjes. Maar het laat wel zien waar het allemaal naartoe kan gaan.

[jdh009]

Ai kun je ook al gebruikt bij het maken van binnensteden in UE. Met ‘paint’ wat lijntjes maken die de straten moeten voorstellen en de ai maakt daar een stad van. Met bepaalde input kun je de stijl en architectuur beïnvloeden. Werkt redelijk goed.

[Martinspire]

Ik heb bij dit soort technieken wel altijd het idee dat er een groot gat zit tussen het maken van een mooie demo met beloftes en het daadwerkelijk krijgen van een volwassen stuk software die breed toegepast kan worden. In de automatisering barst het van ideeën, maar je moet het nog wel even leveren.

Kijk maar naar zelfrijdende auto's. De techniek is voor 90% al wel af, maar die overige 10% zijn echt een groot probleem.

[Reactie gewijzigd door Martinspire op 22 juli 2024 14:21]

[MSalters]

Ook zoiets kwam voorbij in de GTC presentatie. NVidia had een auto-mod tool gemaakt, die met AI automatisch een HD mod maakte voor (als demo) Morrowind.

[z1rconium]

Deze ai technieken gaan nu zo razendsnel. Je kunt er op wachten dat dit soort zaken gaan komen. De eerste magazines met ai generated covers zijn er al. Storyboards vanuit screenwriting komt ook vanzelf, wacht, waarom nog screenwriten… etc.

De tech van nvidia om vanuit 1 screengrab videoconferencing mogelijk te maken vond ik nog meer impressive.

[Reactie gewijzigd door z1rconium op 22 juli 2024 14:21]

[Zeror]

Straks hoef je helemaal niet meer na te denken. Ik heb een idee voor .... en *poef* de AI heeft het voor je ontwikkeld.

[singingbird]

De meeste mensen zijn niet zo origineel en volgen een vast patroon en dat kan dan door een AI met een redelijke nauwkeurig voorspellen. Dus je zit er niet heel ver naast denk ik.

[latka]

Storyboard voor films zijn volgens mij de afgelopen 10+ jaar al automatisch gegenereerd gezien de diversiteit Maar serieus: denk je niet dat alles nog meer eenheidsworst word als je AI voor dit soort zaken in gaat zetten. Een AI getraind op een set data is nou niet direkt de meest voor de hand liggende entiteit om "out-of-the-box" te denken met wat ik zover van de AI heb gezien.

[dasiro]

Hangt er maar van af waarvoor de AI getrained wordt, winstoptimalisatie, gebruikerstevredenheid of beide. De samenleving is heterogeen genoeg dat doelgroepen elkaar altijd wel overlappen en net zoals met de huidige economie is er altijd wel ergens iets wat je wil consumeren dat door iemand wordt aangeboden. In die zin dat er wel een "AI theory of everything" zal zijn die gepersonaliseerd genoeg kan worden dat je op een uitzonderlijke tegenstander na wel iedereen kan bedienen, een beetje te vergelijken met een supermarkt tov een individuele slager/bakker/drogist/apotheek/... die laatsten bestaan nog, maar het merendeel van de bevolking (toch zeker in steden) komt aan zijn trekken in de eerste categorie.

[Reactie gewijzigd door dasiro op 22 juli 2024 14:21]

[dasiro]

de technieken lenen zich voor veel meer dan games alleen. Product, video en audio-design on demand zouden allemaal zomaar mogelijk zijn op basis van parameters die in te stellen zijn of misschien zelfs al gekend zijn afhankelijk van wie de dataset beheerd. The sky is the limit, zeker als AI met tools als Unreal engine kan werken.

We zijn ongeveer op het punt gekomen dat de menselijke creativiteit voorbij gestoken is en het nu een kwestie van tijd is dat de resultaten van AI generated content getweaked zijn tot ze populair genoeg worden om human generated content te verdrijven.

[Carn82]

The sky is the limit, zeker als AI met tools als Unreal engine kan werken.

Dit is eigenlijk dan ook de insteek van Nvidia's Omniverse; een omgeving waarin je varia software aan elkaar kan connecten en in kan samenwerken.

[Katsu]

Je vergeet dan wel handig er bij te vermelden dat deze "AI" niets meer is dan een script dat zich baseert op menselijke input en foto's. Voorbijsteken, nah.

[dasiro]

die menselijke input gebeurt heel onbewust, net zoals je hier op een publiek forum schrijft is er niets dat een scraper tegenhoudt om elke letter die je typt op te slaan (hell het staat allemaal al opgeslagen in een database van DPG ). Er is een reden waarom google en facebook zo belachelijk veel verdienen aan advertising.
De menselijke input is misschien het laatste wat AI's tegenhoudt om nog veel verder te gaan, want die worden niet tegen gehouden door wetten of hun geweten.

[Caelestis]

Zou wel grappig zijn. Stel je gaat CO-OP spelen en beiden stellen hun regels vast. Dan moet je tegen elkaar spelen om te zien welke regel set de overhand krijgt.
Geen speel sessie dat hetzelfde zal zijn.

[Polydeukes]

Hmm... dat is wel een grote stap. Wie bepaalt dan de regels en het doel van het spel?

[Oon]

Het probleem hiermee is de gameplay. Genereren van een object is haalbaar, maar als je ook bijv. een raam open wil kunnen doen en er doorheen wil kunnen klimmen, en verwacht dat er in de keuken een koelkast staat, dan ga je weer net een stap verder dan waar we op het moment zijn.

Maar het idee is leuk en dat gaat ook vast wel ooit komen

[IzzyG]

Zou heel vet zijn!

[satoer]

Wat is de volgende stap? Dat AI uit jouw vraag en teksten die je invoert over de wensen over wat voor 'n game je zou willen spelen een game voor je in elkaar zet?

Geloof het of niet, die stap is al genomen. Hier een AI die je kan instrueren met tekstuele beschrijvingen, en de AI programmeert dan de achterliggende code. Natuurlijk nog in de "kinderschoenen"... maar de technologie innoveert als een raket.
https://www.youtube.com/watch?v=TK1Py9QpNz0
en:
https://www.youtube.com/watch?v=Zm9B-DvwOgw&t=31s

[HerrPino]

Ik verwacht dat AI er voor gaat zorgen dat een spel voor iedere speler uniek gaat zijn. Dat er wel een leidraad is, maar dat AI de details in gaat vullen zoals locatie en scenery op basis van niveau en wensen van de speler.

[Znorkus]

Jammer dat de gamedevelopers zich niet realiseren dat het niet gaat om de snelheid waarmee je game objecten kan genereren.

Heel veel generieke auto-generated meuk =/ een goede game.

Je krijgt vooral een goedkopere game. Maargoed, voor bomen of struiken kan het geen kwaad vermoedelijk. Of iets op de achtergrond.

Beetje van een laag niveau dit, maargoed, EA zal wel interesse hebben. Productiekosten omlaag. Voor de spelers is het niet interessant.

[langestefan]

Je kunt hiermee op zn minst veel meer variatie creëren. In plaats van dat je een stel voorgetekende objecten hebt die je mixt genereer je compleet nieuwe. Dus het is zeker niet (alleen) bedoelt om sneller te kunnen ontwikkelen.

[David77]

Exact dit! Nooit meer twee maal dezelfde identieke npc's in een game!

[Carn82]

ik kan me voorstellen dat het wel veel hulp kan bieden tijdens prototyping en varia pitches. Een demo sneller realiseren dmv autogenerated/prefab-meuk levert tijd op die je kan gebruiken voor interessantere dingen zoals je gameplay fatsoenlijk tweaken.

[Znorkus]

Dat is een heel goede use case ja. Goed punt.

[Stijnvi]

Jammer dat de gamedevelopers zich niet realiseren dat het niet gaat om de snelheid waarmee je game objecten kan genereren.

Heel veel generieke auto-generated meuk =/ een goede game.

Daar ben ik het niet mee eens
Als je een enorm grote game hebt met veel 'simpele' objecten, dan is dit natuurlijk ideaal
Devs kunnen hierdoor meer tijd besteden aan de gameplay, en hoeven niet meer duizenden uren te besteden aan het ontwerpen van verschillende motoren, honden, gevels, bomen etc.
De verhoogde productiesnelheid van simpele objecten maakt juist dat er meer aandacht besteed kan worden aan gameplay en gecompliceerde objecten, wat zorgt voor een betere game

[SilverRST]

Dat zou wel handig zijn voor open-world games zoals GTA. Nooit meer dezelfde npc's bijvoorbeeld.

[Carn82]

Daar gaat het uiteindelijk wel heen natuurlijk. Unreal heeft bijvoorbeeld Metahuman (vooral bedoeld voor ontwerp en animatie/rigging); kwestie van tijd dat zoiets random & realtime in een 3D-omgeving ingezet kan gaan worden. In feite zit je dan meer richting procedurele generatie aan waarin op basis van een stel parameters de hele 3D-scene inclusief objecten en karakters gerenderd kan worden. Nadeel is dat je dan wel al vaak bepaalde patronen en variaties gaat herkennen (zie ook No Man's Sky).

[Zoop]

Procedurele generatie is een krachtige tool, maar moet wel goed toegepast worden. Imo, doet No Man's Sky dat dus niet goed. De game leunt er te sterk op, de game verwacht dat de generator praktisch alle content genereert. Voordat dit ECHT goed wordt, zijn we wel heel veel verder. Is beetje zoals de AI's die verhalen kunnen schrijven, het is echt knap voor een alineaatje ofzo, maar verwacht je dat de AI een heel boek gaat schrijven dan krijg je toch echt hele wazige resultaten. Creativiteit is verdomd moeilijk te programeren, kijken naar bestaande voorbeelden en die combineren is vaak wat zo'n AI doet.

Dit soort AI gebruiken voor wat meer lokalere dingen, zoals inderdaad randomized NPC's, zal veel sterker overkomen dan complete landschappen laten produceren (en dat die landschappen dan ook game-technisch daadwerkelijk leuk zijn om te spelen, alsin, actual level design ipv random bergen en bomen).

[Carn82]

oh helemaal mee eens 'we zijn er nog lang niet'.

Ik vind No Mans Sky een leuke game, maar zoals je zegt leunt men enorm op procgen (gezien het kleine team ook wel logisch) en daardoor worden de valkuilen snel duidelijk. De menselijke creativiteit zal mijn inziens altijd nog wel nodig blijven om goed te kunnen filteren op kwaliteit en samenhang en bepaalde creatieve/artistieke intenties. Ik hoop vooral dat AI simpelweg tijd gaat besparen zodat mensen meer tijd kunnen besteden aan datgene waar mensen goed in zijn.

[Iblies]

Dan loop je al tegen twee problemen aan;

meer en meer games willen naar beperkingen en/of (beperkte) NFT’s om meer inkomsten te genereren,

daarnaast loop je ook tegen copyright aan en dat eigenaren die rechten komen opeisen,

mooi voorbeeldje gisteren was dat Ted Lasso gaat voetballen in EA,
nieuws: Ted Lasso en AFC Richmond zijn speelbaar in FIFA 23
dat is gewoon een overeenkomst om name en beeldrechten te gebruiken,

maar je hebt ook vb Nikes die NFT’s wil gaan verkopen oa in Meta (werelden?).


Het lijkt heel mooi, maar het is maar afvragen hoe dat in werkelijkheid zal aflopen en de mogelijke achterliggende problemen die er achter zitten.

[Martinspire]

Ik denk dat dat nog wel wat te ver gaat, maar een game als GTA kan het wel gebruiken voor assets waar je niet echt bij kunt komen, zoals objecten op een balkon of achter de ramen van gebouwen. Items die niet heel gedetailleerd hoeven te zijn, maar waar je er wel veel verschillende van wilt hebben.

Een RTS game kan ook een mooiere omgeving maken als ze niet zoveel tijd kwijt zijn aan al die losse assets die eigenlijk alleen maar dienen als opvulling. Of lineaire games.

En verder dingen waar je het verschil niet in ziet. Zoals de vormen en textures van rotsen. Dat komt eigenlijk niet zo nauw en kun je in veel verschillende afmetingen en variatie in rotaties gebruiken. Als zo'n tool dan 200 van die stenen kan genereren, scheelt dat ook weer tijd.

Het is de vraag hoe nuttig het ingezet gaat worden. Gaat een grote dev zijn objecten uitbreiden, of wordt het straks vooral door de luie ontwikkelaars of hele kleine studio's gebruikt die daarmee geen kant en klare assets hoeven te gebruiken maar gewoon lekker genereren en random neerpleuren.

[bones]

Wanneer is deze tool beschikbaar? ik zou het wel willen gebruiken voor objecten die ik in blender kan importeren.

[Khiu]

https://github.com/nv-tlabs/GET3D

2022-09-22: Code will be uploaded next week!

[DropjesLover]

Als je in een virtuele wereld naar een object generating station kan gaan en daar vraagt om een hond, en dan het resultaat kan finetunen (ietsje kleiner, die en die kleur, lange snuit, korte pootjes, en zo bijv. bij een Corgi uit komt zonder dat je een Corgi als naam van dat ras kende), dat zou geweldig zijn.
Of een auto en uitkomen bij een custom batmobile, ofzo.
Dat zou enorm helpen met unieke content voor en door gebruikers om de wereld te vullen die levendig en vol aanvoelt.

Het moet geen AI zijn die x rassen en x vormen random door elkaar husselt en zo je Skyrim NPC's geeft.

[Slashdotter]

Kunnen de gegenereerde objecten ook realistisch bewegen? Dus een konijn die hupt, een tijger die sluipt, een olifant die met de slurf beweegt

[Reactie gewijzigd door Slashdotter op 22 juli 2024 14:21]

[Tjeerd]

Nog meer filmpjes van AI-gegenereerd spul (waaronder ook Nvidia) bij onze grote vriend te vinden van 2 minute papers. Aanrader om te weten wat er speelt op dat gebied qua (AI) beeldverwerking. Wat duidelijk is, is dat de ontwikkelingen ook hier exponentieel gaan. "What a time to be alive"

[Reactie gewijzigd door Tjeerd op 22 juli 2024 14:21]

[korenpc]

Nvidia heeft een demonstratie filmpje laten zien met Morrowind. Echt heel indrukwekkend, en super enthousiast natuurlijk, dat Morrowind nog een extra overhaul krijgt.....


https://m.youtube.com/watch?v=R37VjsMgWP8

[Leon81]

Zou me niks verbazen als dit soort technieken tegenwoordig worden toegepast bij het maken van bv Marvel films. Geen orginaliteit meer te ontdekken. Zorgelijke ontwikkeling.

[langestefan]

Hoezo is het dan niet meer origineel?