Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Nvidia-ai genereert werkende rijsimulator op basis van echte beelden

Het is al een tijdje mogelijk om ai te gebruiken om renders te maken. Nvidia heeft op dit vlak naar eigen zeggen een doorbraak bereikt. Het bedrijf is er namelijk in geslaagd om de eerste videogame-demo te maken met ai-gegenereerde graphics, op basis van bestaande videobeelden.

Nvidia meldt dat het de toegepaste kunstmatige intelligentie heeft getraind op bestaande videobeelden. De uiteindelijke demo is een simpele rijsimulator, waarbij uitstappen of andere interacties met de wereld niet mogelijk zijn. Ook de graphics zijn niet geweldig, maar desondanks is het resultaat vrij bijzonder.

Volgens The Verge hebben de softwareontwikkelaars van Nvidia de ai deels gebaseerd op Pix2Pix. Dit opensourcesysteem probeert tekeningen om te zetten naar levensechte portretten en is gemaakt door ontwikkelaars van de Universiteit van Berkeley. Daarnaast maakt Nvidia's ai gebruik van een generative adversarial network-algoritme.

Het proces van het renderen begint bij het verzamelen van beeldmateriaal. Vervolgens wordt dat opgedeeld in verschillende frames met elk een eigen categorie, zoals de bomen, de lucht en gebouwen. Daarna laat men het generatie adversarial network de frames analyseren, waarna het zelf zijn eigen versie van de frames genereert. Voor het trainen van de ai zijn onder meer Nvidia Tesla V100-gpu's gebruikt; volgens Nvidia was het creren van de rijsimulator niet mogelijk zonder Tensor-cores.

Op deze manieren hebben de ontwikkelaars een virtuele omgeving gecreerd met behulp van een engine, in dit geval de Unreal Engine 4. De deep learning-algoritmes gebruiken deze omgeving om graphics voor elke categorie in real time te genereren en deze op de door de engine gemaakte modellen te plakken.

Voor het tonen van de demo is een enkele, zeer krachtige gpu gebruikt: de Titan V. Desondanks blijft de framerate op 25 beelden per seconde en door de ai veranderen de textures per frame. Het is nog niet heel mooi om naar te kijken, maar Nvidia benadrukt dat de technologie nog in de kinderschoenen staat. Bryan Cantazaro, onderdirecteur van Nvidia's afdeling applied deep learning, zegt dat het nog tientallen jaren kan duren voordat het op de markt komt.

Door Los Franx

Stagiair nieuwsredactie

04-12-2018 • 17:14

42 Linkedin Google+

Reacties (42)

Wijzig sortering
Ik vind de kop wat kort door de bocht. De Ai heeft zelf niet op basis van echte beelden een simulator gemaakt. Deze beelden zijn eerst handmatig bewerkt, om zo de AI iets te geven waar het echt wat mee kan. Maar het gaat dan ook niet verder dan...input boom, maak iets dat op een boom lijkt, input auto, maak iets dat op een auto lijkt.
Deze beelden zijn eerst handmatig bewerkt,
Nee, ze hebben dezelfde routines gebruikt die ze voor automotive hebben gemaakt. Een boom of een auto herkennen hoeft echt niet meer handmatig gestuurd te worden.

Verleden week wilde Tesla wat beelden hebben van een complexe situatie die ik had meegemaakt en waar de auto volgens mij incorrect op reageerde. In de 3 minuten die beschikbaar waren heeft de auto de volgende 'objecten' herkend:
  • 32 personen)
  • 188 personenauto's
  • 12 busjes
  • 1 vrachtautos
  • 3 motorfietsen
  • 22 rijbaan blokkerende objecten
Druk inderdaad maar het was dan ook hartje Londen.

Dit is wel zeker een enorme stap voorwaarts. Stel je voor dat je in zeer dichte mist een dergelijk beeld kan gebruiken!

[Reactie gewijzigd door falconhunter op 4 december 2018 18:05]

Off-topic maar in die Tesla, kun je dat naderhand nog gewoon uploaden naar ze of zo?
Als je tegen de stembediening in de Tesla "bug report" zegt en een korte beschrijving wat er gebeurt/gebeurde, wordt er een bericht naar Tesla gestuurd met alle data van de laatste paar minuten/tientallen minuten. Geen idee hoeveel data precies wordt verzonden, maar de data en je beschrijving worden door iemand bij Tesla bekeken en wordt o.a gebruikt om AutoPilot te verbeteren.

https://twitter.com/elonmusk/status/1001870372403167232
(...) To report a bug or ask for a feature, press voice button, say “bug report” followed by issue description.

[Reactie gewijzigd door matroosoft op 4 december 2018 21:06]

Dat is pas echt amazing. Nog nooit geweten...
Waarom loopt een auto blijkbaar voor op de meeste besturingssystemen?
De meeste besturingssystemen kunnen dit al jaren, alleen klikt iedereen op annuleren als gevraagd wordt om een rapport te sturen.
Wat om privacyredenen niet eens onverstandig is.
Ja... zelfs dat ‘Probleem Verzenden’ onder Windows crashed nogal eens tijdens het verzamelen... Hah!
Ik vermoed dat specifiek dat venster het probleem is waarom iedereen de meeste van die "report bug" vensters weg klikt ;-) :Y)
Geen idee, maar als ie in 50% van de gevallen zlf crashed terwijl dat ding alleen naar voren komt als er al wat anders gecrashed is ben ik er vrij snel klaar mee....
En binnen enkele jaren maakt dit het mogelijk om aan de hand van Google Streetview beelden een 3D wereld te genereren. Gaat pas echt leuk worden als men dat in games gaat steken.
Hehe, eindelijk GTA in Rotterdam of Amsterdam... Of een oorlog spel in Den Haag.
Gele hesjes oorlog op het Binnenhof. :Y)
Het is nog wel Nederland, dus op het malieveld.
Eindelijk dan een waardig opvolger voor A2 racer 2.
Hah wauw! Die spellen heb ik thuis nog! A2 racer de politie slaat terug, en vakantie racer.

KLASSIEKERS!
Dat was ook het eerste waar ik aan dacht, virtueel rondrijden over heel de wereld…
Met slecht ontwikkelde NPCs die onbegrijpbare handelingen doen in het verkeer.. net echt dus :)
ik verwacht dat ze vast wel pacman 3d gaan doen later
zoals:
https://www.youtube.com/watch?v=IxoLTgI0_F4
Je hebt toch ook een basis nodig van iets voor dat je er iets zelf van kan maken (genereren)


input vliegtuig, maak iets dat op een boom lijkt.
ja wat is een boom, ik heb alleen geleerd wat een vliegtuig is...
ok.. dit is scary!!!! 'it was not me' zegt hij al lachend! Slik.
Straks kunnen ze je nog vals beschuldigen van een delict en dan kunnen ze zo een bewijs fabriceren.
De vraag is inderdaad niet of dit in toekomst mogelijk is. Maar hoeveel tijd je nog hebt om issues als dit op te vangen.
Hah, busted wrong place, wrong time!

Best eng inderdaad, ik zie het al voor me dat we bijvoorbeeld geen bewijs meer kan leveren met een normale video. Er zouden dan alternatieve verificaties moeten komen zoals heat map of zoiets in dergelijk?

[Reactie gewijzigd door ilaurensnl op 4 december 2018 18:13]

Maar in de trant van fake news en "iedere technologisch ontwikkeling wordt gaande weg misbruikt door kwaadwillende", is dit systeem dus wel erg riskant? Als de grafische weergave verbeterd, kan iedereen misleid worden door bijvoorbeeld te denken dat er iets gebeurt in de wereld; delen op facebook en hele volksstammen zullen het geloven. Denk dat deze technologie nog wel wat haken en ogen gaat krijgen :Y)
Dat is niet zo moeilijk.Youtube staat al vol met AI gegeneereerde 'fake' video's:
Voorbeeld van Obama:
https://www.youtube.com/watch?v=cQ54GDm1eL0
De grap is dat iedereen met een thuis pc dit soort dingen kan maken.

Ps, je kunt ook een nep porno maken met iedereens gezicht:
https://www.theverge.com/...ebrities-machine-learning
Veel bekende "pop" sterren hebben hier last van.
Straks zien we nagemaakte cc-tv beelden met een totaal andere inbreker dan de echte.
Rockstar kijkt u mee?
De eerste PC die GTA 4 met 60 FPS kan draaien moet nog gemaakt worden :+
Qu? Dat lukt al prima. Op 8K wordt dat een ander verhaal misschien ;)
Zelfs op 8K met een 1080Ti is het haalbaar, heb hiervoor DSR 'gehacked' om 8K bruikbaar te maken op een 2560x1440 scherm:
https://imgur.com/a/YNP7g

En dan is dat nog maar met een niet-overklokte Sandy-E processor.
Night shadows staat trouwens uit vanwege de extra CPU-bottleneck, zelfde geldt voor de view distance die wat lager staat.

[Reactie gewijzigd door CriticalHit_NL op 4 december 2018 19:40]

Nice, Ik krijg GTA4 niet eens meer normaal gestart op Windows 10...
Komt waarschijnlijk omdat Securom DRM standaard in Windows 10 niet langer ondersteund wordt maar volgens mij moet de Steam versie daar geen last van hebben.
In Windows 7/8.1 kon je tenminste nog kiezen om deze patch niet te installeren, telt volgens mij ook voor de oude Safedisc DRM en had wat te maken met beveiligingsproblemen.

En je zal waarschijnlijk de Games for Windows Marketplace applicatie moeten installeren...
Bij de DVD versie is het zo erg dat de installatie niet doorlopen kan worden door een falende release-date check, je moet hiervoor de systeemtijd wat jaren terug zetten. (ik denk voor 2013)

Al met al je moet door een hoop hoepels heen springen door die debiele DRM maatregelen om het nog enigszins speelbaar te krijgen. |:(
What is the Matrix?
Welcome to the desert of the Unreal Engine
Eerste indruk: gaaf om te zien en “scary” tegelijk. Andere kant.... wow wat zijn die graphics enorm ....ruk... ja ruk, alsof je 20 jaar terug de tijd in gaat. Ik had toch wel iets betere kwaliteit verwacht van de engine of zullen ze het bewust zo hebben gemaakt voor deze video?

Desalniettemin; knap staaltje techniek!
Nee, dat hebben ze niet bewust zo gemaakt. De huidige computertechniek heeft gewoonweg nog niet genoeg power om het echt realistisch te maken.
De mogelijkheden voor historische beelden zijn natuurlijk geweldig. Je kan hiermee in theorie een wayback machine maken van ieder stukje aarde als er maar video van is. Stel je voor dat je in VR rond kan lopen in je geboortestad toen je geboren was. Of Amsterdam in de jaren 60/70/80.

ps. een soortgelijk filmpje dat hij zijn collega heeft laten dansen is hier te vinden:
https://www.theverge.com/...ideo-dancing-ai-synthesis
Ook erg indrukwekkend. Stel je voor dat je dit straks gewoon met een telefoon kan doen!
Vooral het volgende stuk is echt indrukwekkend:
https://youtu.be/PCBTZh41Ris?t=51
Euro Truck Simulator 3, maar dan in een virtuele AI wereld!
Can't wait! :9~
Eerst Deepfake en dan nu weer een stapje verder met dit. De mogelijkheden zijn eindeloos? Ik kan in ieder geval niet wachten op de allereerste aankondiging van de holodeck.


Om te kunnen reageren moet je ingelogd zijn


Apple iPhone XS Red Dead Redemption 2 LG W7 Google Pixel 3 XL OnePlus 6T (6GB ram) FIFA 19 Samsung Galaxy S10 Google Pixel 3

Tweakers vormt samen met Tweakers Elect, Hardware.Info, Autotrack, Nationale Vacaturebank en Intermediair de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2018 Hosting door True