Nvidia-ai genereert werkende rijsimulator op basis van echte beelden

Het is al een tijdje mogelijk om ai te gebruiken om renders te maken. Nvidia heeft op dit vlak naar eigen zeggen een doorbraak bereikt. Het bedrijf is er namelijk in geslaagd om de eerste videogame-demo te maken met ai-gegenereerde graphics, op basis van bestaande videobeelden.

Nvidia meldt dat het de toegepaste kunstmatige intelligentie heeft getraind op bestaande videobeelden. De uiteindelijke demo is een simpele rijsimulator, waarbij uitstappen of andere interacties met de wereld niet mogelijk zijn. Ook de graphics zijn niet geweldig, maar desondanks is het resultaat vrij bijzonder.

Volgens The Verge hebben de softwareontwikkelaars van Nvidia de ai deels gebaseerd op Pix2Pix. Dit opensourcesysteem probeert tekeningen om te zetten naar levensechte portretten en is gemaakt door ontwikkelaars van de Universiteit van Berkeley. Daarnaast maakt Nvidia's ai gebruik van een generative adversarial network-algoritme.

Het proces van het renderen begint bij het verzamelen van beeldmateriaal. Vervolgens wordt dat opgedeeld in verschillende frames met elk een eigen categorie, zoals de bomen, de lucht en gebouwen. Daarna laat men het generatie adversarial network de frames analyseren, waarna het zelf zijn eigen versie van de frames genereert. Voor het trainen van de ai zijn onder meer Nvidia Tesla V100-gpu's gebruikt; volgens Nvidia was het creëren van de rijsimulator niet mogelijk zonder Tensor-cores.

Op deze manieren hebben de ontwikkelaars een virtuele omgeving gecreëerd met behulp van een engine, in dit geval de Unreal Engine 4. De deep learning-algoritmes gebruiken deze omgeving om graphics voor elke categorie in real time te genereren en deze op de door de engine gemaakte modellen te plakken.

Voor het tonen van de demo is een enkele, zeer krachtige gpu gebruikt: de Titan V. Desondanks blijft de framerate op 25 beelden per seconde en door de ai veranderen de textures per frame. Het is nog niet heel mooi om naar te kijken, maar Nvidia benadrukt dat de technologie nog in de kinderschoenen staat. Bryan Cantazaro, onderdirecteur van Nvidia's afdeling applied deep learning, zegt dat het nog tientallen jaren kan duren voordat het op de markt komt.