Nvidia komt met Canvas-app die schetsen omzet in fotorealistische afbeeldingen

Nvidia brengt Canvas uit. Deze app zet schetsen om in fotorealistische afbeeldingen van landschappen. Canvas werkt op alle Nvidia RTX-gpu's en wordt een onderdeel van Nvidia Studio, waarin ook Nvidia Broadcast en Omniverse verwerkt zitten.

Nvidia brengt Canvas uit als gratis app. Het programma bevindt zich momenteel nog in een bètafase. Canvas is gebaseerd op GauGAN, een soort AI-schildertool die Nvidia ontwikkelde met 5 miljoen afbeeldingen als referentiemateriaal. Nvidia toonde in 2019 al een demo van GauGAN, die vergelijkbaar is met de uiteindelijke Canvas-app.

De app laat gebruikers tekenen met 'materialen' in plaats van kleuren. Gebruikers kunnen bijvoorbeeld een penseel met 'gras' selecteren. Penseelstroken met die kwast worden vervolgens automatisch omgezet naar het materiaal in kwestie. GauGAN maakt het eindresultaat daarvan zo realistisch mogelijk met behulp van AI.

Nvidia Canvas
Canvas zet schetsen om in fotorealistisch afbeeldingen. Bron: Nvidia

De bètaversie van Canvas heeft negen 'stijlen' en vijftien verschillende materialen, waaronder water, rotsen, de lucht, wolken en sneeuw. Gebruikers kunnen het eindresultaat opslaan als png-afbeelding. Gebruikers kunnen er ook voor kiezen om de afbeelding te exporteren als .psd-bestand, waarmee de afbeelding verder bewerkt kan worden in Adobe Photoshop. Gebruikers met een Nvidia GeForce RTX-, Quadro RTX- of Titan RTX-gpu kunnen Canvas vanaf woensdag downloaden. De app werkt alleen op Windows 10 met een Nvidia 445.0-driver of hoger.

Verder komt Nvidia onder andere met updates voor de Substance 3D Collection van Adobe. Die collectie bestaat uit verschillende apps waarmee gebruikers 3D-artwork kunnen maken. Daar komt met de nieuwe update onder andere een Substance 3D Stager bij. Die nieuwe app wordt gebruikt om 3D-objecten in realtime te plaatsen en aan te passen. Daarbij wordt raytracing ingezet voor de verlichting en schaduwen.

Verder krijgen de Nvidia Studio-drivers ondersteuning voor resizable bar voor GeForce RTX 30-gpu's. Daarmee kan de cpu in een keer het complete geheugen van de videokaart benaderen. Normaliter kan dat alleen met 256MB tegelijk. De techniek staat ook wel bekend als Smart Access Memory, de marketingterm die AMD hiervoor hanteert. De functie was al beschikbaar in de Game Ready-drivers van Nvidia. De Studio-driver krijgt ook ondersteuning voor dynamic boost 2.0 en gpu-passthrough voor virtuele machines.

Door Daan van Monsjou

Nieuwsredacteur

23-06-2021 • 21:11

48

Reacties (48)

48
47
21
4
1
18
Wijzig sortering

Sorteer op:

Weergave:

Die 1e link laat hier de AV en Firefox zich wel achter de oren krabben. AV waarschuwt en Firefox wil hem hier niet laden.

[Reactie gewijzigd door Xfade op 22 juli 2024 14:19]

Heb je add-on geïnstalleerd of instelling aanstaan die ervoor zorgt dat http automatisch naar https doorgestuurd wordt? Zet dat uit en probeer nog eens de http url.
Je kan ook gewoon je pasfoto gebruiken.
Het wordt steeds enger en ook mooi. Wat is straks nog echt? De grens wordt vager. Meer fakes…
Het heeft nog enigszins werk nodig :D

https://i.imgur.com/UYEvrU8.png
https://i.imgur.com/f50jjuY.png

[Reactie gewijzigd door SherlockHolmes op 22 juli 2024 14:19]

Ik vind het juist wel geinig, een beetje een kruising tussen Escher en Dali :)
Fotosurrealisme :Y)
Je moet dat huis vol maken want nu denkt hij dat in het huis lucht zit :p
Edit: Ah heb je bij de tweede gedaan maar wel twee dingen over elkaar. Lukt ook niet zo goed. Ik heb er ook nog niks beter uit gekregen, wel leuk om 5 min mee te spelen.

[Reactie gewijzigd door Paterpor op 22 juli 2024 14:19]

Die eerste zou wel kunnen doorgaan als een hoesplaat.
Bedoel je een plaathoes?
Nee een hoesplaat... een plaat... voor op de hoes... van een lp

;)
Het wordt steeds enger en ook mooi. Wat is straks nog echt? De grens wordt vager. Meer fakes…
Ja vind ik ook, woord er niet makkelijk door, maar op YouTube zie je video's van bekende mensen die dingen zeggen die ze nooit gezegd hebben, en je ziet en hoort het niet dat het niet echt is, het is dat er Deepfake bij staat want anders...

https://www.youtube.com/watch?v=iyiOVUbsPcM

[Reactie gewijzigd door BamiJamJam op 22 juli 2024 14:19]

Dit specifieke voorbeeld wordt dan ook gedaan door iemand die heel goed Tom Cruise kan nadoen in bewegingen en stem. Eigenlijk een Tom Cruise impersonator die een digitaal masker op heeft.

Maar het punt blijft wel staan. Want hoewel dit full hd beschikbaar is, zijn we inmiddels zo gewend aan de matige kwaliteit van videobellen dat je met veel minder al kan wegkomen.
Dit specifieke voorbeeld wordt dan ook gedaan door iemand die heel goed Tom Cruise kan nadoen in bewegingen en stem. Eigenlijk een Tom Cruise impersonator die een digitaal masker op heeft.

Maar het punt blijft wel staan. Want hoewel dit full hd beschikbaar is, zijn we inmiddels zo gewend aan de matige kwaliteit van videobellen dat je met veel minder al kan wegkomen.
Precies, ja.
De film 300 gezien?? Geloof dat ze met 25 man op de set stonden maar het leken wel 300 :+.

De technieken die 10/15 jaar geleden nog alleen aan grote film producenten toegekend waren. Wordt betaalbaarder en komt nu ook bij ons thuis.

Eng?? Nahh kan je over discussiëren, met een hamer kan je mooie dingen maken als tool. Maar kan kwaadaardig gebruikt worden. En wie heeft er nu niet een hamer in huis?s
Game of Thrones is ook helemaal zo gemaakt, ooit docu van gezien. Echt indrukwekkend hoe ze zomaar indrukwekkende achtergronden en mensenmassa's erbij toverden, en dat bijna in realtime...
Er is laatst een kopie van een schilderij verkocht voor bijna 3 miljoen. Ik meen een Mona Lisa. Een kopie of fake kan dus veel geld waard worden :)
Volgens de gaande theorie dat we in een simulatie leven... niks was al echt om te beginnen :+
Dit vind ik erg gaaf! Zou het graag willen proberen, maar heb helaas de luxe niet om een 30 series RTX kaart in mijn PC te hebben. Ben content met mijn GTX1070, maar zie langzaam dat ik steeds meer dingen (waaronder dus dit) niet meer kan.. Hoop stiekem best wel dat dit programma na updates ook bruikbaar word op de 10 series GTX kaarten.
Die luxe heb je mischien niet, maar wel het geluk dat GauGAN gewoon gerendered wordt door nvidia zelf, je kan het gewoon site doen, :)

http://nvidia-research-mingyuliu.com/gaugan/

Wellicht dat de Client versie tzt wel lokaal gerendered wordt? we'll see...

Edit: na nogmaals lezen, lijkt het me wel als je woensdag de Canvas app (GauGAN client) kan downloaden voor RTX bezitters.. :)

[Reactie gewijzigd door Larsb8 op 22 juli 2024 14:19]

Dit is wel heel bizar, ik moest echt even kijken of het geen 1 april was.
Dit is perfect voor bulk werk, maar als artiest wil je toch alles echt zelf gedaan hebben dunkt me.
Ligt eraan hoe uitgebreid het is/wordt denk ik. En je kunt de basis erin maken en vervolgens verder gaan met Photoshop. Dus zelfs voor de niet bulk een zeer handige tool lijkt me
Het doet geen kleine eekhoorns :/
Jammer zeg, alleen Windows :|
Het zou zo tof zijn als ze dit soort dingen nou eens open source en cross platforn beschikbaar zouden maken.

[Reactie gewijzigd door delphium op 22 juli 2024 14:19]

Hele tijd geleden heb ik dit toch op ubuntu gezien?
Deze: https://www.engadget.com/...odles-photorealistic.html
Dit ziet er leuk uit zeg, ik ga het doorsturen maar mijn D&D DM. Die gaat dit vast geweldig vinden om background scenery mee te maken voor in Roll20.
Als het ook top-down zou kunnen werken is het ideaal voor maps maken ja!
Doet me een beetje denken aan VistaPro op de Amiga… eh.. 30 jaar geleden 😬
Oh no, 30 jaar alweer. Half uur wachten op een plaatje.
En nu de Nachtwacht als 'schets'! Ja ja, cultuurbarbaar enzo. Maar ik ben benieuwd.
Toevallig... De Rembrandt zoals die in het museum hangt is een verkleinde versie, d'r is een stuk afgehaald. Met AI (en foto's van een volledige replica) hebben ze hem weer volledig gemaakt: https://www.theguardian.c...ht-watch-to-original-size
Flinke download! 1.1GB
Zal wel 1.0GB aan ML models zijn.
Je hoeft het tenminste tegenwoordig niet meer met een 14k4 modempje te doen...

Op dit item kan niet meer gereageerd worden.