VLC krijgt ondersteuning voor Nvidia RTX Super Resolution

Mediaspeler VLC krijgt woensdag een update waarmee de software RTX Super Resolution kan ondersteunen. Zo kan de mediaspeler de beeldkwaliteit van video's upscalen. Voor de functie is een Nvidia RTX 30- of RTX 40-kaart vereist.

Wanneer gebruikers binnen de Nvidia Control Panel RTX Super Resolution hebben ingeschakeld, zal de mediaspeler dit herkennen en de upscalingtechniek toepassen op video's. Dat schrijft onder meer The Verge. De RTX Super Resolution-ondersteuning moet woensdag 12 april verschijnen bij VLC-versie 3.0.19.

Eerder dit jaar kregen Chrome en Edge ondersteuning voor Nvidia's upscalingstechniek. RTX Super Resolution verbetert de beeldkwaliteit met machinelearning en kan artefacten verwijderen of de resolutie verhogen.

Reacties (56)

[Johannes99]

Ik zou niet weten waar The Verge die releasedatum van 12 april vandaan heeft voor VLC 3.0.19. Die hele datum wordt niet genoemd in het gelinkte artikel. De tag is nog niet eens gepublished op GitLab.

Ja, er is momenteel een merge request gaande die tracht om RTX Super Resolution toe te voegen. Maar dit wordt eerst aan de 4.0-development versie toegevoegd, alvorens het aan de 3.0-versie wordt toegevoegd. Aangezien het er nog niet op lijkt dat deze MR voor de 4-0-versie binnen een dag wordt doorgevoerd, lijkt het me sterk dat de 3.0-versie op 12 april al de functionaliteit bevat.

[Xfade]

De RTX Beta is gisteren wel beschikbaar gesteld. https://downloads.videola....0.19-nvidia-upscaler2.7z

Even getest: Je kan het redelijk goed zien bij dvd rips (720x576 h264 MPEG-4 AVC MKV) op een 1440p monitor. Het weet redelijk de compressie artifacts weg te halen.

De gpu (4080) verbruikt hier voor 32 Watt, temperatuur gaat slechts 2 graden omhoog boven idle.. Fans bleven gewoon uit. Load geeft hij op 20%.

[Reactie gewijzigd door Xfade op 24 juli 2024 18:21]

[M!chel]

Een dag later inmiddels, en nog steeds geen update.
Ik ben toch wel benieuwd hoe mijn 1080p films en series er straks uit gaan zien op mijn 1440p monitor.

[MegaMGamer]

Toevallig net een oude harde schijf met filmpjes van vroeger gevonden. Ik ben benieuwd of de kwaliteit daarvan een beetje verbeterd zou kunnen worden.

[JBVisual]

Er zijn ook genoeg andere tools die erg goed de resolutie kunstmatig kunnen verbeteren. De ene tool is er wat beter in dan de andere en ook de snelheid waarmee het gebeurd verschilt enorm (los van AI in de cloud en de snelheid van je pc)

[sdkoning]

Oh nog niet bij stil gestaan, heb je wellicht hiervoor enkele aanbevelingen die je kunt geven?

[Reactie gewijzigd door sdkoning op 24 juli 2024 18:21]

[JBVisual]

Die vraag is niet direct goed te beantwoorden omdat er veel verschillende doelgroepen en wensen zijn.

Er bestaat software van duizenden euro’s op maandbasis tot gratis software, en alles wat daar tussen zit.
Je kan nagaan dat een AI in de cloud die je afbeeldingen kunstmatig verbeterd (of zelfs vervangt) niet gratis kan draaien.

Ik ben ook van de stempel dat “niks is gratis” en vraag me wel eens af wat het verdienmodel is van de “gratis” cloudtools hiervoor.

Er is een gratis tool die lokaal draait en waarvan de broncode ook op GitHub staat:
https://github.com/k4yt3x/video2x

Voor alle andere zou ik zeggen om even Google te gebruiken. Ik wil hier geen reclame maken voor een tal van betaalde tools terwijl er zoveel goede alternatieven zijn.

Zelf maak ik namelijk gebruik van een tool die me aardig wat kost (prijsklasse consument), maar ik echt mooie dingen mee heb bereikt.

Zo heb ik een trouwvideo van mijn opa en oma, die nog opgenomen is in 1954.
-Beeld naar 4K opgeschroefd
-Het stotterende beeld opgehoogd naar 60fps
-De ruis en witte ouderdom strepen weggefilterd
-Kunstmatig zelf redelijk correct de beelden in laten kleuren.

Deze tools hebben wat dat betreft nog heel veel te bieden, en ik vermoed dat ze in de toekomst nog meer kunnen dan ze nu al doen.

[JBVisual]

Hoezo is de video nep.
Kleur van pakken zijn te bepalen op de grijstint icm met de locatie en het jaar en maand van het jaar.
Mocht er dan alsnog iets niet kloppen kan je dat handmatig aangeven. Zo is oogkleur iets wat bijna niet te doen is voor de software, waarop ik aan geef dat persoon x deze oogkleur heeft, waarop de AI deze persoon de rest van de video ook zodanig deze kleur geeft.

Bloemen worden herkent op basis van grijstint en vorm, bomen worden ook als zodanig herkent en op basis de maand in het jaar worden deze ook juist ingekleurd.

Er zijn ontzettend veel algoritmes die dit ontzettend goed kunnen, waarom is de video dan opeens nep?
Is een mooie foto van jezelf en je partner waarop je die ene persoon in de achtergrond weg knipt ook nep?

het verbeteren van foto's en films gebeurd al zeer lang, en algoritmes gebruiken om een video te verbeteren is ook gewoon iets wat in mijn ogen prima moet kunnen zonder dat deze opeens nep is.

[bzuidgeest]

Het is nep omdat jij de oogkleur moet aangeven. Weet jij zeker hoe die persoon zijn oogkleur was? Heb jij iemand gezien die 100 jaar dood is?
Je neemt dingen aan op basis van maand en dag en jaar. Dus die gegevens moet je al nauwkeurig hebben, plus een correct meteorlogisch rapport etc etc. en dan nog blijft er een foutmarge over.
Het kan er best mooi uitzien, maar het blijft toevoegen wat er oorspronkelijk niet was en wat niet 100% nauwkeurig bepaald kan worden.

Als een museum een beeld repareert waar een torso en een hand van is dan is de arm een andere kleur. Waarom? Omdat ze laten zien dat de arm iets is dan hun hebben verzonnen, hij is nep, het origineel is vaak al eeuwen door niemand gezien en niemand weet zeker hoe het er uit zag, Dat maakt het nieuwe stuk niet lelijk, maar ook niet origineel.
.
Wikipedia maakt onder film preservation het heel duidelijk:
Film preservation is not to be confused with film revisionism,[3] in which long-completed films are modified with the insertion of outtakes or new musical scores, the addition of sound effects, black-and-white film being colorized, older soundtracks converted to Dolby stereo, or minor edits and other cosmetic changes being made.[4]

Het is dus revisionism en niet preservation ofwel restauratie

Is een mooie foto van jezelf en je partner waarop je die ene persoon in de achtergrond weg knipt ook nep?

Absoluut in de zin dat het niet de origineel gefotografeerde scene is en een persoonlijke herinterpretatie.

[Reactie gewijzigd door bzuidgeest op 24 juli 2024 18:21]

[AndrewF]

Als je zo redeneert dan "verzint" elke camera informatie. Zelf je ogen "verzinnen" informatie. Wat je ziet is de lichtinval op je netvlies + de interpretatie van die signalen door de visuele cortex in je hersenen. Die sensoren en signal processing verschillen van mens tot mens.

Upscalen, inkleuren en smoothen van oude video's verbeteren de perceptie en ervaring van wat je ziet. Het is zeker mogelijk dat er in sommige details artefacten komen die er in de realiteit niet waren, maar dat is ook zo met gewone camera's en menselijke ogen.

De herinneringen die je hebt van vroeger worden in je brein ook niet helemaal waarheidsgetrouw opgeslagen.

[bzuidgeest]

Jij hebt het over conversie error, maar zelf met dat is er een oorspronkelijk resultaat van de camera. De error van lichtconversie naar digitaal door de camera is een eigenschap van de originele camera. film verteerd en dus moet op een gegegeven moment worden gedigitliseerd. Dat is niet te voorkomen. In de geschiedenis van de film komt een nieuwe stap erbij, maar die bevat alleen de digitalisering ( en bijkomende errror)

Wikipedia zijn artikel over film preservation maakt een heel duidelijk statement. Dingen als zwart-wit film in kleuren valt onder film revisionism en niet film preservation. Er is met beide niets mis, maar je moet het beestje wel bij zijn naam noemen.

[dstyle_nl]

Een zwart wit film in lage kwaliteit is denk ik nepper dan een door ai aangepaste versie. Die ziet er realistischer uit namelijk.

We zien namelijk in kleur

[Reactie gewijzigd door dstyle_nl op 24 juli 2024 18:21]

[bzuidgeest]

Dat is niet het soort nep waar ik het over heb. Zwart wit is namelijk het originele resultaat van de gebruikte camera en de wobble zat in het originele werk van de cameraman. Ze documenteren eigenschappen van een specifieke tijd. Die verwijderen kan een prettige kijk ervaring geven. Maar het maakt ze niet origineel. Nep is blijkbaar een woord waar vele over vallen, maar als je "echt" jaren 50 of eerdere camera werk wil zien dan horen de technologische beperkingen van die tijd er gewoon bij.

Als je een verbeterde versie liever kijkt dan is dat ook goed, maar je kunt niet met zekerheid zeggen dat de inkleuring van de AI 100% correct is. De kleur is een aanname en geen feit.

[Snowdog]

Wat betreft het laatste deel, ja, ergens wel, maar de algoritmen die ze gebruiken voorspellen natuurlijk wel een hoop zaken en dus is het beeld dat je hebt misschien wel duidelijker/helderder, maar het is niet per se natuurgetrouwer. Het is leuk dat het er beter uitziet, maar of het nou echt beter is. Ja, voor het oog wel, maar daar houdt het ook wel op?

[Animal]

Topaz Video AI werkt heel fraai

[theory]

Ik heb Topaz Video AI en het lukt me maar niet om enige verbetering te hebben in mijn oude videos(daterend van 95/98 weliswaar). Topaz Photo AI werkt daarintegen wel feilloos voor me.

[Denizz]

Topaz video AI vind ik het beste tot zijn recht komen bij kapot gecomprimeerde, maar wel al origineel digitale bronnen. Een 720p video opschalen naar 1080p/4k of een lage bitrate / Youtube 1080p video simpelweg "nieuw leven" in te blazen. Maar met SD materiaal, alsmede wat ooit analoog was vond ik het eerder een achteruitgang. Op zijn best kreeg ik een heel overscherp aandoend geheel waarbij je duidelijk ziet dat een AI dingen heeft zitten te verzinnen.

[Reactie gewijzigd door Denizz op 24 juli 2024 18:21]

[ashwin911]

Yep in mijn ervaring is bij SD materiaal het beste om het alleen voor beeld opschoning en de-interlacing te gebruiken. En hooguit naar 540p opschalen. En dan ook instellingen die het beeld scherper maken laag houden

[Animal]

En welke resolutie heeft dat originele materiaal? Het algoritme werkt pas goed vanaf 480P naar 4K bijvoorbeeld

[Timmmeeehhh]

Topaz werkt erg goed.

[Anoniem: 238040]

Topaz Video Enhance AI. Niet bepaald gratis maar de resultaten zijn verbluffend. Ik gebruik 'm zelf inmiddels ook een paar jaar.

[hooibergje]

De vraag is of de filmbeleving er beter van wordt.
Oude films met alles superscherp lijkt me een vreemde gewaarwording, alsof er iets niet klopt.
Beetje uncanny valley vibe.

[langestefan]

Kijk hier en oordeel zelf: https://www.youtube.com/watch?v=YmubEqklKP4

Rick is een bekende NLse youtuber die AI gebruikt om oude filmbeelden te restaureren. De video is al wel >2 jaar oud, inmiddels zijn de tools (AI) een heel stuk beter. Hij heeft veel gerestaureerde videos op zijn kanaal staan.

[bzuidgeest]

Ik heb het bekeken en vind het maar niets. Die man neemt heel veel origineels weg en giet er een eigen saus overheen of die van een ai. Een goede scan maken ok. Spelen met contrast ok. Maar de camera wobble verwijderen? Nep kleur die er in het origineel niet was? Het is een oude film en hij verwijderd alle tekenen van die tijd. Onder het motto dat kijkt comfortabel. Maak dan meteen een cartoon.... Net zo echt. Stel je voor dat we dat met een Rembrandt of Picasso zouden doen.

[langestefan]

De techniek om dit te doen wordt continu beter. En hoezo nep kleur? Het is gewoon de echte kleur. Uiteindelijk is het doel om van een slechte kwaliteit video een realistische video te maken, dat lukt aardig.

[bzuidgeest]

Zwart wit opnieuw laten inkleuren door een ai, dat noem ik nep. De ai maakt aannames, er is geen enkele garantie dat de kleur klopt.

De originele video is de realistische. De bewerking maakt hem minder realistisch. Tenzij je denkt dat ze gestabiliseerde, 4k kleuren cameras hadden in de tijd van het origineel.

[langestefan]

Je snapt duidelijk niet wat het doel is van restauratie. Ik raad je aan om de Apocalypse WWI en WWII documentaires te kijken, dan wordt het wel duidelijk.

[bzuidgeest]

Dus nu moet ik na je eerste video gekeken te hebben en nog maar een kijken.
Ik heb het al gesnapt en ben het niet eens met de argumentatie.
Ik laat een Rembrandt ook niet opnieuw schilderen in verse kleuren. Of de ai hem bijwerken of rechtzetten.
Restauratie is het verkeerde woord, reconstructie is een veel passender omschrijving. In restauratie word het orginele in stand gehouden. Dat is inclusief origineel camera wobble.
Straks laat je een ai de Beatles nummers opnieuw zingen en noem je dat ook nog restauratie...

[Arrogant]

Digitaliseren is al reconstrueren.

[bzuidgeest]

In principe ja, maar er is geen andere manier om film in het digitale tijdperk te krijgen. een(digitale) foto van een schilderij is een echte foto, maar als je die gaat nabewerken dan om een persoon te verwijderen of alles opnieuw in te kleuren is het geen 1 op 1 meer.

[Bart ®]

Bij een restauratie van een schilderij worden toch echt wel nieuwe kleuren gebruikt. Je vergelijking loopt daar dus een beetje mank.

[bzuidgeest]

Nieuwe kleuren waar er verlies van verf is. ze schilderen niet over bestaande kleur heen of maken die lichter. Zie baumgartner restauration op youtube als je een voorbeeld wil

[langestefan]

Ik laat een Rembrandt ook niet opnieuw schilderen in verse kleuren. Of de ai hem bijwerken of rechtzetten.

Die vergelijking loopt helemaal stuk, het gaat om filmbeelden en niet om schilderijen.

Restauratie is het verkeerde woord, reconstructie is een veel passender omschrijving. In restauratie word het orginele in stand gehouden. Dat is inclusief origineel camera wobble.

Dat is behoud van het originele. Uit wiki:

Film preservation is not to be confused with film revisionism,[3] in which long-completed films are modified with the insertion of outtakes or new musical scores, the addition of sound effects, black-and-white film being colorized, older soundtracks converted to Dolby stereo, or minor edits and other cosmetic changes being made.[4]

Oftewel je kunt het ruwweg zien als behoud van het origineel. Dan behoud je inderdaad alle fouten die ook in het origineel zaten. Maar wat interessanter is om de werkelijkheid weer te geven in de restauratie, oftewel de beelden herstellen met AI. Immers, de werkelijkheid was in kleur en de camera wobble, de strepen die je zag bestaan allemaal niet in de werkelijkheid.

[Reactie gewijzigd door langestefan op 24 juli 2024 18:21]

[bzuidgeest]

Die vergelijking loopt helemaal stuk, het gaat om filmbeelden en niet om schilderijen.

Het loopt niet stuk, het principe is exact hetzelfde. Als je dat niet ziet is deze discussie nutteloos.

Jou eigen wiki quote bevestigd mijn stelling name.
film revisionism,[3] in which long-completed films are modified with the insertion of outtakes or new musical scores, the addition of sound effects, black-and-white film being colorized, older soundtracks converted to Dolby stereo, or minor edits and other cosmetic changes being made.

Ofwel het is geen restauratie(preservation) het is film revisionism.

Film revsionism is prima, maar moet niet aangeduid worden als restauratie.

[langestefan]

Het is niet hetzelfde, een schilderij is al in kleur en oude film niet. Als je dat niet snapt dan is het inderdaad klaar. Revisionism is geen bekende term. De realiteit is in kleur, daarom is film ook in kleur. Dat jij dat niet 'echt' vind is een andere discussie.

[bzuidgeest]

Revisionism is geen bekende term

Nou niet terugkrabbelen omdat je eigen quote je om de oren slaat. Dat jij het geen bekende term vind is niet mijn probleem. Een echte conservator snapt het verschil onmiddellijk.

De realiteit is in kleur, daarom is film ook in kleur.

Sorry maar film was een hele tijd in zwart-wit. De wereld was in kleur, maar films niet. De kleur die je toevoegt is een aanname (misschien een goede) maar geen vaststaand feit.
De oorspronkelijke film was zwart wit en bevat geen kleur informatie. Die toevoegen is een aanname.

Ga je mij ook vertellen dat geluid aan een stille (stomme) film toevoegen hem origineel en echt houd? Omdat de AI bepaald heeft hoe iets mogelijk ooit geklonken heeft? Geluid van buiten het beeld kan nooit bepaald worden.

[Reactie gewijzigd door bzuidgeest op 24 juli 2024 18:21]

[langestefan]

De werkelijkheid is inderdaad in kleur, fijn dat je het eindelijk begrijpt! Nou nog ff die Apocalypse documentaires kijken en je snapt helemaal waarom het zo mooi is om kleur te restaureren.

[B_FORCE]

Voor non-live content zijn er idd al jaren prima oplossingen.

Nvidia's super resolution is juist iets voor live content, zoals bv voor je favoriete streaming dienst.

[chim0]

Nou ik vind het helemaal niks die super resolution. Het lijkt net een tekenfilm ofzo. Heel raar. Soort van gerenderd ofzo. Zie ook mijn post hier > https://gathering.tweaker...message/74661240#74661240

[jmxd]

> Ik heb hem op 4 staan.

Het probleem

[TJRef]

Kun je dat toelichten? 4 zou de hoogste kwaliteit zijn.

[jmxd]

Ze noemen dat inderdaad "quality" maar het is vooral dat 4 gewoon de meest agressieve stand is, niet echt bruikbaar op live action beeldmateriaal. Op tekenfilms/anime werkt die stand wel ok. Ik raad aan stand 2 te gebruiken op "normale" video beelden.

[Anoniem: 221563]

Je bron is daarvan al zo vaak opnieuw door een encoder gehaald. Daar valt niet veel meer uit te halen. Die oude shows op dvd zijn al niet geweldig gemastered.

Heb het zelf ook vaak zat geprobeerd, maar is niet te doen. Ook niet met andere tools die het niet in real time hoeven te verwerken.

[BramVroy]

Zou leuk zijn als dit naar Plex komt! Ik heb zelf geen 30/40 series maar naar de toekomst toe lijkt me dit mooi. Bestanden kunnen kleiner worden en via super resolution gaat de kwaliteit dan weer omhoog. Zo wordt het een soort van decompression algoritme zonder dat er compressie nodig is.

[kiang]

Als je dat wilt; koop gewoon een nVidia Shield, die heeft AI super resolution al lang ingebakken.

[nout77]

Klinkt leuk maar kost op een 30 of 40 serie een enorm vermogen aan stroom: rond de 300 watt lees ik hier. Het lijkt me de compressie en rekenkracht niet waard..

[Roel1966]

Ik heb super resolution ook wel al een paar keer eens geprobeerd bij Youtube video's met een heel lage resolutie. Eerlijk gezegd is soms het verschil eigenlijk bijna niet te zien onafhankelijk van de setting van 1 tot 4. Ook wel een paar keer geprobeerd om Edge dan opnieuw op te starten maar dat maakt soms helemaal geen verschil.

Bij video's waar ik wel verschil kan zien is het net alsof het beeld wat waziger word terwijl je zou verwachten dat het beeld scherper word. Enigste is dat je dan minder blokkerig beeld ziet maar juist daardoor dat wazige effect ontstaat. Dus uiteindelijk gebruik ik super resolution verder niet meer en had ik mij er wel toch meer van voorgesteld maar helaas.

[jaquesparblue]

Zie er totaal de meerwaarde niet van.
Ding staat constant te loeien, want het is als een gek stroom aan het slurpen, en je ziet amper verbetering.

Edit:typo

[Reactie gewijzigd door jaquesparblue op 24 juli 2024 18:21]

[TJRef]

Ik vind het toch wel een groot probleem dat deze functie zoveel stroom vreet. Dat maakt het niet echt nuttig. Het is niet een beetje meer, mijn 3080 geeft meer dan 300watt aan en uiteraard gaan de fans dan ook harder draaien.

[Xfade]

Hoogste wat ik tot dusver tegen gekomen ben op een 4080 is 90 watt... Wellicht zijn er nog optimalisaties nodig.

[TJRef]

Is een stuk minder maar nog steeds enorm veel. Het zal wel een reden hebben.

[semi70]

is er ergens een programma waarmee je dit met bestanden kan doen?

[Swindowmasher]

Ja, VLC media player vanaf versie 3.0.19

[whersmy]

Ik zie het verschil ook niet? Lijkt meer op marketingtruuk. Het hoort juist heel goed te werken. Misschien komt er nog een update oid?

[Ozymandias]

Ik heb het geconfigureerd n.a.v. een video van Linus Tech Tips. Ik zag geen verschil bij lagere resolutie video’s en het zal wel bij 1080p video’s werken maar ik zie het verschil niet tussen 1080p en 4K op mijn 28” 4K scherm. En een grote joekel van een OLED TV heb ik niet, daar heb ik ook geen ruimte voor, ben redelijk kleinbehuisd.