In dit artikel proberen we antwoord te geven op de vraag wat TrueCut Motion is en hoe deze software volgens de makers een verschil zal maken op het vlak van motion bij in ieder geval de heruitgaven van de films Avatar en Titanic.
Wie wil Avatar en Titanic opnieuw zien in de bioscoop op veel hogere framerates dan het traditionele 24fps? Deze films van regisseur James Cameron worden opnieuw uitgebracht op het witte doek als remasters. Volgens hem zullen deze nieuwe versies er in alle opzichten beter uitzien. Hij noemt 4k, beelden met een hoog dynamisch bereik en de toepassing van een high frame rate, of hfr.
Dat laatste is in zoverre opvallend, omdat Cameron niet direct te boek staat als groot fan van hogere framerates. In tegenstelling tot regisseur Ang Lee, die met films als Gemini Man en Billy Lynn's Halftime Walk pionierde met framerates van 120fps in de bioscoop en een hfr ziet als een format dat bij het digitale past, staat Cameron er gematigder tegenover: "Ik heb een persoonlijke filosofie rond hfr, namelijk dat het een specifieke oplossing is voor specifieke problemen die met 3d te maken hebben. Wanneer je het stroboscoopeffect en de jutter krijgt bij bepaalde opnamen die zwenken of bij bepaalde zijwaartse bewegingen over het frame, is het storend in 3d. En voor mij [is een hoge framesnelheid] slechts een oplossing voor die opnamen".
Cameron is dus geen hfr-evangelist die het als de heilige graal ziet; hij wil het gericht inzetten. Maar hoe doe je dat bij een film? In het verleden is daar al eens mee geëxperimenteerd door de eerder dit jaar overleden Douglas Trumbull, een Hollywood-specialist in special effects. Het lijkt erop dat zijn werk in enigszins vergelijkbare vorm gebruikt gaat worden voor de remasters van Avatar en Titanic. Het betreft de software TrueCut Motion van het bedrijf Pixelworks. Wat weten we daarvan, hoe werkt dat ongeveer, in welke zin lijkt het op de technologie van Trumbull en wat kunnen we ervan verwachten?
TrueCut Motion
TrueCut Motion is een softwarepakket van Pixelworks dat naar eigen zeggen al enkele jaren in ontwikkeling was. TechRadar schreef eerder op basis van informatie van Pixelworks dat het bedrijf er al ongeveer vijftien jaar met twintig tot dertig technici aan werkt. Dit Amerikaanse bedrijf is in 1997 opgericht en richt zich onder meer op beeldverwerking om bij te dragen aan 'superieure visuele kwaliteit voor alle schermen, van de bioscoop tot de smartphone en verder'.
In een persbericht van eind vorig jaar kondigde het bedrijf TrueCut Motion voor het eerst aan: "Het is een krachtige oplossing die regisseurs geavanceerde masteringtools biedt om te bepalen hoe beweging wordt gevisualiseerd in hun films, streaming- en theatrale distributietools, evenals apparaatcertificering om bewegingsproblemen op te lossen die al lang een strijd zijn voor zowel regisseurs als consumenten."
Die laatste zin bevat de crux waar deze tool een verschil moet maken. Het bedrijf haalt 4k en hdr aan als elementen die de beeldkwaliteit door de jaren heen flink hebben verbeterd, maar stelt dat motion achterop is geraakt. Daarbij wordt de inherente motionjudder (eigenlijk is 'stutter' de correcte term, maar we handhaven 'judder', omdat Pixelworks steeds die term gebruikt) van 24fps-materiaal aangehaald, evenals het nadeel van de-bluropties. Het verminderen van de vervaging bij snellere beelden is een interessante optie voor consumenten die dat wensen te gebruiken bij bijvoorbeeld sportbeelden, maar in films doorkruist dat ook een beetje de creatieve intentie van de makers. Hogere helderheden maken de motionproblemen alleen maar groter, stelt Pixelworks. Volgens het bedrijf is er dus een oplossing nodig.
Specifiek stelt TrueCut Motion filmmakers in staat om de motion precies in te stellen en dus binnen een film of serie te laten variëren. Tijdens de postproductie kunnen ze de motion beoordelen van shot tot shot en de voor hen gewenste motionlook instellen, ongeacht de bron. Dit vergt volgens Pixelworks geen aparte workflow en kan gewoon tijdens het proces van kleurbewerking worden uitgevoerd. Een soort motiongrading naast colorgrading. Het moet filmmakers een fijnmazige tool bieden om de motion te kunnen aanpassen en softwarealgoritmes moeten bijdragen aan een consistente weergave van het materiaal, ongeacht op wat voor scherm er wordt gekeken.
In bovenstaande 48fps-demovideo probeert het bedrijf inzichtelijk te maken hoe dit in de praktijk tot uiting komt. In de video zijn een paar voorbeelden te zien van korte fragmenten met veelal snel bewegende camera's. Elk voorbeeld wordt getoond in 24fps, waarbij goed de inherente stotter is te zien.
Vervolgens wordt aangehaald dat een hfr dit oplost en worden de fragmenten ook als zodanig getoond. Dat haalt de judder weg, maar heeft volgens Pixelworks het nadeel dat de 'cinematische look' verdwijnt. Alles oogt vloeiend en meer als video. Velen halen dan al snel het soap opera effect aan: alsof je naar een goedkope televisieproductie van weleer aan het kijken bent. Kijken naar fictie met een hoge framerate blijft een heikel punt, zoals ook wel bleek uit de niet altijd zo positieve reacties van bezoekers die de 48fps-film The Hobbit in de bioscoop hadden gezien.
In de demovideo wordt vervolgens een oplossing getoond, waarbij volgens Pixeworks de judder beperkt blijft en de filmische look behouden blijft. Dit noemen ze Cinematic HFR, wat mogelijk is gemaakt door TrueCut Motion. Kortom, het beste van twee werelden. Framerates die hoog genoeg zijn om de judder van 24fps te minimaliseren, maar niet zo hoog dat kijkers zullen klagen over het soap opera effect.
Hoe werkt TrueCut Motion?
We hebben Pixelworks om een toelichting gevraagd over hoe de technologie precies werkt, maar kregen geen reactie. Er valt wel het een en ander af te leiden uit een door het bedrijf gepubliceerde whitepaper. Hierin wordt het Motion Appearance Model omschreven. Dit is in feite een dataset van allerlei elementen die een rol spelen in de perceptie van motion in de zin van judder en blur en hoe andere elementen daar invloed op hebben, zoals helderheid, responstijd, dynamisch bereik, contrast, peak white, sluitertijden, schermgrootte en kijkafstand.
Pixelworks stelt dat als de helderheid van het scherm toeneemt, onze perceptie van judder ook toeneemt, terwijl onze perceptie van motionblur afneemt. Bij een relatief laag contrast van een sdr-film die is bewerkt voor 48cd/m², kan de judder nog acceptabel zijn, maar bij een edr-film, een film in extended dynamic range, op een groot scherm op 108cd/m² kan de judder al onacceptabel zijn, stelt het bedrijf. Dat zou nog erger worden op een tv-scherm met een hoog dynamisch bereik en een piekhelderheid van 1000cd/m².
Ook de perceptie van motionblur verandert als de helderheid toeneemt. Bij veel analoge en ook de duurdere digitale filmcamera's is de sluiter in feite een schijf met een opening die het licht tijdens filmtransport blokkeert. Meestal is dit een opening van 180 graden, zodat slechts voor de helft van de tijd licht wordt opgevangen. Bij een framerate van 24 beelden per seconde is de maximale sluitertijd 1/48 seconde. Dit levert de door velen geliefde filmlook op. Als dit als uitgangspunt wordt genomen in combinatie met 48cd/m² en de piekhelderheid wordt opgevoerd naar 100cd/m², is er volgens Pixelworks een 230-gradensluiter nodig om dezelfde perceptie van blur te behouden zoals die aanwezig is bij een 180-gradensluiter en 48cd/m². Bij 800cd/m² zou dan een 310-gradensluiter nodig zijn.
Als filmmakers exact de perceptie van judder en motionblur willen behouden van sdr-kwaliteit met een helderheid van 48cd/m² op schermen die helderder kunnen, zijn tragere camerabewegingen nodig en andere sluitertijden, aldus Pixelworks. Een alternatief is een regrade van problematische shots door specifiek daar het contrast en detail te verlagen om op die manier de judder acceptabel te houden. Dit alles is nauwelijks te doen en dus ziet Pixelworks TrueCut Motion als de oplossing. Hoe het bedrijf heeft bepaald wanneer de hoeveelheid judder wel of niet acceptabel is, wordt niet duidelijk.
/i/2005262776.png?f=imagenormal)
TrueCut Motion is een softwarepakket voor de postproductie waarbij de filmmakers via een referentiebeeldscherm aan meerdere knoppen kunnen draaien. Zo wordt de frame rate appearance vastgesteld, wat losstaat van de framerate waarin de beelden oorspronkelijk zijn geschoten. Ook is er een schaal voor judder, waarbij 0 staat voor de typische judderperceptie van 24fps en het maximale 360 voor geen merkbare judder. Ook is er een dergelijke schaal van 0 tot 720 voor motionblur, waarbij 0 betekent dat er geen motionblur is toegevoegd aan het origineel, terwijl 720 gelijkstaat aan het effect van een 720-gradensluiter. Er is ook nog een vierde optie, genaamd Crank, waarmee de (afspeel)snelheid van de beelden kan worden aangepast.
Showscan Digital
Als we het marketingmateriaal van Pixelworks doorlezen, is het moeilijk om geen parallel te trekken met Showscan Digital. De eerder genoemde specialeffectsspecialist Douglas Trumbull ontwikkelde al in de jaren zeventig van de vorige eeuw het Showscan-filmsysteem. Het was een poging om film te combineren met hoge framerates. Hij gebruikte 70mm-film met 60fps, waarbij de beelden werden geprojecteerd op relatief grote schermen en voor een helderder beeld werden krachtige projectielampen gebruikt. Zijn Showscan-formaat werd geroemd om het extra realisme dat werd bereikt, maar de grote namen uit Hollywood hadden geen interesse. Hij maakte de korte film New Magic om de technologie te demonstreren en Trumbull wilde het ook inzetten in de film Brainstorm uit 1983, maar kreeg daar geen toestemming voor; de opnames geschiedden in 24fps. Hoewel Showscan in attractieparken en voor dynamic motion theaters wel successen behaalde, viel in 2002 het doek.
Trumbull probeerde het later met Showscan Digital, de digitale versie van Showscan. Hierbij was 120fps het uitgangspunt, maar ook deze technologie kwam niet voorbij het demostadium en er zijn geen films mee geproduceerd. Beelden worden met 120fps opgenomen om zoveel mogelijk motiondata te generen en dat wordt vervolgens teruggebracht tot 60fps door de helft van de frames weg te gooien. Het idee is dat de 24fps-standaard wordt behouden, maar dat de actiescènes en specifiek frames waarop veel snelle beweging zichtbaar is, zoals een karatetrap van een vechter, worden opgewaardeerd tot een hogere framerate. Dat leidt tot minder motionblur en scherpere actie. Het is mogelijk om zo films te maken met de reguliere 24fps-standaard, gecombineerd met 60fps waar het nodig is.
Showscan Digital lijkt sterk op het idee van TrueCut Motion. Het zou kunnen dat technologie van Pixelworks in het geval van de remasters van Avatar en Titanic zo werkt dat alles wordt opgenomen in of geconverteerd wordt naar hfr. Vervolgens kan per scène worden gekozen om frames samen te voegen tot 24fps inclusief de juiste motionblur, of er wordt gekozen om hfr te handhaven. Het is mogelijk om van 120fps naar 24fps te gaan, waarbij algoritmes van Pixelworks de motionblur moeten terugrekenen uit meerdere frames. Pixelworks stelt dat het met elk bronmateriaal overweg kan. Als er sprake is van 24fps-bronmateriaal, ligt het voor de hand dat er eerste normale motioninterpolatie wordt toegepast, waarna motiongrading wordt toegepast om tot de hogere bewegingsscherpte te komen voor fragmenten waar dat gewenst is.
Gaat dit van de grond komen?
Vermoedelijk zal het succes van TrueCut Motion voor een aanzienlijk deel afhangen van het succes van de remasters van Avatar en Titanic. Als die heruitgaven veel opleveren en ook de toepassing van TrueCut Motion positief in de schijnwerpers komt, kan de technologie wellicht aanslaan. James Cameron is overtuigd, maar de vraag is of de rest van Hollywood dat ook zal zijn. Er zijn daar nogal wat aanhangers van 24fps als de enige norm.
Daarnaast valt te betwijfelen of het publiek hier warm van wordt. Voorstanders van 24fps die motionjudder gewend zijn en voor lief nemen, zullen vermoedelijk ook van oordeel zijn dat de implementatie van TrueCut Motion er ongemakkelijk uitziet, alsof beeldinterpolatie aanstaat en er dus ogenschijnlijk beelden zijn bij verzonnen. Tegenstanders van 24fps zullen de Cinematic HFR uit de video van hierboven vermoedelijk nog steeds te schokkerig vinden en verlangen naar puur hfr zoals in Gemini Man. In die zin helpt TrueCut Motion de echte, meer geharde voor- en tegenstanders van 24fps in ieder geval niet.
Wellicht dat de technologie uiteindelijk door streamingdiensten en televisies wordt geadopteerd, maar voorlopig is dat nog nauwelijks of niet aan de orde en Pixelworks richt zich voor nu ook hooguit op producties voor op het witte doek. Er is al wel sprake geweest van ondersteuning door televisies van de Chinese fabrikant TCL. Volgens Pixelworks betekent dat dat tv-kijkers 'geweldige motion kunnen ervaren die consequent wordt gepresenteerd zoals de filmmaker het heeft bedoeld, zonder dat er een instelling hoeft te worden aangepast op de tv'. Er zal sprake zijn van een eigen motion-pipeline. Een film zal dan aangeboden worden in een formaat dat de televisie begrijpt, waarbij eigen berekeningen en bewerkingen door de tv-processor, bijvoorbeeld beeldinterpolatie en dus het invoegen van extra frames, achterwege kunnen blijven.
Een medewerker van Pixelworks vertelde begin dit jaar aan TechRadar dat er geen additionele hardware voor nodig is. De techwebsite had tijdens de CES van begin dit jaar een demo van de technologie, maar dat was op een sdr-monitor die niet voor TrueCut Motion was gecertificeerd. Er was volgens de redacteur wel een merkbaar verschil te zien, maar het effect was niet zo uitgesproken als het waarschijnlijk was geweest op een scherm dat wel gecertificeerd was. De mate waarin de technologie breed wordt ondersteund zal uiteindelijk bepalend zijn of het een succes zal worden. Op dat vlak is er nog een wereld te winnen. Het is dan ook de vraag of Pixelworks beter dan de noodlottige Titanic in staat is de woelige wateren te trotseren en obstakels weet te omzeilen.