Chaos en orde rond videocodecs

De strijd tussen h265, av1, vp9 en h266

Het landschap van videocodecs

Codec is een samenstelling van coder en decoder, en staat voor een systeem dat een audio- en/of videosignaal kan comprimeren en dat signaal vervolgens ook weer kan omvormen tot de gewenste audio en video. De komst van nieuwe codecs is een logisch gevolg van de niet aflatende behoefte om steeds meer data zo efficiënt mogelijk te versturen, en van de toenemende beschikbare rekenkracht en bandbreedte. Daar komt bij dat er geld valt te verdienen met videocodecs, dus hebben bedrijven niet per se de behoefte om zich bij een codec van andere bedrijven aan te sluiten. Ze komen soms liever met een eigen compressiestandaard, zeker als dat besparingen oplevert aan royalty's voor andermans codecs. Zo is een landschap ontstaan dat altijd in beweging is en waarin verschillende codecs worden gebruikt, die ook met elkaar wedijveren. Om daar wat meer op in te zoomen, staan we hieronder stil bij enkele videocodecs die nu de dienst uitmaken of dat wellicht in de toekomst gaan doen.

H264

Advanced video coding, ook wel aangeduid met h264 of mpeg-4 part 10 advanced video coding, werd in 2003 gestandaardiseerd door de ITU-T Video Coding Experts Group en de ISO/IEC Moving Picture Experts Group. De Moving Picture Experts Group zal een belletje doen rinkelen als de naam wordt afgekort tot mpeg. De groep zit achter de videocodec die vandaag de dag nog overal is te vinden. Uit gegevens op Statista zat h264 tussen 2016 en 2018 op een marktaandeel van rond de 80 procent, iets waaraan h265, Googles vp9 en WebM bij lange na niet konden tippen en dat is nog altijd het geval.

MeFeedia liet in 2011 zien hoe snel h264 een opmars heeft gemaakt bij html5-video's op het web. In januari 2010 was de codec verantwoordelijk voor 10 procent van de html5-playback en in juni 2011 was dat al gegroeid tot 69 procent. Deze groeispurt werd verklaard door de opkomst van moderne browsers en de enorme groei in de mobiele sector, waarbij vooral naar Android en iOS kan worden gekeken. Verder heeft de opkomst van op video gerichte tablets een duit in het zakje gedaan, net als slimme tv's en blu-rayspelers. H264 wordt overal toegepast, van streamingdinesten en blu-rays tot aan browsers, besturingssystemen, mobiele platforms, opnameapparaten, kabel- en satelliet-tv, en digitale beveiligingscamera's.

H265

In de begintijd van h264 stond een efficiëntere codec al te trappelen. De in 2013 geïntroduceerde opvolger h265, ook bekend onder de naam hevc en eveneens ontwikkeld door de ITU-T Video Coding Experts Group en de ISO/IEC Moving Pictures Experts Group, zat er al aan te komen wegens voorstellen van de groepen om de h264-standaard te verbeteren. Die verbeteringen, waaronder de ondersteuning van resoluties tot 8192x4320 pixels en een 10bit-kleurruimte, vergden nogal wat extra rekenkracht en die was destijds nog onvoldoende beschikbaar. Om te voorkomen dat de chips overuren moesten draaien en de stroomrekening te veel zou oplopen, werd niet tot het uiterste gegaan bij de mate van compressie in h264. Met de gaandeweg toegenomen rekenkracht en de teruglopende kosten was h265 later wel kansrijk. Ten opzichte van h264 vergt h265 grofweg tien keer zoveel rekenkracht.

De belofte was even simpel als aantrekkelijk: een besparing tot 50 procent in bandbreedte ten opzichte van h264 bij dezelfde videokwaliteit. Daarmee is de nieuwere codec ook een stuk geschikter voor 4k-video's, aangezien al die extra data niet hoeft te leiden tot veel grotere bestanden. Er zijn studies waarbij die besparing op de bits bij 4k-materiaal zelfs opliep naar 64 procent. Niet toevallig is h265 de codec die gebruikt wordt voor de compressie van films op uhd-blu-rays. Ook streamingdiensten maken er gebruik van en uiteraard kunnen allerlei videospelers, zoals Kodi en VLC, met h265 gecomprimeerde data decoderen en afspelen. Dergelijke spelers kunnen handig zijn, mede doordat Microsoft ondersteuning voor h265 uit Windows 10 haalde met de Fall Creators Update.

Uit het Video Developer Report 2019 van Bitmovin blijkt dat h264 nog altijd heer en meester is. In 2019 gaf 91 procent van de ondervraagde ontwikkelaars aan het te gebruiken of in de komende twaalf maanden te gaan implementeren, tegenover 43 procent voor h265. Mpeg2 was goed voor 29 procent, gevolgd door vp9 met 12 procent en av1 met 7 procent. H265 is overduidelijk groeiende, maar kan zijn voorganger voorlopig niet van de troon stoten.

Vp9

Naast de Moving Picture Experts Group heeft ook Google zich niet onbetuigd gelaten. Vp9 kwam uit in 2013 als de opvolger van vp8 en is de dominante codec op YouTube. Ook webbrowsers als Chrome, Opera, Edge en Firefox ondersteunen de codec; er is Android-ondersteuning sinds versie 4.4 KitKat en ook veel smart-tv's ondersteunen vp9-decoding. Netflix maakt eveneens gebruik van vp9 en met de komst van iOS 14 lijken ook iPhone-gebruikers YouTube-video's in 4k en hdr te kunnen streamen, wat voorheen niet kon. Dat komt doordat Google begin 2017 is gestopt met de ondersteuning van h264, is overgestapt op vp9 en hevc niet heeft omarmd. Apple weigerde tot nu toe om vp9 te omarmen, waarschijnlijk mede omdat het bedrijf in hevc heeft geïnvesteerd. Vp9 ondersteunt 4k, 10 of 12bit en hdr, en is daarmee net als hevc geschikt voor uhd-content.

Av1

Vp10 was in de maak en Google publiceerde er onder meer code voor in 2015, maar het bedrijf heeft besloten om vp10 te laten opgaan in een andere videocodec: AOMedia Video 1 of av1. Deze codec is naast vp10 gebaseerd op technologie van de Daala-codec van de Xiph.Org Foundation en Mozilla, en de Thor-codec van Cisco Systems. Av1 kwam in begin 2018 uit en is ontwikkeld door de Alliance for Open Media. Zowel Google als Apple maakt daarvan deel uit, naast veel andere grote namen, zoals Netflix, Facebook, LG, Microsoft en Samsung. Netflix is eerder dit jaar ook al in beperkte vorm begonnen met streamen via de av1-codec, en YouTube en Vimeo maken er ook in beperkte mate gebruik van.

Omdat av1 een relatief jonge codec is, is er nog geen brede ondersteuning. Er is softwarematige ondersteuning door Chrome, Opera, Edge en Firefox, maar de software-implementaties van de av1-standaard, zoals de code-intensieve Libaom-referentiecodec, de voor datacenters en Intel Xeon-processors bedoelde svt-av1-codec en de dav1d-decoder, zijn nog niet allemaal uitontwikkeld en bugvrij. Op hardwarevlak is het niet beter; er zijn nog maar weinig processors of socs die hardwarematige av1-decoding ondersteunen. De Oppo Reno3 5G vormt een uitzondering, doordat deze smartphone is uitgerust met de MediaTek Dimensity 1000, de enige smartphone-soc die het ondersteunt. YouTube voor Android TV is in het voorjaar geüpdatet met av1-ondersteuning. Veel Android TV-apparaten met ondersteuning voor hardware-accelerated av1-decoding zijn er echter niet en de nieuwe Nvidia Shield TV uit 2019 biedt evenmin soelaas. Alleen socs als de Broadcom BCM72190/72180 en de Realtek RTD1311/RTD1319 vormen een uitzondering. LG's 8k-oled-tv's in de ZX-lijn ondersteunen av1 en dat geldt ook voor alle 8k-tv's van Samsung die in 2020 uitkomen.

H266/VVC

De ISO/IEC Moving Picture Experts Group heeft niet stilgezeten en heeft begin deze maand de officiële opvolger van h265 uitgebracht, samen met Fraunhofer HHI, de Video Coding Experts Group en een aantal grote spelers uit de techsector, zoals Apple, Ericsson, Intel, Huawei, Microsoft, Qualcomm en Sony. De opvolger heet h266 of versatile video coding. H266 zou in vergelijking met hevc een stuk efficiënter zijn op het vlak van het compressiealgoritme. Volgens Fraunhofer HHI worden nieuwe chips met hardwarematige ondersteuning voor h266 momenteel al ontworpen en de eerste softwarecoders moeten in de herfst uitkomen.

Veel moet nog duidelijk worden, maar h266 zal volgens het consortium weer een flinke stap voorwaarts zijn ten opzichte van h265. Fraunhofer HHI gaf daar een voorbeeld van; een negentig minuten durende uhd-video zou met h265 10GB data opleveren en bij h266 zou dat bij dezelfde kwaliteit uitkomen op 5GB. De codec zou vooral erg effectief zijn bij videomateriaal met een hoge resolutie, waarbij het instituut specifiek het streamen van 4k- en 8k-video's noemt. Ook high dynamic range en 360-gradenvideo's worden ondersteund.

H266 gaat ook nog steeds uit van de principes van zo ongeveer alle voorgangers: de codeeraanpak op basis van het eerder besproken concept van blocks, waarbij elk frame in blocks wordt opgesplitst, waarna alle blocks in een volgorde worden verwerkt. Volgens Christian Feldmann van Bitmovin heeft het consortium dus niet het wiel opnieuw uitgevonden en is h266 geen revolutie, maar vooral een evolutie. Zo zijn bijvoorbeeld de blocks weer een stuk groter; waar ze bij h264 en h265 een formaat hebben van respectievelijk 16x16 en 64x64 pixels, is dat bij h266 128x128 pixels. Om de blocks te coderen, moeten ze meer dan eens opgeknipt worden in kleinere blocks en dat opknippen kan op heel veel manieren gebeuren, leidend tot allerlei vormen. Dat maakt dat de coding units bij h266 veel flexibeler zijn en daarmee veel beter kunnen inspelen op de content die gecomprimeerd moet worden. De sterk toegenomen flexibiliteit is goed nieuws voor de mate van compressie, maar betekent automatisch ook extra hoofdbrekens voor de coder, want die moet alles proberen en berekenen hoe het beste opgesplitst kan worden.

Links de wijze van partitioning/opsplitsen bij h265 en daarnaast de veel grotere flexibiliteit die betracht kan worden bij h266

Evc

Mpeg komt overigens ook nog met twee andere, nieuwe codecs: evc en lcevc. Lcevc is min of meer een add-oncodec, die uitgaat van h264 of h265 en de codeersnelheid daarvan verbetert. Deze codec laten we hier verder buiten beschouwing. Mpeg-5 essential video coding of evc is te beschouwen als een alternatief voor h265 en moet niet alleen een bitratebesparing opleveren van grofweg 31 procent ten opzichte van h264 of 26 procent ten opzichte van h265; de codec is vooral ook bedoeld om iets te doen aan de bekritiseerde licentiestructuur van h265. Evc wordt door mpeg omschreven als 'een codeerstandaard voor degenen die een ISO-standaard willen gebruiken, maar niet in staat zijn hevc te gebruiken'. De codec heeft een deel dat royaltyvrij is en een beter presterend deel, het Main-profile, waaraan wel royalty's zijn verbonden. Dit gedeelte hanteert tools die aan- of uitgezet kunnen worden zonder dat de prestaties er serieus onder lijden.

Na een in oktober 2018 uitgebrachte call for proposals koos mpeg voor het voorstel van Qualcomm, Huawei en Samsung. In april 2020 werd de First Draft International Standard-beschrijving van evc uitgebracht en een maand later gaven Qualcomm, Huawei en Samsung aan de standaard te omarmen. De drie bedrijven hebben naar eigen zeggen elk aanzienlijk bijgedragen aan de nieuwe standaard en geven aan de codec vooral te willen inzetten voor content met 4k, 8k, hdr, vr en ar. Ze zeggen ook het Frand-principe te zullen eerbiedigen. Het betekent dat een patenthouder aangeeft dat hij bereid is de patenten waarvan de technologie in een standaard terechtkomt, beschikbaar te stellen aan geïnteresseerden, door onder redelijke voorwaarden een licentie voor het gebruik van de patenten te verstrekken. De uiteindelijke licentievoorwaarden worden uiterlijk in april 2022 gepubliceerd. Pas als die voorwaarden er zijn, wordt duidelijk of de bedrijven woord hebben gehouden en of de situatie nog altijd overzichtelijk is met een enkele patentgroep.

• Volgende pagina 5. Licentiechaos bij h265 en opensourceconcurrentie