Specificatie van av1-videocodec die bandbreedte moet sparen komt online

De specificatie van de av1-videocodec is af en staat online. Dat heeft de Alliance for Open Media bekendgemaakt. Bedrijven als Google, Netflix, Apple, Facebook, Amazon en Microsoft zijn lid van die alliantie.

Het inbouwen van av1-ondersteuning kost niets en de techniek staat online met een opensource-licentie, zegt de alliantie. Dankzij die specificaties kunnen makers van hardware en software aan de slag om av1 te gaan ondersteunen. Dankzij betere compressie dan bijvoorbeeld vp9 of hevc moet een video 30 procent tot 40 procent minder bandbreedte kosten zonder dat gebruikers verschil zien. Dat komt goed uit, want veel van het wereldwijde dataverbruik komt door het streamen van video's.

Mozilla heeft als test av1-ondersteuning ingebouwd in zijn browser Firefox en de bedoeling is dat alle grote browsers binnen anderhalf jaar ondersteuning krijgen voor de codec. Vanaf volgend jaar moeten processors het decoderen van av1 gaan ondersteunen, waarna het snel beschikbaar moet zijn op onder meer smartphones, tablets en pc's.

Microsoft, Google, Intel, Mozilla, Amazon, Netflix en Nvidia richtten in 2015 samen de Alliance for Open Media op met als doel het ontwikkelen van een nieuwe verbeterde videocompressiemethode die geschikter is voor het leveren van content over netwerken.

Reacties (61)

Misschien een domme vraag, maar waarom zijn partijen zoals AMD en Nvidia hier niet bij betrokken?

[edit]

Ah, laat maar. Deze zijn er bij betrokken, met uitzondering van AMD.
Hele lijst is hier te vinden: https://aomedia.org/the-a...ion-era-with-av1-release/

[Reactie gewijzigd door grote_oever op 28 maart 2018 19:31]

Ook AMD is lid van de Alliance for Open Media, zie https://aomedia.org/membership/members/

Ondersteunen de processoren van AMD deze codec dan al? Of hebben ze daar software/firmware-updates voor nodig? Of echt pas fysiek nieuwe processoren die nu nog niet op de markt zijn? Idem vraag ik me af voor Intel.

Wat ik begrijp van codecs, is dat deze zowel softwarematig als hardwarematig beschikbaar kunnen zijn.
Ik weet niet de preciese implicaties, maar gezien het een nieuwe codec is zou deze niet hardwarematig beschikbaar zijn in de huidige devices (bron1). Wel is het zo dat er gewoon een softwarematige oplossing gaat komen voor AV1. Dat dit dan meer processor intensief/ useable processing time in neemt moet je dan voor lief nemen.

bron1 : https://wiki.archlinux.or...rdware_video_acceleration
bron2: https://developer.qualcom...ia-optimization-qdsp/9894 (discussie software vs hardware)

OK tenzij AMD al op deze codec heeft geanticipeerd in zijn huidige nieuwste processoren, aangezien het bedrijf zelf betrokken was bij de ontwikkeling van de codec?

Gezien de titel, zou ik dus nee zeggen, anticiperen lukt niet. Hoe het werkt met "standaarden" is dat er een groep mensen samen komen en hier dan over nadenken en eventueel onderzoek doen. Als we nu specificaties komt online nou lezen als vandaag zijn de regeltjes vastgelegd. Dan klinkt het al heel logisch dat ze niet echt kunnen anticiperen, vaak is het wel zo dat ze een voorloper op de standaard bekend maken of dat ze een hele was lijst met functies die mogelijk moeten zijn bekend maken op een eerder stadium, echter kan de uiteindelijke versie toch nog heel wat verschillen.

Ik neem dan aan dat ze niet de standaarden vetragen en gewoon wanneer ze vast staan online brengen.

Maar helpt het dan hardwarematig niet als je alvast wat dingen/functies uit die voorlopers in je processor zet?

De meeste video (de)coders maken toch wel gebruikt van (deels) dezelfde functionaliteit. Snelle FFT , motion predictors. Dat zijn dingen die ook Hevc gebruikt. 'Hardware' decodeing betekent niet (altijd) dat je de hele videostream in een black box stopt en dat er dan frames uit komen. Het betekent (eventueel) ook dat bepaalde delen (hopelijk de traagste) vanhet algorithme hardwarematig worden uitgevoerd. Dus in zovere kan ook een nieuwe codec deels 'hardwarematig' worden uitgevoerd.

Bovendien is de scheiding tussen hardware en software nogal vaag. Is een een (in OpenCL/Vulkan shaders) op de GPU runnend algorithme hardwarematige decoding? Vanuit de CPU gezien wel.

De (co-)processors worden steeds flexibeler en programmeerbaarder.

Wordt het ook niet eens tijd dat ze FPGA's bij (consumenten) processors gaan inbakken?
Dan word je systeem direct meer future-proof

Ik zou er voor zijn :-).

Ik vermoed echter dat de gemiddelde consument liever een goedkopere processor heeft.

AMD staat anders gewoon in dat lijstje:

AMD
“AV1 offers the potential of superior video quality and interoperability across the industry,” said David Wang, senior vice president of engineering of the Radeon Technologies Group at AMD.” As a proud member of the Alliance for Open Media, AMD is committed to supporting world-class video codec technologies that enable the best media experiences for consumers.”

Die maken enkel de hardware decoder, bedrijven die genoemd zijn betalen letterlijk voor de bandbreedte en opslag van video. Die hebben er dus financieel belang bij. Intel en amd zouden wel encoders kunnen maken, echter is dat vaak software based bij dergelijke oplossingen vanwege de flexibiliteit.

Alledrie hebben wel baat bij het maken van een hardware encoder als extra selling point en dat doen ze alledrie ook al. AMD heeft VCE, Nvidia NVENC en Intel heeft QSV die ook voor encoding gebruikt kan worden.

Deze encoders zijn vooral handig voor livestreaming en de QSV encoder vind ik persoonlijk efficiënt genoeg dat ik hem ook voor dat doeleinde gebruik, dan doet de iGPU waarvoor ik heb betaald toch nog iets en belast ik de CPU (en overigens de discrete Nvidia GPU ook) niet met encoderen tijdens gaming.

[Reactie gewijzigd door Reyde op 28 maart 2018 20:05]

Volgens deze link is AMD geen founding member, maar promoot het bedrijf het project wel. Ik neem aan dat ook AMD meewerkt aan de ontwikkeling van dit project.

https://aomedia.org/membership/members/

AMD is evenzeer betrokken ;-)

AMD
“AV1 offers the potential of superior video quality and interoperability across the industry,” said David Wang, senior vice president of engineering of the Radeon Technologies Group at AMD.” As a proud member of the Alliance for Open Media, AMD is committed to supporting world-class video codec technologies that enable the best media experiences for consumers.”

AMD ook gewoon hoor: AOMedia Members

Kan niet wachten om heel mn library weer te recoden naar een efficiënter format zodra er fatsoenlijke hardware support beschikbaar is

Dan hoop ik dat je je masters nog hebt want re-encoden is bij geen enkele lossy compressie een succes. Gelukkig is veel storage tegenwoordig goedkoop. Voor het langdurig bewaren van grote (belangrijke) filmbestanden is het niet zo interessant om telkens weer de grens van het acceptabele op te zoeken bij elke nieuwe codec. Maar als we eenmaal zover zijn dat je een NAS kunt kopen die realtime AV1 hardware encoding ondersteunt, dan kan dat wel degelijk prettig zijn om op afstand content van je NAS te streamen.

Vanaf volgend jaar moeten processors het decoderen van av1 gaan ondersteunen, waarna het snel beschikbaar moet zijn op onder meer smartphones, tablets en pc's.

Wat moet er dan aan processors veranderd worden voordat ze het decoderen ondersteunen? Het lijkt mij dat elke processor het decoderen al ondersteund met de juiste software. Het lijkt mij dat er GPU's wordt bedoeld?

Elke chip heeft tegenwoordig een hardware-decoder omdat real-time decoden van hoge-resoluties video gewoon niet meer haalbaar is. Zit in Intel, Nvidia, AMD, Arm en vele andere hardware. Soms wordt gedeeltelijk de GPU gebruikt voor acceleratie, maar CPU-only doen we al een tijdje niet meer.

@Balance @NightFox89
Ik hoopte dat de smiley en de vraag of het niet GPU moest zijn wel duidelijk waren dat ik mij afvroeg of het misschien niet een fout in het artikel was.

Een processor, waarmee meestal de CPU wordt bedoeld, is een general purpose chip die opzich alle soorten berekeningen kan doen en dus al het decoderen en encoderen van AV1 moet kunnen doen, even ongeacht of een processor de benodigde rekenkracht heeft. In dat opzicht kwam het bij mij wat raar over dat in het artikel staat dat processors het decoderen van AV1 moeten gaan ondersteunen.
Tegenwoordig wordt het decoderen, en ook encoderen, al is dat niet altijd goed, kwalitatief en uitgebreidt kwa mogelijkheden als op een CPU, van video verplaatst naar de GPU, een GPU heeft namelijk een speciale video engine die speciaal gemaakt is voor het encoderen en decoderen van bepaalde media codecs, daarom vroeg ik mij af of het niet GPU's moesten zijn die aangepast moesten worden voor het ondersteunen van het decoderen, en encoderen, van AV1.
Nu begrijp ik ook wel dat processors met hun instructiesetuitbreidingen die soms ook voor media zijn misschien ook wel speciale aanpassingen voor het decoderen van AV1 kunnen krijgen, maar het is al jaren lang de norm het decoderen van video aan de video engine van de GPU over te laten. Dus ik vroeg mij af of het misschien niet een foutje in het artikel was. Al kan je in de breedte zin van processors ook een GPU verstaan.

Dat alleen GPU's hiervoor gebruikt worden is echter een aanname van je die incorrect is zoals ik ook al aangeef in mn reactie.

Zie ook bijvoorbeeld https://nl.hardware.info/...steuning-voor-hevc-en-vp9

Dat alleen een GPU deze ondersteuning (nodig) heeft is iets van vroeger.

Goed dat je dit aanhaalt, maar het blijkbaar niet helemaal begrijpt hoe het precies in elkaar zit, no offense . Ik neem aan dat je weet dat Kaby Lake een combinatie van CPU+GPU is en ga dan nog eens uitzoeken welk gedeelte van deze CPU+GPU combinatie het HEVC en VP9 gedeelte voor zijn rekening neemt. Precies, de GPU! De media engine in de GPU.

Of lees nog eens na:
reviews: Kaby Lake: dezelfde architectuur, maar iets sneller
Of dit:
https://www.anandtech.com...7700k-i5-7600k-i3-7350k/6

Of google.

Sinds videokaarten, GPU's, steeds sneller werden is het afspelen van video juist een van de eerst taken die een GPU erbij kreeg.
Bij nVidia begon dit met nVidia PureVideo in 2008 (als ik het goed herinner):
https://en.wikipedia.org/wiki/Nvidia_PureVideo

True, als je die vormen van GPU erbij betrekt dan klopt het.

Ook processoren kunnen die functionaliteit op hardware nivea krijgen. Scheelt je weer n losse GPU. 4K op hevc in 100mbit softwarematig? Dikke CPU nodig.

Idem ditto voor deze av1. Laat maar komen

Dit is de dood van HEVC voor de "kleinere spelers" omdat AV1 royalty-free is en is het een echte open standaard is.

Het gaat nog wel eventjes duren voordat AV1 in het wild terecht komt. Er zal eerst hardware matige ondersteuning voor moeten komen in hardware decoders als GPU's, SoC's, etc want het is niet erg licht in decompressie(gebruikt op het moment echt een bak meer CPU dan HEVC, optimalisaties terzijde). Net zoals HEVC zal 4K 10-bit HDR content niet te doen zijn zelfs met de highest end CPU's.

[Reactie gewijzigd door NotCYF op 28 maart 2018 22:13]

Dit is de dood van HEVC voor de "kleinere spelers" omdat AV1 royalty-free is en is het een echte open standaard.

Dat is nog maar de vraag, omdat er veel patenten worden genomen op videocompressie en het best wel eens kan zijn dat AV1 sommige patenten schendt.

Het is vrijwel zeker dat AV1 een of ander patent schendt. Er zijn heel veel patenten tegenwoordig, velen daarvan zijn zo breed mogelijk gedefinieerd. De controle op nieuwe patentaanvragen is niet al te best, dus er zijn vaak ook triviale patenten, patenten die nooit toegekend hadden moeten worden, en patenten met overlappende claims.

Daar wordt het allemaal niet duidelijker van en het wordt zo onmogelijk om zeker te zijn dat je tijdens je research alle relevante patenten hebt gevonden.

Een verdediging tegen patentenclaims van derden is dan ook al heel lang niet meer gebaseerd op het zelf hebben van de patenten. Een verdediging tegen patentenclaims bestaat tegenwoordig uit afschrikking:

• Het zelf hebben van een grote patenten portfolio zodat je iemand die jou aanvalt altijd ergens anders op terug kunt pakken.
• Samen met andere grote partijen optrekken, die ook allemaal een grote patentenportfolio en veel geld hebben.
• Van te voren al duidelijk maken dat een aanval heel duur gaat worden door bijvoorbeeld een "legal defense fund" op te richten.

En dat is precies wat de Alliance for Open Media is. Dan kan het natuurlijk nog altijd mis gaan, maar de kans is een stuk kleiner.

Als je de members eens goed bekijkt denk ik dat die de meeste patenten reeds bezitten, dus dat zal al geen probleem vormen.

Ik betwijfel het. Er zijn bedrijven die er grof geld mee verdienen en die gaan hun patenten zeker niet weggeven.

Het hele idee van AOM is dat er veel leden met grof geld en een grote patent portfolio bij zitten die eventuele 'tegenstanders' kunnen terugpakken. Het verzekert niet echt veiligheid tegen patent trolls, die maar 1 patent bezitten en zelf geen software maken, maar 'normale' bedrijven zullen denk ik niet snel de strijd met AOM aan gaan.

Dat deze idioterie nodig is bewijst maar weer dat software patenten beduidend meer kwaad doen dan goed en volledig afgeschaft zouden moeten worden. Of op zijn minst een looptijd van max 3 jaar hebben ofzo.

Een patent troll kan je niet terugpakken door met andere patenten te schermen en dat maakt deze juist heel erg gevaarlijk. Er zitten ook bedrijven tussen die hun patenten laten beheren door een patent pool zoals LA-MPEG. Die kan je ook niet makkelijk terugpakken.

Dat eerste is wat ik zeg.
Dat tweede moet zich eventueel nog bewijzen inderdaad. Hangt er een beetje vanaf hoe serieus de diverse firma's hun AOM lidmaatschap nemen.

https://www.elecard.com/page/aom_av1_vs_hevc

Initially, licensing conditions for HEVC/H.265 from MPEG LA were quite frugal - first 100,000 devices/copies per year for free, then $0.20 per copy for a maximum of $25 millions per year. There was no charge for content production and distribution in the HEVC format. HEVC Advance added from $0.20 (mobile phones, main profile, region 2) to $1.95 (UHD TV, main profile + all three extensions, region 1) per device. For content, the cost is 2.5¢ per subscription per month for OTT operators and 1.25-2.5 ¢ per title for content distributors.

Het kost geld per maand.

Psies ik moet eerst zien dat dit wat gaat worden, HEVC (H.265) zit overal in en is al omarmd dus de komende 8-10 jaar zitten we daar aan vast. Ze gaan al die apparatuur echt niet terug nemen.

Av1 kan wel gewoon toegevoegd worden aan nieuwe apparatuur hoor.

Oke, dus de specificatie komt online.
Ik heb me niet veel in video codecs verdiept dus even een paar korte vraagjes;

Wat zal de gebruikelijke extentie worden? (nog steeds .mp4?)

Hoe zit het met de audio; Is opus compatible?
(Hopelijk; dan zou je de meest efficiente audio met de meest efficiente video combineren.)

Hoe zit het met de encoding / decoding load?
(Is het bijv. lichter of zwaarder dan x264 om te en/decoderen?)

Nu de specificatie uit is, is het codec ook publiekelijk ready to use? (Beschikbaarheid specificatie associeer ik persoonlijk niet meteen met ready to use)

Extensie heeft niets met video codecs te maken, dat zijn containter formats, bijvoorbeeld .mkv kan van alles aan codecs in zich hebben.

Opus is sowieso bedoelt in combinatie met AV1, net zoals VP9 in combinatie met opus word gestuurd bij bijvoorbeeld YouTube. Opus is open source en partners van Opus werken ook aan AV1.

Encoding en Decoding load is enorm, en dan ook echt enorm op dit moment met de huidige code base, er is 0 optimalizatie gedaan en er zijn geen hardware implementaties (nog)
De specificatie is online en vastgezet, dus nu word er niet meer ontwikkeld aan nieuwe features, maar aan het optimalizeren wat er is. dat houd in dat binnen nu en een jaar de encode/decode performance met enorme factoren zal verbeteren.

Het is in theory public ready to use, de code is te downloaden en te compileren en ik verwacht binnen nu en een aantal maanden dat de meeste browsers het ondersteunen (met heavy cpu load) Waarschijnlijk zal YouTube snel overschakelen als AV1 provider als een browser ondersteuning bied, omdat het hun gewoon bakken met geld zal schelen met de data.

[Reactie gewijzigd door Vincenz0 op 29 maart 2018 10:01]

Thanks!

Over de extentie; ik begrijp dat het vaak los staat van de codec maar er zal dus waarschijnlijk geen nieuwe extentie komen specifiek voor av1 bestanden (.av1 om maar een voorbeeld te geven)?

audio en video stream hebben niks met elkaar te maken toch? Afgezien wellicht van eventueel grotere buffers nodig om verschillen in granularity op te vangen. Ik snap niet helemaal wat je bedoelt met is av1 compatible met opus. Dat hangt louter van het decoderende apparaat /software af. Als die beiden ondersteund dan ja.

En dan ben ik deze week begonnen met het omzetten van m'n bestanden naar H.265.

Dat zou ik sowieso niet doen, want H.264 (via de x264 encoder) is in veel gevallen nog steeds beter dan H.265. Zowel de encoders van AV1 als H.265 zullen nog veel tijd nodig hebben om echt significant beter te worden dan x264.

Beter in welk opzicht? Kwaliteit? Tijd? Bestandsgrootte?

Zowel kwaliteit/bitrate verhouding als tijd. Bij hele lage bitrates wil de x265 encoder het nog wel winnen van x264. Dat is ook niet zo gek, want x264 is in de loop der jaren enorm geoptimaliseerd terwijl x265 relatief nieuw is.

[Reactie gewijzigd door JackDashwood op 28 maart 2018 22:13]

Ik zal voor de gein eens een bestand zowel naar H.265 als H.264 omzetten (beide met Intel QSV in Handbrake) en de bestanden eens vergelijken. Ben benieuwd.

Edit: tijdswinst is in ieder geval flink. 36 min voor 265 vs 18 min voor 264.
Even afgemaakt:
H.264: 18 minuten, 4,14 GB
H.265: 36 minuten, 1,72 GB

Frame voor frame vergeleken in VLC, beiden identiek qua kwaliteit. H.265 mag dan wel langer duren, maar dat scheelt gewoon te veel in bestandsgrootte.

[Reactie gewijzigd door S_Chief op 29 maart 2018 01:41]

Sowieso ga je hier al de fout in dan.
Intel QSV is troep vergeleken met X264 codec.

Probeer eens een encode met goede settings.

Natuurlijk zal h265 een kleiner bestand zijn en zul je in de meeste gevallen geen groot verschil zien..

Sowieso ga je hier al de fout in dan.
Intel QSV is troep vergeleken met X264 codec.

Probeer eens een encode met goede settings.

Natuurlijk zal h265 een kleiner bestand zijn en zul je in de meeste gevallen geen groot verschil zien..

Onderbouw het eens met een bron, of moet ik het alweer zelf gaan uitzoeken zoals hierboven?

https://forum.videohelp.c...ly-Better-Than-Quick-Sync

Willekeurige Google result.
Intel quicksync is leuk en snel. Maar het resultaat is niet om over naar huis te schrijven. Beter gebruik je de x264 of x265 encoder.

Is geen simpel antwoord op. Verschilt per situatie en wat je doel is. Persoonlijk ben ik afgelopen winter nagenoeg volledig overgestapt op hevc. Kwaliteit/schijfruimte verhouding is te groot voor mij.

T lange antwoord?
https://www.techspot.com/...-h256-enconding-playback/

Lange stof, maar interessante stof. Duidelijke voorbeelden en resultaten, makkelijk te vergelijken. Kijk en oordeel zelf en maak de keuze die je zelf prettig vind. Maar die test scheelt je zelf uren testen

Zal later eens kijken, thanks. Heb toch zelf een kleine analyse gemaakt (zie S_Chief in 'nieuws: Specificatie van av1-videocodec die bandbreedte moet spar...), dus ik denk dat ik bij mijn keuze voor H.265 blijf.

En dan te bedenken dat de eerste video codec standaard H.120 uit 1984 royalty free was.

Ik hoop dat deze sneller geadopteerd gaat worden dan H264 & H265.

Toch wel vreemd dat al de Android phone soc fabrikanten niet bij de members staan. Intel, Apple, AMD, Nvidia, ARM, Broadcom, Amlogic, Realtek zijn wel member maar Samsung, Qualcomm, MediaTek, Huawei, Imagination niet.

[Reactie gewijzigd door Bulkzooi op 28 maart 2018 22:45]

Hoe weten ze dat gebruikers het verschil niet zien?

De kwaliteit kan je meten en je kan blindtesten uitvoeren bijvoorbeeld.

Als ik blindtest zie ik het verschil niet, dan zie ik namelijk helemaal niets

(Dubbel)blinde tests. Ze schotelen gebruikers video’s voor zonder te vertellen wat de gebruikte codec is en vragen de proefpersoon om aan te wijzen welke video er beter uit ziet.

Je kunt het ze vragen.
Ze zijn op hun website heel transparant over de onafhankele tests die reeds gedaan zijn. En waarom zouden ze ook niet? De efficiency claims kunnen ze goed waarmaken en dat is zeer indrukwekkend.