Sony introduceert 360 Reality Audio voor 'driedimensionale muziekbeleving'

Sony heeft op de CES-beurs in Las Vegas '360 Reality Audio' aangekondigd. Het gaat om een nieuwe codeertechnologie die luisteraars het gevoel moet geven dat het geluid uit alle richtingen komt.

De nieuwe codec is gebaseerd op MPEG-H 3D-audio. Door de ondersteuning van Sony’s objectgebaseerde audiotechnologie zijn elementen als zang, instrumenten en effecten volledig driedimensionaal hoorbaar, zo claimt de Japanse elektronicareus. Voor het bouwen van een ecosysteem rond 360 Reality Audio werkt Sony onder meer samen met muzieklabels en distributeurs. Het bedrijf levert tevens de noodzakelijke apparatuur om artiesten en producers in staat te stellen content te produceren.

Bij 360 Reality Audio worden elementen als de positie, afstand en hoek van bijvoorbeeld instrumenten in de studio meegenomen in de geluidsopnamen. Dit resulteert volgens Sony in een muziekbelevenis die aanvoelt als het bijwonen van een liveconcert. Bestaande geluidsopnames met meerdere sporen kunnen worden geconverteerd naar een formaat dat compatibel is met 360 Reality Audio. De technologie is zowel geschikt voor hoofdtelefoons als luidsprekers. Bij draadloze speakers ligt de focus op het reproduceren van een driedimensionale muziekbeleving via één afzonderlijke luidspreker. Ook andere fabrikanten van audioproducten kunnen gebruik maken van de nieuwe audiocodec.

Voor de distributie van 360 Reality Audio-content werkt Sony onder meer samen met Fraunhofer IIS, de grootste Europese organisatie voor toegepast onderzoek naar MPEG-H 3D Audio. Daarnaast zijn er partnerschappen met streamingservices om via een premiumpakket content aan te bieden. Ter gelegenheid van de introductie van 360 Reality Audio legde Sony een reeks concerten vast van onder meer The Wombats, AJR, Good Charlotte, Chris Lane, Jesse McCartne en Kodaline.

Het is niet voor het eerst dat Sony een eigen geluidsformaat ontwikkelt. Denk maar aan de atrac-compressie die voor het eerst gebruikt werd in minidisc-apparaten en later in de Walkmans van Sony. Een meer recent voorbeeld is ldac, een coderingstechnologie voor het draadloos streamen van hi-res audio.

Reacties (35)

Doet mij denken aan 4Dsound van een tijd geleden. Niet zeker of het nog actief is..

http://www.4dsound.net/

Ik moest er ook meteen aan denken! Ik zou ontzettend graag een opname van één van de concerten terug willen horen (binaural is toch echt wel een stuk minder bijzonder).

4D Sound is naar mijn weten nog actief, maar ze zitten nu in Hongarije en de marketing staat een beetje on hold. Ze noemen zichzelf the institute for spatial sound, en hebben daar nu een aantal artiesten in scholing. Ik hoop dat ze op een gegeven moment ook weer open gaan voor het publiek.

Wat mij vooral interessant lijkt aan object based audio is enerzijds de flexibiliteit in speakeropstelling en anderszins de mogelijkheid om het volume van individuele objecten te veranderen.
Bij het eerste hoef je je surround set dus niet meer in de 'perfecte' opstelling te plaatsen voor de ultieme beleving, maar kan je de amp gewoon kalibreren op jouw opstelling.
Bij het tweede kan je bijv. als slechthorende de stemmen van de objecten "acteur" harder zetten.

[Reactie gewijzigd door MeMoRy op 8 januari 2019 11:31]

Objectgebaseerd audio lijkt me dan ook ideaal voor consoles waar multiplayer games op worden gespeeld, dan heeft iedere speler zijn eigen geluidsbeleving.

Ik ben heel erg benieuwd!

Ondanks dat menig Tweaker erg negatief doet over "3d sound" uit stereospeakers, was ik juist blij verrast toen Roger Waters' Amused to Death uitkwam. Dit album is gemixt met Qsound (http://qsound.com/) technology en de 3d-effecten zijn fantastisch.

https://www.hifi.nl/recen...th-het-succesverhaal.html

Voor de luisteraars die dit soort verschillen niet waarnemen is het misschien leuk om eens bij iemand te gaan zitten luisteren naar een betere audioinstallatie. Er gaat een wereld voor je open.

De website waar je naar verwijst is uit het Flash en Windows Media tijdperk. Ziet er niet uit en werkt dus ook niet meer op een moderne computer. Er zijn meerdere technische oplossingen geweest om audio ruimtelijker weer te geven maar voor mij werkt het alleen bij een surround-opstelling. Al moet ik zeggen dat de 3D-audio bij mijn Playstation VR erg indrukwekkend is. Maar het kan niet op tegen MultiChannel SACD audio of DolbyHD/Atmos.

Jammer is dat het een idee van Sony is wat dan waarschijnlijk weer een stille dood zal sterven, zeker als het een codec is die anderen moeten implementeren, DSD is subliem maar HiRes FLAC files zijn nu de standaard op het gebied van loss-less audio.

Zijn de mensen bij Sony ooit wel eens bij een live concert geweest.. als dat iets niet is, is het 3 dimensionaal (op een wat kleiner concert van Nemesea na dat daadwerkelijk in surround door de speakers kwam - https://www.hifi.nl/nieuw...lpt-Nederlandse-band.html). Concerten zijn vrijwel altijd stereo.

[Reactie gewijzigd door SunnieNL op 8 januari 2019 07:04]

Ik begrijp je punt, toch ben ik het er niet helemaal mee eens. En dat komt deels doordat ik de titel misleidend vindt.

Sony heeft een nieuw format ontwikkeld voor object gebaseerd audio. De titel geeft aan dat dit format bedoeld is voor 360 graden muziek. We weten allemaal hoe het is gegaan met surround sound en muziek. Dat werd niks. Echter in andere multimedia (films & games) wordt surround sound wel veel gebruikt! Ik denk dat het hier veel geschikter voor is. Dolby gebruikt object gebaseerd audio al een tijdje in Dolby Cinema.

Daarnaast is het met object gebaseerd audio veel eenvoudiger (denk ik) om een track in "surround" te maken. Mogelijk wordt het dan ook interessanter voor artiesten en producenten om het wel uit te voeren. Een tijdje terug heb ik een demo gekregen van film en drum 'n bass muziek waar object gebaseerd audio wordt gebruikt. En ik moet toegeven dat ik hier wel meer waarde aan hecht.

Bovendien is een concert wat je live ziet vaak ook niet vanaf 2 punten. Een podium is tegenwoordig zo groot dat je het niet echt als twee punt bronnen kan beschouwen. En dan ben ik nog niet eens begonnen over akoestiek. Met object based audio kan je een individueel geluid (object) plaatsen met behulp van 3D waveform analysis.

Object gebaseerd audio heeft een hoop voordelen, maar het is gewoon nog niet geschikt voor de consument (in het huidige stadium). Ik ben blij dat Sony hier stappen in probeert te zetten.

De eerste film die ik op mijn toen gloednieuwe surround set keek was "Drive" en daar was de muziek ook in surround. Een zenuwachtig electronisch basloopje circkelde om onze bank heen.

Daarna heb ik dit nooit meer gehoord in de muziek.
Bij concert registraties blijft surround niet meer dan een gimmick waarbij wat publieksgeluid achter je klinkt.
En heel eerlijk ook in films en games worden de rear speakers vaak met wat geluidjes gevuld (publiek bij FIFA, wat random paardengetrappel bij Game of Thrones) makkelijk gevuld en wordt er nauwelijks creatief mee om gegaan.

In elektronische muziek zie ik nog wel een toepassing, de opzwepende lead naar "the drop" zou om je heen kunnen tollen.

Maar als producers al zo weinig creatief zijn met surround, heb ik weinig hoop dat er muziek zal komen met een 3D opstelling.

Dan is het meer een tegenhanger van Dolby Atmos.

Als het op objecten gebaseerd is, is het meer een tegenhanger van DTS:X dan Dolby Atmos. Dolby is gebaseerd op gescheiden kanalen terwijl DTS gebaseerd is op objecten. Dus waar personen zich bevinden in de ruimte en dan de audio over de juiste kanalen naar de personen krijgen.

Voor zover ik weet werkt Dolby Atmos ook middels objecten gepositioneerd in de ruimte. Dit maakt het mogelijk voor sound engineers om te bepalen waar een object zich bevind in de ruimte (ipv het vooraf mixen van de verschillende geluiden per audio-kanaal). Audio processoren kunnen vervolgens bepalen, aan de hand van de informatie over de speaker/ruimte setup, hoe de audio van het object precies afgespeeld moet worden over de verschillende kanalen (de verschillende audio streams worden dus real-time gemixed).

Klopt, Ik heb het opgezocht maar je hebt gelijk. Ook Dolby Atmos is naar object georiënteerd geluid gegaan met real-time mixen. Het valt me wel op dat voor lossless geluid op blu-rays eigenlijk altijd DTS HD Master Audio wordt gebruikt en geen Dolby TrueHD. Ook DTS:X is een praktischer formaat for 'emersive sound' dan Dolby Atmos, vooral vanwege de eisen aan het plaatsen van de speakers. Atmos heeft hoogte speakers nodig, terwijl DTS:X veel flexibeler is en daardoor handiger voor thuisbioscopen.

Exact wat ik dacht. Zelfs als het niet versterkt is (bijvoorbeeld een klassiek concert) dan komt het geluid nog steeds uit één richting, namelijk recht voor je. Wellicht dat iemand die goed luistert hoort dat de vioolsectie links zit, maar door de akoestiek van de zaal is dat vaak niet eens hoorbaar. Bovendien is het dan bog steeds "stereo".

Dit klopt niet helemaal. Een instrument straalt uit naar alle richtingen in een bol van 360 graden. Er is dus zeer veel akoestiek van de zaal dat ervoor zorg dat hetzelfde optreden in verschillende ruimtes anders kan klinken. Als je die akoestiek helemaal weg zou halen zoals in een dode kamer, dan zal het zelfs compleet anders klinken.
Het idee van 360 graden audio is dus om de beleving van zo'n optreden precies te reproduceren. Je kan dan namelijk dmv plaatsing de akoestiek van een zaal namaken, waardoor het echt lijkt alsof je er bij bent. Met stereo kom je in de buurt, maar ben je beperkt tot 2D.

Dat zeg ik toch ook? Door de akoestiek van de zaal (die overal anders kan zijn) is onmogelijk nog te bepalen waar het geluid origineel vandaan komt. De meeste concertzalen die ik ken zijn er in ieder geval op gericht om het naar achteren, richting het publiek te weerkaatsen. Je gaat ook in de meest spectaculaire concertzaal geen viool achter je horen terwijl de pauken van boven komen.

Volgensmij kun je wel degelijk horen waar in de ruimte de violen spelen. De geluidsgolven weerkaatst door de wanden van een ruimte komen namelijk later bij je oor aan dan de geluidsgolven die rechtstreeks van het instrument komen. Daarnaast zijn de weerkaatste golven zachter qua volume. Je hersenen kunnen dit onderscheid maken en je registreert de optelsom van de geluidsgolven (direct en via muren) als één klank, waarbij een volume en een richting zit.

Anyways, het doel van het opnemen van een concert is om de belevenis zo precies mogelijk te kopieren naar een huiskamer. Inclusief akoestiek. Als je hier alleen maar stereospoor voor hebt, zal dit nooit de ervaring kunnen kopieren. Gebruik je surround opnames en een surround audioset, dan kun je al meer kopieren van de originele belevenis. Komt daar de derde dimensie bij, dan kun je in theorie precies de ervaring kopieren van een concert vanaf een bepaalde plaats in het publiek.

Dit klopt niet helemaal. Een instrument straalt uit naar alle richtingen in een bol van 360 graden. Er is dus zeer veel akoestiek van de zaal dat ervoor zorg dat hetzelfde optreden in verschillende ruimtes anders kan klinken. Als je die akoestiek helemaal weg zou halen zoals in een dode kamer, dan zal het zelfs compleet anders klinken.
Het idee van 360 graden audio is dus om de beleving van zo'n optreden precies te reproduceren. Je kan dan namelijk dmv plaatsing de akoestiek van een zaal namaken, waardoor het echt lijkt alsof je er bij bent. Met stereo kom je in de buurt, maar ben je beperkt tot 2D.

Moet ik dit dan zien als muziek die door een soort van convolution reverb (met daarin de impulse response van de ruimte) wordt afgespeeld of is de techniek van Sony iets anders?

Uiteindelijk gaat het om de "soundstage" zoals ze dat graag mogen noemen die gecreeerd word en het probleem daarbij is eigenlijk altijd de plaats van de luisteraar(s).
Zelfs met 2 speakers in stereo is een perfecte surround ervaring te creeren.
Probleem daarmee is alleen dat dat alleen werkt in een ruimte die daar voor geschikt gemaakt is (kijk naar de gemiddelde studio mix en master ruimtes) en door de luisteraar precies in het midden op de ideale plek te zetten(sweet spot).
Dit werkt doordat je doormiddel van faseverschuivingen en panning eigenlijk "virtuele speakers" creëert.
het probleem daarmee is dus dat zodra je ruimte niet perfect is, of je speakerplaatsing of puur het feit dat je met zn 2en bent en dus niet beiden in de sweetspot kunt zitten, dat die illusie volledig uit elkaar valt.
Dat is waar meerdere speakers en speaker kanalen voor bedoelt zijn om die "virtuele speakers" te vervangen met echte speakers waardoor de sweet spot veel groter zal worden omdat je minder van een illusie afhankelijk bent.
Zo word bij live muziek inderdaad vaak in stereo gemixed maar in de praktijk heeft 90% van het publiek een mono ervaring vanwege hun locatie in de zaal. Zo zijn center fills en delay stacks bij echt grote concerten vaak ook mono en ook een van de redenen dat heel veel live concerten en clubs gewoon mono draaien en niet eens stereo gebruiken.
De enige manier om voor een dergelijk publiek weer een stereo ervaring te creeeren is door bijvoorbeeld een center cluster op te gaan hangen (iets wat in theaters bvb vanwege de stemmen die uit het midden moeten komen standaard is, maar bij concerten vaak niet word gedaan ivm kosten en de mogelijkheid voor aankleding, backdrops en lampen in het midden boven het podium.)

Conclusie 90% van de tijd horen mensen bij live concerten mono geluid.
Dan maakt zo'n orkest met zo'n mooie zaal zeker wel een enorm verschil in de stereo beleving hoor want ineens heb je enorm veel audio bronnen die je ook echt horen kunt en die allemaal hun eigen effect op de acoustiek hebben en dus de nodige reverb creeeren en het gevoel geeft dat je er bij bent.
En juist dat is het verschil wat ze proberen te maken met surround muziek denk ik.

Het enige echte surround concert dat ik ooit zag, had in iedere hoek van de zaal een bandlid met zijn uitversterkte instrument

Tenzij het om een akoestisch concert in een concertzaal gaat. Dan heb je soms zelfs honderden "kanalen" als er een symfonie-orkest met koor tegenover je snufferd staat

De term 3D is zo vaak in marketing gebruikt dat ik het bijna niet meer serieus kan nemen. De druppel voor mij was een reclame voor vrouwen waarbij een tampon in 3D uitzet.

De term 3D is zo vaak in marketing gebruikt dat ik het bijna niet meer serieus kan nemen. De druppel voor mij was een reclame voor vrouwen waarbij een tampon in 3D uitzet.

Snap je insteek, zeker bij het laatste voorbeeld. Maar wat is het alternatief?
Want naast marketing en media hype wordt 3D denk ik ook veel gebruikt omdat het een veelzeggende term is. Die bovendien in bepaalde situaties moeilijk te vervangen is, tenzij je nog vagere termen gaat gebruiken.

Hoe doe je dat bij TVs? De kijkdoos die meer perspectief geeft dan het traditionele platte plaatje? Dat zou ik ook 3D beeld noemen. Eerder hadden we het in games over 3D modellen, 3D werelden omdat het daarvoor 2D was. Een tool als 3D Studio Max, zal 3D in de benaming gebruiken om het zich hoofdzakelijk richt (voor zover ik weet) op het maken van 3D modellen. Dit is nog pre 3D TV hype.

Voor hetgeen Sony hier omschrijft vind ik 3D eigenlijk een betere naam dan dat 360 graden, waar je tegenwoordig eigenlijk meer mee wordt doodgegooid.
4D vind ik persoonlijk ook een veel grotere bullcrap term. Fysiek is deze moeilijk tot onmogelijk, of in ieder geval voor ons schepsels nauwelijks waarneembaar. Als iedereen de vrije interpretatie geeft komen dingen als 'tijd' naar voren of trillende stoelen in de bioscoop (iets meer richting 'tast' ofzo?).

Anyway, als Sony die bronsignalen op deze manier nog meer kan verfijnen kan dat voor de imersie echt heel gaaf zijn.

Als je er maar 3D brillen bij krijgt, anders heb je er nog niks aan

Is dit niet gewoon de Sony variant van Dolby Atmos? Dat werkt n.m.l. ook met audio objecten in een drie dimensionale ruimte.

Atmos (en DTS:X) positioneert audio-objecten in de '3D' spatiale ruimte waarbij in ultimo gebruik wordt gemaakt van tientallen luidsprekers om de geluiden precies te plaatsen. Maar ook met de toevoeging van twee hoogte-luidsprekers kun je dit al aardig reproduceren in je woonkamer (mits de bron goed is) Dat is een wezenlijk verschil met het gebruik van Stereo (of mono) luidsprekers bij deze toepassing van Sony, dat kinkt mij meer als Binaural in de oren (bij gebruik van een koptelefoon)

Een mooi voorbeeldje vind ik trouwens de intro van Roma op Netflix, deze klinkt zo ruimtelijk en helder, gaaf hoor. DolbyHD-Atmos kan nog veel beter klinken maar de implementatie is imho vaak teveel in your face of juist minder opvallend om puur atmosfeer weer te geven (regen, wind, echo). Check The Predator of Player One als voorbeelden.

Deze nieuwe techniek van Sony maakt inderdaad in tegenstelling tot Dolby Atmos gebruik van twee luidsprekers, met als achterliggende gedachte dat een mens ook maar twee oren nodig heeft om 3D-geluid te horen. Wat dat betreft doet het mij heel erg denken aan het oude A3D (wat een overlap in functionaliteit had met EAX):

https://nl.wikipedia.org/wiki/A3D

Lijkt er zeker op maar dat we twee oren nodig hebben om #D te horen zegt niet dat je dat met 2 speakers kunt bereiken. Je hoort namelijk met je twee oren niet alleen geluid vanuit twee vaste punten. Je hoort het om je heen van bronnen om je heen. Een beetje als bij Dolby Atmos / DTS:X :-)

Voor je oren zijn het alleen geluidsgolven/trillingen die binnenkomen. Je hersenen bepalen op basis daarvan uit welke richting het geluid komt. Als je deze geluidsgolven aanpast, kan je de hersenen foppen over de herkomst en richting van het geluid. Natuurlijk is een echte surroundopstelling altijd beter dan dit soort technieken, al is het maar omdat zoals ik ook in een bericht hieronder zeg het waarschijnlijk wel nodig is dat je (precies) in een bepaalde sweet spot blijft zitten. En ook dan is het effect niet 100%.

Bij draadloze speakers ligt de focus op het reproduceren van een driedimensionale muziekbeleving via één afzonderlijke luidspreker.

Wat heeft draadloos er precies mee te maken?

Bovendien, 'het reproduceren van een driedimensionale muziekbeleving via één afzonderlijke luidspreker,' ja, daat gaat dus gewoon niet (tenzij die zogenaamde ene speaker met allemaal verschillende 'cones' gevuld is, die allen een verschillende kant op wijzen; beetje een Bose-idee, zeg maar).

Lijkt me dat deze techniek ook een beetje aan het interferen is met wat Atmos doet.

Omdat men draadloze speakers vaak maar 1 per keer gebruikt/aan heeft staan/in huis heeft.
Een JBL Charge, een Samsung R7, etc.
Deze units geven best een leuk geluid voor een feestje, avondje in de tuin, etc. Als dit beter kan worden door een andere codec, prima toch?

Wat heeft draadloos er precies mee te maken?

Die draadloze speakers zijn vaak zo duur dat je er maar eentje per kamer wilt hebben .

Mits deze nieuwe techniek op een vergelijkbare manier werkt als het oude A3D, kan 'het reproduceren van een driedimensionale muziekbeleving via één afzonderlijke luidspreker', wel degelijk zolang de content speciaal hiervoor gemaakt is en de luisteraar in de juiste sweet spot ten opzichte van de luidspreker(s) zit indien men geen hoofdtelefoon gebruikt.

Lijkt mij een extra dimensie aan het geluid toe te voegen. Van mono naar stereo, nu naar deze dimensie. Waarom blijft de muziek in een koptelefoon altijd constant. Zou zo echt zijn als muziek meebeweegt. Dus Laar maar komen,..

Driedimensionaal geluid met slechts één luidspreker is zondermeer revolutionair. Ik was al tevreden met stereogeluid via een enkele luidspreker. Komt er ook een VR bril waarmee je diepte kunt waarnemen als je blind bent aan één oog?