Valve introduceert Steam Audio

Valve heeft de Steam Audio SDK aangekondigd. Hiermee kunnen ontwikkelaars zorgen voor geluidsweergave in hun software die zich aanpast aan virtuele objecten. De audiotechnologie kan onder andere voor vr-toepassingen ingezet worden.

Steam Audio biedt op hrtf gebaseerde ruimtelijke weergave van audio, maar voegt daar een op physics gebaseerde eigenschap wat betreft de voortplanting van geluid in virtuele ruimtes aan toe. "Geluiden interacteren met en weerkaatsen op de geometrie van omgevingen, waardoor de indruk ontstaat dat ze zich daadwerkelijk in de scene's bevinden", zoals Valve het omschrijft.

Volgens het bedrijf zorgt Steam Audio voor weinig cpu-overhead en kan een enkele rekenkern honderden tot zelfs duizenden geluidsbronnen verwerken. Als gebruikers in vr een geluidsbron slechts deels zien, laat Steam Audio ook maar een deel van de geluidsproductie horen. Verder kan met de audiotechnologie de materiaalsoort van virtuele objecten invloed hebben op de weerkaatsing. Zo zal een tapijt geluid weer anders weerkaatsen dan een glasplaat.

Valve stelt Steam Audio SDK gratis beschikbaar en deze technologie is te gebruiken in combinatie met Windows, Linux, macOS en Android. Het bedrijf kreeg de technologie begin dit jaar in handen met de overname van 3d-audiobedrijf Impulsonic.

Reacties (35)

[Atmosphere]

Steam Audio .. lol ... en we gaan weer terug naar de tijd van EAX Schitterend spul, alleen zijn tijd schijnbaar iets te ver vooruit ...

Natuurlijk is dit meer toegespitst op VR dan EAX oorspronkelijk bedoeld was, maar ook Amd's TrueAudio bied deze mogelijkheden realtime in hardware...

Nu is het wel te hopen dat valve een abstractielaag heeft, waaraan de driver kan koppelen ... anders hebben we straks directsound 3d, eax (hd), aural, TrueAudio, en de variant die Nvidia pas geleden als concept aankondigde...

Ik gun het valve zeker dat ze de standaard worden, want juist hun kunnen dit soort zaken goed regelen (met oog op steam VR, de vive en source2. Geen enkele standaard heeft echt wortels kunnen schieten afgezien van EAX* dus zelf een standaard set aan functies is al een vooruitgang in mijn optiek. (* EAX was alleen beschikbaar op creative kaarten zoals de Live, Audigy enz. Hierdoor is het nooit heel breed doorgedrongen, ondanks dat het wel erg goed was.)

update:
Als ik het zo een beetje bekijk is het een open library waarbij je platform onafhankelijke realtime physics effecten op audio kan toepassen, naast een 3d audio engine.

De engine biedt de mogelijkheid om zaken vooraf te 'renderen', ipv alles realtime te berekenen om zo de CPU te sparen. Als voorbeeld kan je denken aan een alarm in een grote fabriekshal. Het galmen hiervan is een gevolg van echo, resonantie en reflectie (aka delay, resonance en reverb). Omdat de hoorn op een vaste plaats hangt in de niet veranderende ruimte, zal de galm nagenoeg gelijk zijn elke keer dat de hoorn gaat en kan dit vooraf bereen worden...

Dit laatste geeft wel een beetje aan dat er waarschijnlijk weinig gebruik gemaakt wordt van functies die beter geluidskaarten bieden, maar kan me ergens ook voorstellen dat 60% minimaal via on-board aan het game is, welke deze vaak niet in hardware ondersteunen

[Reactie gewijzigd door Atmosphere op 22 juli 2024 21:20]

[LightYears]

EAX? A3D van aureal bedoel je
https://en.wikipedia.org/wiki/A3D

[Sharky]

Nee, EAX bedoelt hij.

https://en.wikipedia.org/wiki/Environmental_Audio_Extensions

[LightYears]

EAX 1.0, the competing technology at the time promoted by Creative Labs, simulated the environment with an adjustable reverb—it didn't calculate any actual reflections off the 3D surfaces

[hiostu]

In de demo gaan ze de hoek om en horen ze de audio meteen al helemaal niet meer, dat lijkt me juist niet realistisch. Je zou op zo'n afstand nog steeds het geluid moeten worden door weerkaatsing.

@hieronder, thanks dat had ik over het hoofd gezien.

[Reactie gewijzigd door hiostu op 22 juli 2024 21:20]

[Prophet Steve]

Dat klopt, er staat ook in de video dat Indirect Sound uit staat. Ik denk dat Tweakers er beter aan zou hebben gedaan als ze deze video hadden neergezet met wel indirect geluid.

Al is het effect in deze demonstratie ook wel wat te sterk en het geluid te zacht.

[Reactie gewijzigd door Prophet Steve op 22 juli 2024 21:20]

[FRidh]

Klopt, ze gebruiken (zoals zo vaak) een raytracer wat een benadering is welke werkt voor relatief hoog-frequent geluid (je benadert de golf als een deeltje) maar sterk tekort doet bij laag-frequent geluid aangezien de modussen (staande golven) hier niet mee gesimuleerd wordt. Wil je dat wel doen dan moet je het golfkarakter simuleren. Dat betekent doorgaans een numerieke methode gebruiken (zoals FEM, FDTD, of PSTD) en een oplossing vinden voor je specifieke probleem, wat inhoudt dat je de exacte geometrie (met materialen) moet weten maar ook de locatie van de ontvanger en de bron. Dat is nog iets te zwaar voor een spelletje

Ik heb zojuist de documentatie even snel doorgenomen en ik vind het jammer dat (zoals zo vaak) niet verteld wordt hoe ze de fysica benaderen. In mijn onderzoek simuleer ik hoe het klinkt als er een vliegtuig overvliegt, en heb daarvoor een model moeten implementeren welke de fysica voldoende benadert voor ons onderzoek.

Effecten zoals geometrische uitbreiding (amplitude), Doppler-effect (phase) en geluidsdemping in de atmosfeer kunnen gemakkelijk in real-time worden gesimuleerd. Zodra je met reflecties (en dus doorgaans met meerdere rays zoals ook hier) aan de slag gaat wordt het wel zwaarder.

[daellat]

Doe je in je onderzoek ook rekening houden met accelereren en afremmen in de lucht? Ik weet niet welke van de twee ze boven mijn huis soms uitvoeren maar een gewone vlucht die overkomt hoor ik al niet meer door gewenning maar soms komt er een hoog frequent geluid bij en dat is echt behoorlijk luid.

[FRidh]

Mijn model houdt daar geen rekening mee, maar als ik het goed heb houdt het model dat het NLR (en ook NASA Langley) heeft daar wel rekening mee. Zij modelleren namelijk de dynamica van een vliegtuig en vervolgens het geluid wat dat veroorzaakt en hoe het propageert. Of dit specifieke geluid ook gemodelleerd wordt weet ik niet. Ik heb mij in mijn onderzoek voornamelijk bezig gehouden met de geluidspropagatie en gebruikte als emissie signalen gebaseerd op opnamens.

Wat jij hier aangeeft is eigenlijk ook de reden dat we dit soort onderzoek doen. Momenteel kijken we bij geluidsoverlast in principe alleen naar hoe sterk het geluid energisch gezien is, en drukken dat uit met decibellen. Soms worden er nog wat correcties toegepast (bijvoorbeeld wanneer geluid een tonaal karakter kent) en dat is het wel. Wat je eigenlijk moet doen is kijken wat de impact is van het daadwerkelijke geluid. Daarvoor simuleren wij dat nu.

[k.theuws]

dat is omdat indirect sound uit staat in deze demo (geen weerkaatsingen)

[Kiboki]

HRTF in CounterStrike Global Offensive ook al ontdekt, echter wel erg wennen op mijn surround set, heeft zijn plus en minpunten.
En op mijn stereo headset natuurlijk geen aanrader

[SomerenV]

HRTF is juist bedoeld voor stereo headsets. HRTF simuleert in principe menselijke oren en hoe die geluid oppikken relatief aan de bron van de audio en de omgeving. Op die manier kun je een soort van surround sound nabootsen op een stereo headset. Een surround set kan het geluid gewoon achter je afspelen waardoor simulatie niet nodig is.

HRTF is een beetje hetzelfde als Binaural Audio, met als verschil dat Binaural Audio daadwerkelijk opgenomen is met een speciale microfoon in de vorm van twee oren om de akoestiek van oren na te bootsen. HRTF is een simulatie daarvan.

[Kiboki]

Oh dan heb ik dat verkeerd gebrepen inderdaad, voor alsnog vind ik het niet alles, zonder hrtf klinkt het natuurlijker en kan ik dingen vel beter inschatten. Dit in het geval van Counterstrike.
Bedankt voor je reactie!

[enchion]

Dat is omdat je hersenen inmiddels staan ingesteld/gecalibreerd op "gewoon" stereo geluid.

Het zal dus even wennen zijn voordat je de verbetering gaat merken.

However, als je ook andere dingen/spellen doet achter de pc dan zal die calibratie niet zo snel tot stand komen aangezien je hersenpan ook de akoestische calibratie houdt voor die andere gevallen. (je hersenen moeten dan dus een nieuw specifieke calibratie profiel gaan aanmaken, dat kost imho iets van een week of 2. (Dat baseer ik op een keer dat ik de meubelen en speakerlayout in m`n woonkamer had gewijzigd, daarna duurde het 2 weken voordat het geluid weer goed klonk)

Ook wordt er voor hrtf een standaard hoofd gebruikt, en dus 100% kans dat dat hoofd niet overeenkomt met jouw hoofd, wat irriterend kan werken omdat je hersenpan blijft switchen/twijfelen tussen je eigen hoofd profiel of een nieuw profiel aanmaken aangezien de match erg dicht bij elkaar ligt.

Er zijn hrtf programma`s/api`s waarmee je je eigen hoofd kan instellen, maar dat is een hoop werk met apparatuur/programma`s die en ook aardig wat geld kosten.

[Reactie gewijzigd door enchion op 22 juli 2024 21:20]

[legendareN]

https://www.youtube.com/watch?v=4BltHXngvlk

Hier kan je het beluisteren in CS:GO. Het is even wennen maar voegt zeker speel ervaring toe.

[fuse.core]

Niet echt het zelfde geloof ik. Als we dit systeem in csgo krijgen zou Nuke een heel andere ervaring zijn. Hoewel ik wel blij ben dat we nu kunnen horen of het A of B is op nuke...

[legendareN]

Is precies hetzelfde. Het heet ook gewoon hrtf.

Het is dan ook de eerste implantatie van de software in CSGO, er zullen ongetwijfeld updates komen.

[Reactie gewijzigd door legendareN op 22 juli 2024 21:20]

[fuse.core]

Uit het artikel maak ik op dat Steam Audio gebaseerd is op hrtf, maar csgo heeft zeer zeker geen physics based audio occlusion. Als ik op B sta in Nuke hoor ik iemand op heaven wandelen.

[Prophet Steve]

Nee, dat is niet helemaal hetzelfde. HRTF (Head related transfer function) houdt rekening met het feit dat geluiden anders klinken liggend aan uit welke richting ze komen.

Dat zit inderdaad in Steam Audio geïntegreerd, maar is niet alles. Daar bovenop zitten nog de elementen als Occlusion, Physics-Based Reverb en Real-Time Sound Propagation die invloed hebben op hoe geluid klinkt in een omgeving. Dingen als hoe groot een ruimte is en of er een muur tussen jou en het geluid staat hebben hier een invloed op.

Die laatste factoren heeft CS:GO naar mijn weten niet.

[Reactie gewijzigd door Prophet Steve op 22 juli 2024 21:20]

[Dykam]

HRTF is een naam voor de "formule" die bepaalt hoe geluid klinkt voor elk oor als het ergens vandaan komt.

Dit zegt absoluut niks over hoe het geïmplementeerd is, en de kwaliteit ervan. Na het luisteren, lijken ze weinig overeen te komen. Het is mogelijk, met andere parameters, maar volgens mij is het onafhankelijk ontwikkeld.

[BrutalDave]

Is er ook een video waar Indirect sound aanstaat? Ik ben wel benieuwd hoe dat verschil dan klinkt.

[Prophet Steve]

Alstublieft

[BrutalDave]

Mijn dank is groot!

[Sourcey]

En toen kwam ik erachter dat mijn speakers verkeerdom staan

[Verwijderd]

Ga je schamen!
Altijd checken als je audio apparatuur aansluit, heeft iedere hifi boer een hele verzameling muziek voor, en in het geval van een pc heeft ieder mobo tegenwoordig wel zon programmatje om audio out per speaker te testen

[Iva Wonderbush]

Haha, ik net ook!

[mikesmit]

Is dolby atmos van nature al niet geschikt hiervoor (object audio)?

[inorde]

Atmos doet voor zover ik weet niets met geluid weerkaatsen of blokkeren. Elk geluid is qua locatie vastgelegd en wordt voor de rest niet beïnvloed.

[CriticalHit_NL]

Moet ik hierbij denken aan zoiets als dit?
https://www.youtube.com/watch?v=05EL5SumE_E
Dat zou wel gaaf zijn.

[Verwijderd]

Interessant, NVIDIA is met een vergelijkbaar iets bezig, denk dat beide systemen vooral bedoeld zijn voor toepassingen in VR, maar ik denk dat niet-VR games hier ook zeker baat bij kunnen hebben.

Hoe dan ook, tof! en helemaal dat ze het gratis beschikbaar stellen op al die genoemde platformen, dat is al meer dan NVIDIA momenteel ondersteund

[TheCaptainFordo]

Wauw, hier kijk ik wel naar uit!
Het is goed dat Valve zich tenminste met iets bezighoudt ipv gewoon te blijven cashen op sc:go en tf2.