Artikel over moderne audiotechnieken in games

Digit-Life brengt ons een artikel over de ontwikkelingen op het gebied van geluidseffecten in games. Op dit moment zijn in gamedevelopment de graphics nog veel belangrijker dan het geluid, maar hier lijkt verandering in te komen. Waar we begonnen met stereo, zijn we nu al beland bij 3D-geluid of zelfs multi-channel. Het idee van 3D-geluid is dat de geluidsbronnen zich in de driedimensionale ruimte rondom de luisteraar bevinden. Het maakt een scène uit een game realistischer, en trekt de speler mee in de wereld van het spel.

Er worden verschillende technieken gebruikt om het gedrag van geluid in de echte wereld na te bootsen. In het zeer uitgebreide artikel staan de verschillende technieken die nu gebruikt worden goed beschreven en uitgelegd. Denk bijvoorbeeld aan het gebruik van het Doppler-effect in racespellen, en de volumetric sound sources. Deze techniek maakt het geluid van een grote nabije geluidsbron realistischer door de bron voor te stellen als een groot driedimensionaal figuur in plaats van een puntvormige bron.

Wavetracing is een techniek in ontwikkeling, die het gedrag van geluid berekent in bijzondere situaties, zoals bijvoorbeeld weerkaatsing en obstructie. Aureal was bezig met het ontwikkelen van deze technologie. De audio engine verwerkt zijn data in geometrische principes als lijnen, driehoeken en vierkanten. De grafische elementen van het spel wordt door een convertor omgezet in audiolijnen, terwijl het spel geladen wordt. Door de combinatie van 3D-geluid en de akoestiek van de omgeving wordt het geluid ontzettend realistisch. Helaas is deze technologie nog ver van perfect:

The audio polygon has its own location, size, shape and properties of the material it's made of. Its shape and location are connected with the sound sources and listener and influence how each separate sound is reflected or goes through or round the polygon. The material properties can change from transparent for sounds to entirely absorbing or reflecting.

The database of the graphics geometry (which is displayed on the monitor) can be passed through the converter which turns all graphics polygons into the audio polygons while a game level is loaded. Global values can be set for parameters of reflecting or occluding objects. Besides, it's possible to process the graphics geometry database in advance by processing the polygon conversion algorithm and storing the audio geometry database in a separate file-card and swapping this file while a game's level is loaded.

Reacties (57)

[Tjark]

En dan heb je een kaart die dit een beetje doet (aureal A3D 2.0), wordt je uitgemaakt als cheater in CS omdat je 'om de hoek kan horen'.

* 786562 Tjark

[Hellie112]

volgens mij heb je daar echt geen aureal A3D 2.0 voor nodig om dat te horen

[Verwijderd]

Klopt...je moet gewoon goed luisteren....dan maakt het weinig uit of je stereo hebt of eax of a3d.
Het geluid van voetstappen e.d. is gewoon duidelijk genoeg.
PS: En je oren moeten natuurlijk ook goed zijn.

[Verwijderd]

ik merk het echt wel of ik op me AC97 kaart in me laptop zit te knallen of met een Sennheiser en een Audigy via mn Onkyo amp hoor.

Het schilt echt heel erg, ik wordt elke keer voor WH'er uitgemaakt omdat je de mensen gewoon kunt volgen terwijl ze door de map heen sjeezen..

[Verwijderd]

Het is weldegelijk zo dat mensen met A3D veel beter geluid hebben dan mensen met een "normale" geluidskaart. De spelers zijn van grotere afstand en duidelijker te horen e.d. In de volgende versie van Counter-Strike wordt waarschijnlijk A3D ook niet meer ondersteund omdat de mensen met A3D simpelweg te veel voordeel hebben.

[/progamer]

[JeroenNietDoen]

Is toch zo Als je met A3D in een war als CT op DE_Aztec begint dan kan jij vanaf spawn al horen of T in het water springt. Dat is toch niet eerlijk Dan ben je dus idd een cheater.

[ronny]

volgens mij moet je eens met een woordenboek op zoeken wat het begrip cheater betekent.
Als je gewoon gebruik maakt van de mogelijkheden in het spel dat is dat toch geen vals spelen
Iemand met een snellere Videokaart is dus ook aan het cheaten
Als je vind dat je door het geluid benadeeld wordt moet je zien dat je een andere kaart koopt dat je weer op gelijke voet staat

[Verwijderd]

Aha, dus als ik mijn ex_interp (de grootte van de hitboxes) op 0.0000001 zet dan mag dat gewoon van jou? Dat is gewoon een instelling.

Het gaat een beetje offtopic, maar het komt erop neer dat je weldegelijk voordeel hebt.

[Verwijderd]

Ben het idd eens met Hellie112, je hebt eerder een goede headset nodig in CS om alles goed te kunnen horen....

[stamp]

Kan met mn vortex 2 kaart in counterstrike vrij goed horen waar iedereen zich bevind je kan zelfs bepalen of ze onder of boven je zitten,

maar dat het cheaten is vind ik onzin zit toch gewoon in het spel, waarom zou je het dan niet gebruiken

[Corn]

Leuk, maar dat wavetracing is niet echt een gloednieuwe ontwikkeling. Ik heb hier nog zo'n Aureal Vortex II liggen (hcc @ 15 euro) en die ondersteund het ook. Jammer genoeg heeft Aureal nooit de win2k (en ook XP) drivers afgemaakt, onder 2k moet je allemaal tweaks doen om het een klein beetje te laten werken. En zoals al gezegd is is de kwaliteit van de meeste spellen te slecht om er ook maar IETS van te kunnen horen

[Aboe]

vortex 2 onder win2k wil nog wel aardig hoor.. onder xp doet ie het wat minder helaas..
geniale kaart op zich.. helaas iets meer voor betaald dan 15 euro, maar a la..
zonde iig dat zoon stukje techniek nu verdwijnt omdat creative simpelweg er niets/weinig mee doet (tja ws eea gebruiken voor latere versies van EAX)

[mjtdevries]

De meeste spellen ondersteunden dan ook geen A3D 2.0 wat je daarvoor nodig had, maar gewoon A3D 1.0

Hoewel A3D 1.0 nog steeds beter klonk dan EAX was A3D 2.0 echt een wereld van verschil.
Met als beste voorbeeld natuurlijk Half-Life.

Ontzettend jammer dat het er niet meer is.

[machuidel]

Nu steeds meer dingen overgenomen worden door de GPU wordt het inderdaad steeds makelijker om meer kracht aan bijv. geluid, physics en AI te besteden. Dat doe ik ook voor mijn game engine. Het mooie is (wat ook in het artikel wordt uitgelegd) dat je gewoon je bestaande rendering pipeline waarmee je ook je scene op het scherm rendered kan gebruiken voor het berekenen van het geluid. Het is alleen een andere rendering state zonder textures, shaders enz. maar met alleen vector data.

Helaas wordt er niet over dynamisch muziek gesproken, dat wordt namelijk ook steeds populairder. Maar dat is vast een ander onderwerp.

We hope that a new alternative API for sound will soon appear because the OpenAL is a real nightmare for a programmer.

Hmm, ik heb alle genoemde API's al een keer onderzocht/gebruikt en vond OpenAL wel het meest simpele, portable en krachtige API van allemaal. Dit vooral omdat de syntax zoveel op OpenGL lijkt. Maar dat is natuurlijk puur smaak.

[Verwijderd]

Nou dit is zeker een goede ontwikkeling, heel veel van de sfeer in een goede game word overgebracht door geluid. De graphics natuurlijk ook, maar een goed samenspel tussen deze 2 factoren kan leiden tot een monster goede game. Hoor de verschillen alleen al is tussen games van 2 jaar geleden waar je in een jungle rondloopt en alleen je tegenstanders hoort kreunen in de verte en nu dat je in een jungle loopt en watertjes hoort lopen en insecten en andere dieren om je heen hoort. Je krijgt hierdoor steeds meer het gevoel zelf op die plek te zijn hierdoor ga je steeds meer in de game zitten. Ik zou het geweldig vinden als ze met deze technieken zo realistisch over kunnen komen. Ik heb zelf een home cinema set met hoogwaardige speakers en een hele goede reciever. Ik wil het wel meemaken dat geluid TRUE surround word in games. Ik kan nie wachten .

[Verwijderd]

En effecten dan zoals Dolby Digital (dat al ondersteund word door o.a. de Nforce2) in games zoals Unreal 2?
Dat draagt toch ook bij aan het effect van gamen?
Ik vind het in iedergeval een beter iets zeker als je 5 van die speakers in je kamer hebt. Met VietCong vooral ook leuk (al is dat gewoon analoog 5 channels).

[T.T.]

Dolby Digital is een ander niveau volgens mij, dat is een methode om 5.1 kanalen te encoderen tot 1 bitstream die weer gedecodeerd wordt door de DD decoder

In dit artikel gaat het om hoe in games goed gebruik gemaakt kan worden van meerdere speakers. Hoe kan de gameontwikkelaar een realistische ervaring creeëren met slimme en snelle algoritmes?

Dingen als Occlusions (muur tussen geluidsbron en ontvanger) en Obstuctions hebben niets te maken met DD, maar zijn dingen die de programmeur slim moet zien op te lossen.

[Soepster]

Dolby digital is geen "effect", het is gewoon een manier van compressie om 5.1 geluids kanalen in 1 datastroom (AC3) te proppen. Dat maakt het bijvoorbeeld makkelijk om het naast een grote hoeveelheid beelden op een DVDtje te proppen. Maar ook makkelijk om de datastroom door één kabel naar andere apparaten door te sturen. That's it.

EAX is momenteel de standaard voor geluidseffecten in spellen.

[Verwijderd]

maak niet de fout om 5.1 te verwisselen met surround gaming. surround kan al met 4.1 terwijl dolby met 5.1 werkt. met surround (of in het nederlands quadrofonie) kan je doen aan plaatsbepaling, met dolby niet. dolby stuurt alleen speakers aan maar doet niets met plaatsbepaling. dolby is dus eigenljik een mindere versie. a3d is eenzeer goede versie van het softwarematig aansturen van een quadrofonisch geluidsysteem (ook sennheiser koptelefoons kunnen hier mee overweg). dit is dus zeker geen vals spelen, maar een kwest van luisteren. het gebeurt mij regelmatig op een lan dat er op mij geschoten word in SOF 2 en dat ik me omdraai en op het geluid schiet (ik zie dus niet eens of ik raak). ik heb het pas door als er op mijn scherm staat u killed ....

[WarMaster]

Als we maar weer niet allerlei gescheiden technieken gaan krijgen zoals bij de videokaarten...
(glide, openGL, direct3D, plus nog eens subvarianten zoals S3TC, T&L)

Ik meende dat Creative bezig was met een openAL (de audio variant van openGL) maar dat is ook akelig stil momenteel (kan me vergissen uiteraard).

Hopelijk dat het een beetje op elkaar aansluit i.p.v 2 totaal andere aansturingen.

[FiRePaTH]

S3TC en T&L Zijn helemaal geen aparte subvarianten hoor!

S3TC Is gewoon een uitbreiding van OpenGL en Direct3D, het is een compressietechniek van textures die door beide rendersystemen is overgenomen (In Direct3D heet het ook wel DXTC)

T&L Is een functie die in een (moderne) videochip zit, net zoiets als Anti-Aliasing. Het zorgt ervoor dat de Triangle Setup en Lighting hardwarematig over wordt genomen door de video chip zelf ipv dat de cpu dit moet berekenen.

Verder is 3dfx overgenomen door nVidia en sterft Glide een stille dood.

OpenAL ontwikkeld Creative als een aanvulling/variant op OpenGL. Beide kunnen dus tegelijk toegepast worden in een game. Ik denk persoonlijk dat creative wacht tot de opvolger van PCI er is, omdat er waarschijnlijk behoorlijk veel data (net als bij AGP nu) gaat lopen.

[Maurits van Baerle]

Kan iemand mij uitleggen hoe je 3D geluid kunt krijgen zonder speakers boven en onder?
Stereo is 1D, een 5.1 setje is 2D, links-rechts, voor-achter en boven-onder voegt pas de 3e dimensie toe.

[Verwijderd]

Da's heeeeel eenvoudig. Hoeveel oren heb jij?

Doe eens deze test met een vriend, familielid of lief: zet je neer op een stoel met je ogen dicht en laat een ander persoon met de vingers knippen rondom je hoofd, dicht bij, ver weg, boven, onder en zeg vanwaar je denkt dat het geluid komt.
Normaal zou je hier bijna altijd juist op moeten zitten, hoewel je met 2 'meetpunten' van geluid enkel inderdaad 1D kan bepalen.

Nu maak je het nog moeilijker en dek je 1 oor af. Zelfs dan kan je meestal nog wel een goeie schatting geven.

Hoe komt dit?

Door de oorschelp... de asymmetrische vorm van een oorschelp zorgt ervoor dat een bepaald geluid anders binnenkomt naargelang de positie. Onze hersenen zijn zo getraind dat we de meeste normale geluiden onbewust kunnen analyseren en zo zeggen vanwaar het komt.

Het slechtste geluid hiervoor is een zuivere toon. Een goed hedendaags voorbeeld is de 'muziek' van een gsm. Laat een gsm afgaan op een publieke plaats (trein, bus, ...) en kijk hoeveel mensen allemaal naar hun toestel grijpen.
De toon van een gsm is heel zuiver en kunnen we maar slecht analyseren qua positie.
Laat daarentegen een blikje vallen (of iets dergelijks) en kijk hoeveel gezichten er meteen jouw richting uitgaan.

De moraal van het verhaal is dus dat als je nauwkeurig genoeg het effect van de oorschelp op geluid van alle richtingen kent, en diezelfde vervorming op een computergeluid toepast, dat je zo een signaal kan produceren dat erg 3D klinkt voor de mens.

[Verwijderd]

Damn, you're good... nooit zo over nagedacht. Maar je hebt wel gelijk.

Het zal wel komen doordat je bij een 2D-plaatje van je beeldscherm, een derde dimensie toevoegd door het geluid nog eens van voor naar achteren door je kamer te laten galmen.

[Verwijderd]

Lijkt me echt geweldig... Het bevinden in de Virtuele wereld zal zo alleen maar aantrekkelijker worden... The Matrix komt eraan.... Nu het ruiken en proeven nog....

[KompjoeFriek]

En wat dacht je van VOELEN???
Zijn ze alwel een tijdje mee aan het experimenteren, maar ze komen meestal uit op een toepassing voor X-rated gebied

[FireStarter]

Ik zie mensen al voor de eerste keer springen over gebouwen. Wij tweakers halen de eerste sprong natuurlijk.

Of dit met het artikel te maken heeft maakt me niks uit, over 36 uur hoor ik pas een geluidje in de bioscoop

[Snow_King]

De technieken in de games zijn dan wel goed, maar de samples niet.

In de meeste games zijn de samples 22khz soms dan wel 44khz maar dan gewoon superbrak, ik heb met gamen de volume knop nooit hoog, want de geluiden klinken vaak niet mooi.

Games: Battlefield 1942, GTA3, GTA Vice City, Counter-Strike (ja, oud) Soldier of Fortune 2

Allemaal vind ik lage geluidskwaliteiten hebben.

Ik denk dat we daar eerst wat aan moeten doen voordat we verder gaan met de technieken.

[Verwijderd]

Ik vind dat men Deluxe-versies van games moet uitbrengen. Deluxe-versies zijn versies gericht op de 1337-gamers, dus lekker zware systeemeisen. De gewone versies zijn voor het "plebs" en lagere systeemeisen.

Je kan CS tweaken tot CS Deluxe door skins/skinpacks te gebruiken. Meestal verdubbelt de grafische systeemeisen, maar er zijn ook complete skins met geluid en al, dus de geluidskwaliteit kan erop vooruit gaan.

[mjtdevries]

Ze gaan er waarschijnlijk van uit dat de mensen die die spellen spelen geen behoefte hebben aan beter geluid.

Maar in bv Morrowind is het onweer met hifi speakers en sub gewoon niet van echt te onderscheiden.

[ArnoudJ]

Zou een video en audio kaart in 1 (of in ieder geval gekoppeld zonder tussenkomst van de CPU) hier niet interessant voor zijn? De videokaart heeft in principe al een beeld van de omgeving, nog wat eigenschappen extra aan de textures toevoegen en hij kan ook uitrekenen hoe het geluid loopt. Dan naast lichtbronnen nog geluidsbronnen toevoegen.

[StephanVierkant]

Dan moet je dus een hele snelle videokaart hebben en het moet allemaal over 1 agp-slot. Bovendien heb je niet altijd geluid (en al helemaal niet zoals in het artikel). Office/internet-applicaties hebben dus nadeel hiervan

[reddog33hummer]

Spellen worden normaal geprogrameerd zodat alles wat achter pilaren, muren enz. niet in het video geheugen wordt gestopt. Je kan ze dan nog wel horen.. Dat zou betekenen dat de videokaart alles in het geheugen moet hebben staan -> sloom

[DUX]

Geluidsinformatie wordt niet uit het videokaartgeheugen gehaald . Geluidskaart <> Videokaart

De processor + het spel zelf houden wel bij wat er wel en wat er niet getoond hoeft te worden. Dat je even niks ziet achter een pilaar en ook niet gerenderd hoeft te worden, wil niet zeggen dat er niks IS, en dat het spel niks te maken wil hebben met wat erachter zou kunnen staan. Zodra je een stap of wat opzij zet, kun je toch ook een beetje zien wat er achter die pilaar zit?