In de gemiddelde hoofdtelefoonreview struikel je al snel over vage termen als 'warme sound', 'dynamiek' en 'ruimtelijkheid'. Als we bij Tweakers het geluidskarakter van een setje in- of over-ears beschrijven, ontkomen we niet helemaal aan zulke subjectieve kwalificaties. Gelukkig valt er ook een hoop objectief te meten aan deze productgroep. Daarin hebben we flink geïnvesteerd, want de benodigde meetapparatuur is niet goedkoop. Ook heb je voor bruikbare metingen een ruimte nodig die zo goed mogelijk is afgeschermd voor geluiden van buitenaf, die anders de metingen zouden beïnvloeden.
In dit artikel nemen we je mee door onze testopstelling voor audioproducten en leggen we uit wat we gebruiken, hoe we daarmee testen en wat de daaruit voortvloeiende resultaten zeggen over de kwaliteit van hoofdtelefoons. Dus ga er goed voor zitten, zet een lekker muziekje op en werp een blik in de geluiddichte ruimte van het Tweakers Testlab.
Testopstelling voor geluidskwaliteit en anc
Als we de geluidskwaliteit of anc-prestaties van een hoofdtelefoon doormeten, maken we in feite een opname van wat er uit de oorkleppen of -dopjes komt. Het is cruciaal dat zo'n opname zo min mogelijk wordt vervuild door andere geluiden van buitenaf, zoals pratende collega's, tikkende toetsenborden en rinkelende telefoons. Daarom doen we onze audiometingen altijd in een geluiddichte ruimte: een speciale kooi in ons testlab die voorzien is van geluiddempende wanden, vloer en plafond. De wanden zijn van binnen bekleed met akoestische panelen. Voor wie kickt op technische data hebben we de noisefloor van deze ruimte nagemeten, met onderstaande grafiek als resultaat. De gemiddelde noisefloor blijkt 8,7dB(Z), nog lager dan we dachten toen we de video op de vorige pagina maakten. Direct buiten de geluiddichte kooi hebben we een controleruimte ingericht met daarin een computer met meetsoftware.
Kemar
Het centrale onderdeel van de testopstelling is onze audiotesttorso. Dat is de GRAS 45BC Kemar Head & Torso with Mouth Simulator, of kortweg 'Kemar'. Van buiten heeft Kemar wel wat weg van een crashdummy, maar de binnenkant is een heel ander verhaal. Als we zijn schedel openen, zie je een stel uiterst gevoelige microfoons zitten die uitkomen in de oorschelpen. Deze mics vangen het geluid op dat de siliconen oren van Kemar bereikt. De microfoons zijn met Lemo 7-kabels aangesloten op een akoestische analysator, de Sinus Apollo Light 2L, die het analoge microfoonsignaal digitaliseert en via USB uitstuurt naar onze meetcomputer.
Naast heel goed horen kan Kemar ook praten. Dat is een handige eigenschap, want met de meeste draadloze hoofdtelefoons kun je immers ook bellen. Met behulp van de speaker in Kemars mond kunnen we de testpop ingesproken audiobestanden laten opdreunen om de microfoonkwaliteit te testen, maar ook om na te gaan wat je gesprekspartner hoort als je belt vanuit een luidruchtige omgeving.
Voor onze metingen plaatsen we Kemar in het midden van de geluiddichte ruimte op een tafel. Voor metingen waarbij we ruis afspelen, gebruiken we ook een M-Audio-monitorspeaker. Ten opzichte van die luidspreker plaatsen we Kemar zo dat de afstand van zijn rechteroor tot aan de tweeter van de speaker precies een meter bedraagt.
Monitorspeaker, geluidskaart en bluetoothzenders
Bij anc-tests en microfoonruisdempingstests gebruiken we de monitorspeaker voor het afspelen van witte ruis. Deze ruis beslaat het volledige frequentiespectrum waarbinnen we meten (20-20.000Hz), zodat we een adequaat beeld kunnen geven van welke frequenties goed en welke minder goed worden gedempt. Deze monitor staat op een speakerstandaard in de rechterhoek van de geluiddichte ruimte en is 45 graden gedraaid voor een zo gelijkmatig mogelijke verdeling van het geluid door de geluidgeïsoleerde kooi.
We sturen de tests aan vanaf een Dell Optiplex-pc die buiten de geluiddichte ruimte in onze controlekamer staat. USB-apparaten zoals de Apollo Light, de externe Topping x Shenzhenaudio-audio-interface en onze twee Ugreen-bluetoothzenders zijn aangesloten op een USB-hub die zich in de geluiddichte ruimte zelf bevindt.
Kalibratiemicrofoon
We willen natuurlijk wel dat je onze metingen van verschillende hoofdtelefoons kunt vergelijken en dus is het noodzakelijk dat we al onze testsignalen en de ruis uit de monitorspeaker kalibreren op één vast geluidniveau. Hiervoor gebruiken we een kalibratiemicrofoon waarmee we het geluidniveau meten bij het rechteroor van Kemar, aangevuld door de geluidsniveaumetingtool in onze testsoftware Room EQ Wizard.
Testhardware
Meettorso
GRAS 45BH-S1 Kemar Head & Torso with Mouth Simulator
Simulatieoren
GRAS RA0401 High Frequency Ear Simulator x2
Voorversterkers in oren
GRAS 26AC-1 1/4" voorversterker met 3m geïntegreerde kabel x2
Oormicrofoons
GRAS 46BP-1 1/4" LEMO Pressure Standard Microphone Set x2
Akoestische analysator
Sinus Apollo Light 2L
Bekabeling Kemar-Apollo
Lemo-7 3m x2
USB-hub
Renkforce USB 3.0 HUB WS-UH3042P1 REV B
Testcomputer
Dell Optiplex Micro 7020
Audio-interface
Topping x Shenzhenaudio EX5
Bluetoothzender/-ontvanger
Ugreen USB-C aptX 5.3 Bluetooth Audio Adapter (FR- en ANC-tests) en Ugreen Bluetooth 5.4 Adapter (mictests)
Monitorspeaker
M-Audio BX8 D3
Kalibratiemicrofoon
Brüel & Kjӕr 2238 Mediator
Testsoftware
Samurai met Easy Listening-plug-in
De datastream uit onze Apollo-analysehardware komt via USB binnen op onze meetcomputer. Daarop gebruiken we Sinus Samurai-software om de analysegegevens te verwerken. Omdat de Samurai-software nogal omslachtig werkt en tijdrovend is, hebben we deze voorzien van een Easy Listening-plug-in. Die plug-in stuurt de digitale audio via VB-Audio Virtual Cable als virtueel audioapparaat uit, zonder ongewenste ruis toe te voegen. Dat virtuele geluidsapparaat kunnen we vervolgens als invoer gebruiken in REW (zie hieronder), waarin we onze analyses uitvoeren.
Room EQ Wizard
In Room EQ Wizard, oftewel REW, doen we het gros van onze metingen. Ook gebruiken we REW om frequentiesweeps af te spelen op de headsets die we meten, ruis te genereren en onze monitorspeaker aan te sturen. De meetresultaten worden vervolgens in REW vertaald naar overzichtelijke grafieken.
Audacity en Windows Media Player
Bij onze tests met headsetmicrofoons maken we regelrechte geluidopnames van die microfoons. Dergelijke opnames maken we in Audacity. Testbestanden met spraak, die we laten uitspreken door de mond van Kemar, spelen we af via Windows Media Player.
Adobe Audition
We gebruiken Adobe Audition voor multitrackgeluidsopnames, zodat we de accuduur van vijf hoofdtelefoons tegelijk kunnen testen.
Frequentierespons
Een van de belangrijkste eigenschappen van een hoofdtelefoon is natuurlijk hoe die klinkt. Het ene setje in-ears heeft bijvoorbeeld een warme sound met stevige bas, terwijl een ander misschien wat scheller klinkt. Om die klankeigenschappen van een hoofdtelefoon in beeld te brengen, testen we de frequentierespons. De resulterende grafiek zegt veel over hoe goed een headset in staat is om bijvoorbeeld veel hoogdetail weer te geven of juist basgeluid met veel power door je oren te jagen.
Instellingen
Voordat we de test starten, lopen we eerst enkele instellingen af. Zo weten we uit ervaring dat veel draadloze bluetooth-in-ears met een anc-functie hun ideale sound alleen bereiken met noisecancelling ingeschakeld. Daarom testen we de frequentierespons van dergelijke in-ears standaard met de anc-functie aan. Bij over-ears laten we de anc-functie juist uitgeschakeld. Verder zorgen we dat eventuele aanraak- en tikbediening zoveel mogelijk is uitgeschakeld, om ongewenste input bij het plaatsen en herplaatsen van hoofdtelefoons op het hoofd van Kemar te voorkomen. Ook zorgen we dat eventuele EQ-settings in de smartphoneapps van bluetoothmodellen uitgeschakeld zijn. Als de hoofdtelefoon goed is ingesteld, plaatsen we deze op of in de oren van onze Kemar.
Vervolgens kalibreren we het volume van de hoofdtelefoon, zodat deze een vast geluidsniveau van 80dB door de oren van onze meettorso stuurt. Dit is nodig om meetresultaten van verschillende hoofdtelefoons met elkaar te kunnen vergelijken. Bij die kalibratie spelen we in REW witte ruis af, die door de Fiio naar de gekoppelde hoofdtelefoon wordt gestuurd. Het geluid uit de hoofdtelefoon nemen we op in Audacity onder een spoor met een reeds bestaande ruisopname van 80dB. Daarbij passen we het uitvoervolume van de Fiio aan totdat de amplitude van de lopende opname overeenkomt met die van de bestaande opname.
De test
Daarna kan de test echt beginnen. Hierbij gebruiken we de Measure-functie van REW om een 'frequentiesweep' af te spelen, die alle frequenties van 20 tot en met 20.000 hertz op dezelfde geluidssterkte afgaat. Daarbij stellen we het geluidsniveau van de sweep af op hetzelfde niveau als van de witte ruis tijdens het kalibreren. Het afspelen van zo'n frequentiesweep duurt ongeveer 22 seconden, waarna REW de resultaten direct presenteert in een grafiek.
Een stereo-opname van de frequentiesweep die REW afspeelt
Om meetfouten in onze resultaten te voorkomen doen we de meting vijf keer in totaal. Tussen elke meting verwijderen we de hoofdtelefoon en plaatsen deze opnieuw op het hoofd van Kemar. De manier waarop in-ears in, of over-ears op de oren van onze meettorso zijn geplaatst, kan namelijk grote gevolgen hebben voor onze metingen. In-ears moeten bijvoorbeeld goed worden aangedrukt en onder de juiste hoek worden ingestopt, anders klinken ze al snel schel. Na vijf metingen verwijderen we de twee resultaten die het meest afwijken, waarna we REW een gemiddelde laten trekken uit de overige drie metingen. De resulterende grafiek vind je terug in onze reviews en testresultaten.
De frequentieresponsgrafiek lezen
De frequentieresponsgrafieken laten zien hoe luid een hoofdtelefoon verschillende geluidsfrequenties afspeelt in verhouding tot andere frequenties. Op de x-as van de grafiek zie je de frequenties van 20 tot en met 20.000 hertz, op de y-as de geluidssterkte. Het lagere bereik, waaronder bastonen vallen, loopt tot pakweg 200 hertz, het middenbereik van 200 tot 2000 hertz en het hoge bereik van 2000 tot 20.000 hertz.
Wat een goede frequentierespons is, is natuurlijk persoonlijk. De een houdt van beukende bassen, de ander hecht meer waarde aan veel detail in het midden- en hogere frequentiebereik. Om een frequentieresponsgrafiek goed te kunnen lezen, is het echter handig om te weten dat wat het (gemiddelde) menselijk oor als een vlakke frequentierespons ervaart, in deze grafieken níet overeenkomt met een kaarsrechte, vlakke lijn. Zo zijn onze oren geëvolueerd om voorrang te geven aan communicatie, met andere woorden het goed verstaan van de menselijke stem. Aangezien menselijk stemgeluid in het middenbereik valt, moet de frequentierespons voor een egale geluidservaring juist wat dippen in de middelste regionen.
Daarnaast hebben we uit wetenschappelijke onderzoeken kunnen leren dat mensen voor het beluisteren van muziek juist géén voorkeur hebben voor een vlakke sound; dat wordt door de meesten als saai ervaren. Ik heb het afgelopen jaar meerdere keren gesproken met Sean Olive, een wetenschapper die in dienst van Harman Kardon tal van onderzoeken heeft gedaan onder duizenden proefpersonen. Op basis van deze onderzoeken hebben Olive en zijn team een soort 'ideale' frequentieresponscurve opgesteld die overeenkomt met wat de gemiddelde luisteraar de mooiste sound vindt.
Dat er van deze zogeheten Harman-curve meerdere versies bestaan, spreekt boekdelen. Zo blijken jongere luisteraars een voorkeur te hebben voor een hogere piek in het basbereik, terwijl oudere luisteraars gemiddeld genomen juist een lagere baspiek verlangen en een hogere top nodig hebben rond de 3KHz. Dan zijn er nog verschillen tussen de verschillende types hoofdtelefoon: voor dezelfde luisterervaring hebben in-ears net wat meer bas nodig dan over-ears, zoals geïllustreerd in onderstaande afbeelding.
Noisecancelling
Hoewel we het vaak hebben over anc-tests, waarbij anc staat voor active noisecancelling, testen we zowel de actieve als passieve ruisonderdrukking. Actieve onderdrukking is het opheffen van geluidsgolven door tegengeluid te produceren: dit zijn door de hoofdtelefoon gegenereerde geluidsgolven die uit fase lopen met de geluidsgolven van het omgevingsgeluid, waardoor ze de oorspronkelijke golven als het ware uitvlakken. Passieve onderdrukking is het fysiek dempen van geluid door gesloten oorkleppen over je oren te plaatsen of je gehoorkanaal zoveel mogelijk af te sluiten door er in-ears in te proppen.
We simuleren omgevingsgeluid door met onze monitorspeaker witte ruis op Kemar af te vuren. Witte ruis beslaat alle gemeten frequenties. We spelen die witte ruis vrij luid af via onze monitorspeaker, gekalibreerd op 80dB, zodat de anc-algoritmes er ook na de passieve demping nog een flinke kluif aan hebben.
Testmethode
We gebruiken de generatorfunctie van REW om witte ruis af te spelen over de monitorspeaker en kalibreren deze ruis op een geluidssterkte van 80dB. De metingen doen we ditmaal via de RTA-functie in REW. We beginnen met een meting van het ruisniveau zonder demping; we meten daarbij dus het geluidsniveau over het gemeten spectrum van 20Hz tot en met 20.000Hz door witte ruis af te vuren op de oren van Kemar, zonder hem een hoofdtelefoon op te doen. We laten REW drie keer een volledige meting doen van wat Kemar 'hoort' en trekken daar een gemiddelde van, waarbij we 1/12e smoothing toepassen op het meetresultaat. Dat levert de vloeiende rode lijn in onderstaande grafiek op: dit noemen we de baseline.
Vervolgens meten we de passieve ruisonderdrukking, oftewel: wat er van die 80dB aan ruis overblijft als we Kemar een hoofdtelefoon opzetten, zonder dat we noisecancelling activeren. Hiervoor plaatsen we een over-earheadset op Kemars hoofd of in-ears in zijn oren, maar zetten we de hoofdtelefoon nog niet aan. We laten REW ook nu weer drie keer een volledige meting doen en daar een gemiddelde van trekken met 1/12e smoothing. Net als bij de frequentieresponsmeting geldt ook bij nc-tests dat de plaatsing van de hoofdtelefoon erg nauw luistert. Daarom voeren we dit meetproces vijf keer uit, waartussen we steeds de hoofdtelefoon opnieuw op of in Kemars oren plaatsen. Ten slotte kiezen we de drie beste resultaten uit, waaruit we een gemiddelde trekken: de blauwe lijn in onderstaande grafiek.
Ten slotte meten we de actieve ruisonderdrukking op precies dezelfde manier, maar nu met de hoofdtelefoon en noisecancelling ingeschakeld. Het resultaat is de groene lijn in onderstaande grafiek.
Testresultaten lezen
De resulterende grafiek lijkt een beetje op de frequentieresponsgrafiek van de vorige pagina, maar dan met meer lijnen. Wat die verschillende lijnen betekenen, heb je hierboven kunnen lezen. Uiteindelijk wil je dat er zo min mogelijk ruimte overblijft tussen de x-as en de groene lijn, want dan komt er de minste ruis door.
We zien over het algemeen dat de passieve onderdrukking vooral effectief is in het hogere bereik en actieve onderdrukking in het lagere bereik. Dat is logisch: lage tonen beuken makkelijk door een muur heen en dus ook door de oorkleppen van een hoofdtelefoon, daar doet passieve noisecancelling weinig aan. Maar door hun lange golflengte zijn ze ook makkelijker te voorspellen voor het anc-algoritme, waardoor er vrij eenvoudig passende tegengolven voor kunnen worden gegenereerd. Bij hogere tonen ligt dat precies andersom.
Microfoontests
Je kunt met de doorsnee bluetoothhoofdtelefoon ook bellen en voicechatten. Dan is het wel handig als we ook iets zinnigs kunnen zeggen over de kwaliteit van de ingebouwde microfoon(s). Hiervoor doen we twee objectieve tests in ons testlab. De eerste is vrij rechttoe rechtaan: hierbij laten we Kemar in de microfoon praten en nemen we het geluid dat de microfoon doorgeeft op in Audacity. Deze test geeft simpelweg een beeld van hoe de microfoon je stem vastlegt: kom je helder door of laat de microfoon je dof klinken bij het handsfree bellen?
De tweede is wat ingewikkelder en lijkt sterk op de anc-test van de vorige pagina: hierbij maken we weer een opname van Kemar die een testbestand uitspreekt in de microfoon, terwijl er 70dB(C) aan witte ruis op hem wordt afgevuurd. Alleen meten we ditmaal niet de resulterende geluidsniveaus, maar checken we wat er van de oorspronkelijke boodschap overblijft. Deze test geeft een beeld van de ruisonderdrukkingskwaliteiten van de headsetmicrofoon, wat van belang is om goed verstaanbaar te zijn als je belt terwijl je door een drukke straat loopt.
Testmethode
Voor de eerste test spelen we onderstaand testbestand af met een laptop, waarbij we het geluid via mini-jack uitvoeren naar de speaker in Kemars mond. De hoofdtelefoon koppelen we via de Fiio met onze test-pc, waar we de microfoon van de headset instellen als invoerapparaat. Voordat we een opname maken, stellen we het stemvolume met behulp van onze kalibratiemicrofoon in op 70dB(C), wat overeenkomt met het geluidsniveau van iemand die luid en duidelijk praat, maar zonder te schreeuwen. Vervolgens spelen we het testbestand herhaaldelijk af en starten op de test-pc een opname in Audacity. Deze laten we lopen tot we het testbestand een keer volledig hebben opgenomen. Vervolgens snijden we de opname bij zodat alleen de lengte van het testbestand overblijft.
Het geluidsbestand dat we afspelen bij de microfoontest
Bij de tweede test spelen we het testbestand onder deze alinea af over de speaker in Kemars mond, op hetzelfde volume als in de eerste test. Nu gebruiken we echter de generatorfunctie van REW om witte ruis uit te sturen over de monitorspeaker, nadat we dat gekalibreerd hebben op 70dB(C) om straatruis te simuleren. Wat de microfoon van de hoofdtelefoon opvangt, wordt weer opgenomen in Audacity. Ook ditmaal laten we de opname net zo lang lopen tot we het volledige testbestand hebben vastgelegd, waarna we in- en uitloop van de opname weghalen.
Het geluidsbestand dat we afspelen bij de ruisonderdrukkingstest van de microfoon
Accutests
We testen de accuduur van hoofdtelefoons bij gebruik zonder en met anc. Zeker over-ears kunnen tegenwoordig soms tientallen uren vooruit op één lading. Om tijd te besparen hebben we dan ook een set-up ontwikkeld waarmee we vijf hoofdtelefoons tegelijk kunnen testen.
Deze set-up bestaat uit vijf 3d-geprinte accuteststations die we in ons eigen testlab hebben ontwikkeld. Die stations hebben we elk uitgerust met een USB-microfoon en simulatieoren. Dit zijn oren die eigenlijk gemaakt zijn voor piercingartiesten die hun werk willen showen. In ons geval hebben we geen gaatjes gemaakt in de randen van het oor of de oorlel, maar in de gehoorgang zelf, zodat het geluid uit de geteste in- of over-ears de microfoon bereikt.
De microfoons zijn via een USB-hub verbonden met onze accutest-pc, waarop we Adobe Audition hebben draaien om een multitrackopname te kunnen maken. Audition neemt het geluid van de vijf microfoons gescheiden op en plaatst die in vijf afzonderlijke sporen onder elkaar. We hebben in de accutesthoek ook vijf telefoons liggen die elk een aparte hoofdtelefoon aansturen. Hiermee spelen we een muziekmix af die constant herhaald wordt. Naderhand kunnen we elk spoor apart openen om na te gaan waar de muziek gestopt is en zo weten we na hoeveel uur de accu er de brui aan gaf. Voordat we echter beginnen, kalibreren we elke hoofdtelefoon via Kemar en REW op een volume van 80dB.
Alternatieve oplossing
Soms moeten we overigens terugvallen op een alternatief teststation. Bepaalde in-ears hebben namelijk nabijheidssensoren die de anc-modus automatisch uitschakelen als er geen oor wordt gedetecteerd en er zijn modellen die de simulatieoren van onze teststations niet voor vol aanzien. Om de accuduur van deze hoofdtelefoons toch te kunnen testen met anc ingeschakeld, halen we onze oude trouwe H.E.A.R.S. miniDSP van stal. Dit USB-toestel heeft oren van een iets ander materiaal, waarmee we in-ears alsnog kunnen overhalen om wél anc in te schakelen. Interessant feitje: deze H.E.A.R.S. is onze voorganger van Kemar. Als meetinstrument is het een stuk minder precies dan onze moderne testtorso, maar voor een accutest draait ie zijn hand niet om.
Subjectieve tests
Naast de objectieve labtests waarover je op de vorige pagina's hebt gelezen, ontkomen we uiteraard niet aan subjectieve ervaringstests. We testen de noisecancelling ook zelf in de praktijk, zodat we bijvoorbeeld een oordeel kunnen vellen over de onderdrukking van windruis op de fiets of tijdens het wandelen. We checken het draagcomfort en gaan na of hoofdtelefoons goed blijven zitten tijdens rustige en intensieve beweging. Ook bel ik altijd even met dezelfde goede vriend om te checken hoe mijn stem overkomt bij iemand die mijn stemgeluid goed kent.
Ten slotte, maar zeker niet onbelangrijk, luisteren we uitgebreid op elke hoofdtelefoon naar een vaste, offline opgeslagen Tidal-afspeellijst vol met nummers uit uiteenlopende genres, van klassiek en hiphop tot soul en pop. Daarbij wisselen we regelmatig tussen het geteste model en een referentiehoofdtelefoon. We gebruiken momenteel vier hoofdtelefoons als referentie:
BeyerDynamic DT 880 (half open, bedraad over-ear)
Sony WH-1000XM4 (gesloten, bluetooth over-ear)
Sony WF-1000XM5 en Bowers & Wilkins Pi8 (bluetooth in-ear)
Tot slot
Nu weet je alles over hoe we hoofdtelefoons testen. We hebben de afgelopen anderhalf jaar druk gewerkt om deze testmethode uit te dokteren en te finetunen en er staat nu een procedure waarop we trots zijn. Dat betekent echter niet dat we achterover kunnen leunen.
We hebben genoeg ideeën om ons testproces uit te breiden en nog meer objectieve testdata te vergaren. Zo heeft onze testlabmedewerker Joost een prachtige klemkrachtmeter ontwikkeld, voorzien van drukveldsensors en digitaal scherm. Met dit apparaat hopen we in de nabije toekomst zinnige dingen te zeggen over de mate waarin over-ears op je hoofd drukken, als onderdeel van onze comforttests. Maar voordat het zover is, moeten we hiervoor een testmethode ontwikkelen die betrouwbare, reproduceerbare data oplevert.
En hoewel REW ons voorziet van heldere testgrafieken, zou het nog mooier zijn als we die direct uit de Tweakers-benchmarkdatabase konden halen. Dat maakt het bijvoorbeeld een stuk eenvoudiger om historische vergelijkingen te maken tussen verschillende generaties hoofdtelefoons. Voor frequentieresponsen is die mogelijkheid er inmiddels, zodat we die metingen voortaan kunnen weergeven zoals de grafiek op pagina 2. Om hetzelfde te kunnen doen met onze anc-metingen, moet er nog het een en ander gebeuren achter de schermen. Gelukkig is onze Kemar uiterst geduldig en zeker niet doof voor mooie toekomstmuziek.