Zo testen we wifiapparatuur

Enige tijd geleden publiceerden we op Tweakers een achtergrondartikel over de werking van wifi. Dat deden we niet zomaar; we hebben de afgelopen periode namelijk een testprocedure ontwikkeld om wifiapparatuur nauwkeurig te testen.

Het ontwikkelen van die testmethode was lastig. Een goede test heeft een reproduceerbaar testresultaat. Om dat te bereiken heb je een testomgeving nodig die steeds hetzelfde is en in het geval van wifi moet die omgeving eigenlijk afgesloten zijn van de buitenwereld. Je wilt namelijk niet dat andere signalen invloed hebben op de wifiverbinding die je probeert te testen. De belangrijkste storingsbronnen zijn andere accesspoints, maar ook magnetrons en soms radar beïnvloeden de verbinding. We hebben daarom een elektromagnetisch gesloten ruimte ingericht, waarin we verschillende tests kunnen uitvoeren met reproduceerbaar resultaat. Tegelijkertijd willen we juist ook de mogelijkheid hebben om, gecontroleerd, wél storing toe te voegen en situaties na te bootsen waarin de signaalsterkte niet optimaal is. In dit artikel beschrijven we de tests die we in het vervolg zullen gebruiken voor reviews. Die tests hebben we zelf ontwikkeld, maar zijn deels gebaseerd op de TR-398, een testmethode die ontwikkeld is door het Broadband Forum.

De reviews die we in het begin zullen publiceren, zullen gericht zijn op apparaten waarbij de router en het accesspoint geïntegreerd zijn, die in de volksmond wifirouter, of gewoon router genoemd worden. We zullen de geïntegreerde oplossing van de router en het accesspoint in dit artikel daarom aanduiden als 'wifirouter'. Hoewel de testresultaten niet een-op-een vergelijkbaar zijn, kunnen we met deze testmethode zowel wifirouters als accesspoints testen.

Onze wifitest vindt plaats in een kooi van Faraday, een metalen kast die alle elektromagnetische straling van buitenaf blokkeert, waardoor het mogelijk is tests uit te voeren in een omgeving die vrij is van storing van andere bronnen. In die kooi zijn dus enkel wifisignalen, of eventueel stoorsignalen, aanwezig die we zelf genereren. De apparatuur in de kooi wordt van buiten bediend over een afgesloten netwerk. De communicatie met de apparatuur in de kooi verloopt via een glasvezelverbinding die door een metalen pijp door de wand van de kast naar buiten voert. De lengte van dit pijpje is dusdanig gecalculeerd dat dit niet kan leiden tot een stralingslek. In deze kooi van Faraday, die circa vier kubieke meter groot is, hebben we een complete testopstelling gebouwd.

Octobox

In de kooi gebruiken we een Octobox-26 van Spirent, Dit is een wifitestbehuizing die zelf óók een kooi van Faraday is, maar hiernaast ook aan de binnenkant anechoïsch is uitgevoerd, wat betekent dat reflecties worden gedempt. De box is aan de binnenzijde bekleed met foam dat reflecties van elektromagnetische signalen dempt met 20dB, waardoor wifiapparatuur die zich hierbinnen bevindt, de kleine doos ervaart als een grote ruimte met nauwelijks signaalreflecties. Die eigenschap is voor onze huidige tests nog niet van belang, maar gaat een grotere rol spelen als we de set-up in de toekomst ook geschikt gaan maken om meshapparatuur te testen.

De Box-26 heeft een eigen afzuiging en een galvanisch gescheiden doorvoer voor stroom, ethernet en wifisignalen (door RP-SMA-connectoren). In de box staan vier computers waarmee we data kunnen verzenden en ontvangen op het wifinetwerk buiten de Octobox. Hiervoor zijn buiten de Octobox acht antennes geplaatst, twee per computer, om 2x2-mimo te ondersteunen. Meer dan twee antennes zie je enkel bij sommige wifi-ac-clients en deze opstelling is gericht op wifi-ax-compatibiliteit. De reden dat de computers in deze geïsoleerde box opgesteld staan, is om te voorkomen dat de antenneconnector aan de computerzijde signalen opvangt die niet via de coaxkabel van buitenaf worden gevoed; dit zou namelijk invloed hebben op de tests waarbij we het wifisignaal van buitenaf willen dempen.

Sta-behuizing	Spirent Octobox Box-26
Coaxkabel	Mini-Circuits FL127-24SM (0,9dB max. verlies per kabel)
Antennes	Siretta Delta 7A
Powermeter	Voltcraft Energy-Logger 4000
Netwerkswitch	Netgear Unmanaged 8-Port PoE Switch
Mediaconverter (glasvezel)	TP-Link MC210CS
Ssd-opslag	SanDisk Extreme SSD (USB 3.0)

Attenuator

Tweakers Wifi-test QuadAtten Een ander belangrijk apparaat voor het testen van wifiapparatuur is een attenuator, een antennesignaaldemper. Hiermee is het mogelijk het binnenkomende signaal van de wifiantenne te verzwakken en door te sturen naar de ontvanger. Zo simuleren we signaaldemping zoals deuren, muren, ramen en afstand dat ook doen. Twee van de vier computers zijn aan de attenuator gekoppeld.

Wij gebruiken hiervoor Spirents quadAtten Attenuator. Die heeft vier ingangen en vier uitgangen. De totale demping die dit apparaat kan toepassen is 63dB, die afzonderlijk per poort toegepast kan worden.

Omdat we willen dat de clients minimaal 2x2-mimo ondersteunen en dit voor een client twee aparte antennesignalen vereist, gebruiken we per client twee poorten van de quadAtten om zo het signaal voor twee clients afzonderlijk te kunnen verzwakken.

IGen-firmwareversie	3.2.27
IGen-hardwarerevisie	IG71113-05
QuadAtten-firmwareversie	3.2.22
QuadAtten-hardwarerevisie	QA61110-15

Signaalgenerator

Tweakers Wifi-test iGen

Als signaalgenerator gebruiken wij de iGen van Spirent. Dit apparaat kan verschillende soorten signalen genereren en ook de manier waarop dit uitgezonden wordt, kan verschillen. De iGen kan bijvoorbeeld radarsignalen of een naburig wifinetwerk simuleren. De generator kan zelfs vooraf opgenomen netwerkverkeer de lucht in sturen door de iGen een pcap-bestand aan te bieden van netwerkverkeer dat je eerder hebt opgenomen met programma's als Wireshark of tcpdump. Aan dit verkeer kan de iGen ook een WMM-prioriteitswaarde meegeven. Dit kan in vier niveaus; oplopend in prioriteit zijn dit: background, best effort, video en voice. Ook kan worden ingesteld dat de iGen concurrerende radiosignalen compleet negeert en hier dwars doorheen zendt (no contention) in plaats van dat de iGen de radioband respecteert en netjes op zijn beurt wacht om te zenden. Hiermee biedt de iGen allerlei mogelijkheden om gecontroleerd het wifinetwerk in de kooi te verstoren.

Spectrumanalysator

Verder hebben we in de kooi een spectrumanalysator die we op afstand kunnen uitlezen. Die kan het radioverkeer op de wififrequentiebanden, en een stuk buiten die banden, weergeven. Hiervoor gebruiken we de RF Explorer, een draagbare analysator. Dit apparaat gebruiken we voor monitoring, maar ook om in de DFS-test te zien of de router op radarsignalen monitort, deze herkent en vervolgens het gebruik van de DFS-kanalen staakt, zodra we een radar simuleren met de iGen. De spectrumanalysator lezen we uit via software.

In de onderstaande diagram is de topologie van de set-up weergegeven. Onder de diagram worden de gebruikte termen toegelicht.

Sta

Pc	Dell Optiplex 3040
Processor	Intel i5-6500
Geheugen	8GB
Netwerkkaart	TP-Link TX3000E Wi-Fi 6 (Intel AX200) Driverversie: 22.30.0.11
OS	Windows 10 Pro / 21H1 / 19043.1151

Sta is een afkorting voor station. In dit geval duidt dit een client aan die is verbonden met het wifinetwerk in de Octobox. In onze wifiopstelling zijn er vier sta’s (genummerd van 215 tot en met 218).

De sta's zijn allemaal gebaseerd op dezelfde hardware en software: het zijn Dell OptiPlex 3040-werkstations voorzien van een TP-Link TX3000E Wi-Fi 6-adapter. Het OS is Windows 10 Pro.

De eerste twee sta’s (215 en 216) zijn verbonden met een attenuator. Het derde sta (217) is direct verbonden met de antennes in de kooi zonder enige vorm van demping. Het vierde sta is een legacyclient die enkel 802.11g en 802.11a ondersteunt, waardoor die meer radiotijd of airtime in beslag neemt voor dezelfde datathroughput. Met dit sta kunnen we onder andere airtimefairness goed meten.

Dut

Dut is de afkorting voor device under test. Dit duidt het apparaat aan dat getest wordt in de opstelling. Testen we een router, dan is dat apparaat het dut. Testen we het draadloos bereik van een notebook in de kooi, dan is die notebook het dut.

Trafficgenerator

De trafficgenerator is de computer die zoals de naam al verklapt, verkeer genereert. Dat is zowel verkeer dat met de sta’s wordt uitgewisseld als verkeer dat van de lan-naar de wan-zijde (en vice versa) wordt gezonden. Hiervoor is de trafficgenerator met twee verschillende netwerkkaarten verbonden met de lan- en wan-poort van de router.

Op de trafficgenerator draait ook het PowerShell-script van waaruit alle tests, de iGen, de attenuator en de sta’s worden aangestuurd. Hiernaast start op deze computer ook PCMark 10 voor de USB-opslagtest en de software om de spectrumanalysator uit te lezen.

Moederbord	Gigabyte X299X Designare 10G
Processor	Intel Core i7 7900X
Geheugen	8GB
Netwerkkaart 1 (on-board, management)	Intel X550AT2 10Gbit Driverversie: 4.1.229.0
Netwerkkaart 2 (on-board, dut-lan)	ASUS XG-C100C (Marvell AQtion) 10Gbit Driverversie: 2.2.2.0
Netwerkkaart 3 (dut-wan)	Intel X550AT2 10Gbit Driverversie: 4.1.229.0
Netwerkkaart 4 en 5 (reserve)	TP-Link TX401
OS	Windows 10 Pro / 21H1 / 19043.1165

Om de routers het vuur aan de schenen te leggen, gebruiken we verschillende softwarepakketten. Een grote rol is weggelegd voor iPerf3, dat we gebruiken om netwerkverkeer te genereren vanaf de sta’s en vanuit de trafficgenerator. Dit pakket draait op de pc’s aan beide kanten van de verbinding en kan vooraf gespecificeerd netwerkverkeer versturen van de client naar de server en andersom. Hierbij kan het type verkeer worden gekozen (TCP of UDP), de bandbreedte (onbeperkt of gelimiteerd op een ingestelde grens), de pakketgrootte en de prioriteit. Dit verkeer kan gelijktijdig verzonden worden in een of meer streams.

In onze test stellen wij iPerf3 in om vijf gelijktijdige streams uit te sturen. Het pakkettype van deze streams is TCP met een grootte per pakket van 1MB.

Tweakers Wifi-test iPerf3

Op de interface die met de wan-zijde van de router is verbonden, draaien (afhankelijk van de test) één tot vijf iPerf3-serverinstanties, eentje voor elke sta. Voor de ofdma-test gebruiken we het programma sping; hier gaan we bij de uitleg van deze test verder op in.

Script

Alle software en apparatuur in de testkooi wordt bediend met een script. Dit script is geschreven in PowerShell. Naast gemak in de bediening omdat veel zaken geautomatiseerd verlopen, zorgt dit er ook voor dat elke test altijd op dezelfde wijze en in dezelfde volgorde verloopt. Het script kan natuurlijk niet alles bedienen: voor het instellen van de router, het aflezen van het stroomverbruik en het forwarden van poorten is altijd nog een techneut van ons testlab nodig.

Tweakers Wifi testscript

Wat we met dit script wel kunnen automatiseren, is de bediening van de iGen-signaalgenerator en de quadAtten-attenuator, het aanzetten en uitzetten van de sta’s, het starten van iPerf3-tests op de sta’s en trafficgenerator, het doorlopen van de opslagtest door PCMark 10 en het starten van de software van de spectrumanalysator.

Het script biedt de mogelijkheid om alle bedrade 2,4GHz- en 5GHz-tests te doorlopen in een standaardvolgorde of om losse tests uit te voeren. Dat laatste is ook goed te gebruiken als we apparatuur moeten testen die niet makkelijk te vatten is in het standaardscript dat we normaal gesproken doorlopen.

De scores die worden gegenereerd door iPerf3, PCMark 10, sping en de input van de testoperator, worden door het script verzameld en kunnen worden weggeschreven in de testresultatendatabase van Tweakers. Hier kunnen we vervolgens de resultaten tonen bij de specificaties van de geteste router of bijvoorbeeld in een grafiek plotten en bij een review plaatsen.

We beginnen de routertest met het testen van de maximale draadloze overdrachtssnelheid en de wan-lan-snelheid. Deze twee tests zeggen het minste over de prestaties van de wifirouter in de praktijk en dienen meer als verificatie dat de testopstelling goed werkt. De testresultaten fungeren daarnaast als een basis om andere testresultaten aan te relateren.

Bij de wan-lan-test kijken we naar de snelheid van de wan-poort op de wifirouter, door verkeer van de wan-poort naar een computer te sturen die via de snelst beschikbare lan-aansluiting verbonden is. De wan-poort is belangrijk, want die gebruiken we voor alle tests die we op de volgende pagina's beschrijven. De reden dat we de tests via de wan-poort draaien, is om 'echt' verkeer te simuleren, zoals dat normaal gesproken ook door de firewall je netwerk binnenkomt. Bij high-end routers is dit bovendien ook meestal de poort die sneller is dan andere aansluitingen. Op duurdere wifirouters tref je steeds vaker een wan-aansluiting met een maximale overdrachtssnelheid van 2,5 of zelfs 5Gbit/s aan.

In het verleden kwamen we ook nog wel eens wan-aansluitingen tegen die niet de maximale snelheid van 1Gbit/s haalden en bijvoorbeeld op 300Mbit/s bleven hangen. Het is dus goed om te weten wat de limiet van de wan-aansluiting in de praktijk is. Als de wan-aansluiting ongeveer 940Mbit/s haalt, weten we zeker dat we in de tests die we in de volgende pagina's beschrijven niet door de wan-aansluiting beperkt worden. In deze test kunnen we in veel gevallen niet controleren of een 2,5Gbit/s-wan-poort ook daadwerkelijk die snelheid haalt, omdat de lan-aansluitingen bij veel wifirouters met een 2,5Gbit/s-wan-poort nog altijd op 1Gbit/s blijven steken. Dat is ook niet het doel; het gaat erom dat we zeker weten dat er genoeg bandbreedte is om de tests goed te kunnen uitvoeren.

In veruit de meeste gevallen zullen de resultaten er dan ook uitzien zoals in de grafiek hierboven. In reviews zul je deze grafiek waarschijnlijk niet tegenkomen, tenzij een wifirouter een onverwacht resultaat behaalt.

Testresultaten

In dit artikel maken we gebruik van de testresultaten van drie wifirouters die qua prijs en mogelijkheden heel verschillend zijn. Het gaat om te beginnen om een wat goedkopere 802.11ax-router die al lang op de markt is: de TP-Link AX50, die voor minder dan 100 euro te krijgen is. Van Netgear testen we de AX12, die ook wel als RAX120 bekendstaat en ongeveer 300 euro kost. Tot slot kijken we naar de resultaten van de high-end ASUS ROG GT-AX11000, die ongeveer 450 euro kost. Het zijn geen wifirouters die we gezien de (prijs)verschillen normaal gesproken in een review direct met elkaar zouden vergelijken. Het doel van dit artikel is echter de uiteinden van het prestatiespectrum te tonen en daarmee een duidelijk beeld van de testprocedure te scheppen.

Maximale overdrachtssnelheid over wifi

Bij de tweede test die we draaien, testen we de maximale overdrachtssnelheid over wifi op een 2,4GHz- en 5GHz-frequentie. Die test laat zien waartoe de wifirouter in staat is, maar daarbij moeten we in het achterhoofd houden dat die test niet zo veel zegt over de praktijkprestaties. We draaien de test niet alleen om te laten zien wat de wifirouter maximaal doet, maar het levert ook een testresultaat op dat de andere resultaten in perspectief plaatst.

We testen op de 2,4GHz- en 5GHz-band. Op 2,4GHz maken we gebruik van 40MHz kanaalbreedte en vervolgens zenden we vanaf het dut naar sta 215, zonder demping van het signaal en zonder ruis in de ruimte toe te voegen. Het sta is voorzien van een draadloosnetwerkkaart met twee antennes. Er zijn op het moment van schrijven geen Wi-Fi 6-clients met meer dan twee antennes. Als we vervolgens een blik werpen op de MCS-tabel, zien we dat onder die omstandigheden de maximale theoretische overdrachtssnelheid 574Mbit/s is. In de praktijk blijft daar ongeveer 450Mbit/s van over, vanwege de overhead in het wifiprotocol. We sturen niet alleen verkeer van de wifirouter naar de client, maar ook terug. Doordat de radio van het sta over het algemeen zwakker is dan die van het dut, zien we daar iets lagere snelheden.

Dut -> sta
Sta -> dut

Op de 5GHz-frequentie maken we, als de wifirouter het ondersteunt, gebruik van een 160MHz breed kanaal en komen we op een theoretisch maximum van 2402Mbit/s uit. Als een wifirouter voorzien is van een 2,5Gbit/s-wan-aansluiting, dan is dat theoretisch haalbaar, hoewel je in de praktijk uitkomt op ongeveer 1700Mbit/s. Wordt de wifirouter gelimiteerd door de gigabit-wan-aansluiting, dan zal het resultaat rond de 950Mbit/s uitkomen.

Zoals we al zeiden, is dit is niet de meest relevante test en dat komt ten eerste doordat de omstandigheden die we hier testen in de praktijk eigenlijk nooit voorkomen. De 2,4GHz-frequentie zit namelijk bomvol, dus in de praktijk kun je niet 40MHz, ofwel bijna twee derde van de beschikbare frequentieruimte, in beslag nemen. Bovendien is de gesloten ruimte waarin we de test uitvoeren niet representatief voor een echte thuissituatie, omdat er altijd ruis aanwezig is van wifiapparatuur van buren, 2,4GHz-band-magnetrons, apparatuur met bluetooth en andere apparatuur. Verder wordt het signaal in deze test zonder demping doorgegeven; in de praktijk zul je je niet altijd naast de wifirouter bevinden, maar op een afstand of in een andere ruimte, waardoor het signaal in een bepaalde mate gedempt aankomt. De 450Mbit/s die we op 2,4GHz halen, zul je daarom vrijwel niet terugzien als je deze wifirouter thuis neerzet.

De tweede reden dat deze test niet interessant is, is dat de meeste wifiapparaten geen enkele moeite hebben om ongedempt te zenden in een ruisvrije ruimte. Het verschil tussen een goede en een slechte wifirouter ga je pas zien op het moment dat het signaal flink gedempt of door ruis verstoord wordt, of juist wanneer er verschillende clients tegelijk willen zenden en ontvangen.

Toch is het resultaat van deze test niet helemaal nutteloos; de resultaten uit andere tests zijn hier namelijk aan te relateren. Bij de TP-Link AX50 zien we bijvoorbeeld dat de router naar verwachting presteert wanneer het verkeer van het dut naar het sta verloopt, maar dat hij langzamer dan verwacht is als het verkeer van het sta naar het dut loopt. Dat de AX50 relatief langzaam is als het verkeer van het sta naar het dut loopt, zien we vervolgens ook terug in de range-versus-ratetest.

Voor de rest van de tests, die we op de volgende pagina's beschrijven, maken we gebruik van 20MHz kanaalbreedte op de 2,4GHz-band en 80MHz kanaalbreedte op de 5GHz-band. De keuze voor 20MHz op 2,4GHz ligt voor de hand omdat die band erg vol zit. In de praktijk zal je wifirouter dus altijd terugschakelen naar 20MHz kanaalbreedte om andere netwerken niet te storen. De 5GHz-frequentie zit minder vol, maar ook hier zul je niet zomaar 160MHz kanaalbreedte kunnen gebruiken zonder last van buren te krijgen. Daar komt nog eens bij dat je bij 160MHz kanaalbreedte DFS-kanalen zult moeten gebruiken. Dat zijn kanalen die ook voor radar en satellietcommunicatie gebruikt worden en die toepassingen hebben voorrang op wifi. Tot slot ondersteunen niet alle wifirouters 160MHz kanaalbreedte. Door op 80MHz te testen, kunnen we goedkopere en duurdere modellen ook met elkaar vergelijken.

De range-versus-ratetest is letterlijk vertaald een afstand-versus-snelheidtest. In principe is dat ook precies wat er gebeurt tijdens die test: we kijken naar de snelheid die je overhoudt als je de ontvanger steeds verder van de wifirouter vandaan verwijdert.

Een uitgezonden signaal dooft namelijk uit naar mate je je er verder van verwijdert. Vergelijk het met een kiezeltje dat je in een vijver gooit. De energie die je erin hebt gestopt toen je het steentje gooide, wordt bij het raken van het wateroppervlak in de golfbeweging omgezet. Rondom de plek waar het kiezeltje het water raakt, ontstaan golfjes, die, naar mate ze verder van die plek verwijderd zijn, minder hoog en dus minder sterk worden. Uiteindelijk is er niet meer genoeg energie over om het water nog te doen golven. Datzelfde gebeurt bij een wifisignaal: hoe verder je bij de zender vandaan zit, des te zwakker wordt het signaal en uiteindelijk is er geen golfje meer te onderscheiden.

Om de snelheid op verschillende afstanden te meten, zouden we natuurlijk een accesspoint in een weiland kunnen opstellen en er steeds verder vandaan kunnen gaan staan. Dat is niet praktisch en bovendien zal het wifisignaal beïnvloed worden door andere signalen in de lucht.

We stellen het accesspoint daarom op in onze elektromagnetisch gesloten ruimte, waarin eveneens een elektromagnetisch gesloten box staat, met daarin een draadloze client: sta 215. Sta 215 is voorzien van externe antennes, die via een demper, een attenuator, buiten de box geplaatst zijn. De attenuator kun je zien als een kraan op een waterleiding. Als de attenuator openstaat, kan het signaal zonder hindering van het accesspoint naar het sta worden gezonden. Vervolgens kunnen we de kraan een beetje dichtdraaien en wordt er minder water, oftewel wifisignaal, doorgelaten. Die kraan kunnen we met stapjes van 1dB dichtdraaien, tot een maximale demping van 63dB.

Met de attennuator dempen we dus het signaal en, als we het terugvertalen naar de praktijk, kan dat komen doordat je op grote afstand van de zender staat of door bijvoorbeeld een muur of plafond. We testen dus hoe goed het dut zijn signaal nog bij de ontvanger kan krijgen als er steeds meer demping optreedt.

Om de draadloze overdrachtssnelheid te meten, maken we gebruik van iPerf. We sturen daarbij vijf ongelimiteerde streams van een pc die we aanduiden als trafficgenerator via het dut naar sta 1. Om verkeer afkomstig van het internet te simuleren, is de trafficgenerator aangesloten op de wan-aansluiting van het dut. We meten de overdrachtssnelheid gedurende 120 seconden, waarbij we resultaten van de eerste vijftien seconden niet gebruiken, omdat is gebleken dat aan het begin van de overdracht de snelheid te veel fluctueert.

Demping rvr tr-398 — Demping rvr TR-398 (pdf)

Vervolgens dempen we het signaal met 10dB en doen we dezelfde test nog een keer. De volgende dempingsstap is 21dB, waarna we de demping in stappen van 3dB opvoeren tot 63dB. De gekozen dempingswaarden zijn gebaseerd op de TR-398, een handleiding van het Broadband Forum om wifiapparatuur te testen. We testen het dut op 2,4- en 5GHz-frequenties. Bij de 2,4GHz-frequentie maken we gebruik van een kanaalbreedte van 20MHz en bij 5GHz testen we op een kanaalbreedte van 80MHz.

2,4GHz dut -> sta
2,4GHz sta -> dut

We registreren de gemiddelde overdrachtssnelheid van iedere test en als we die vervolgens in een grafiek zetten, kunnen we daar de bovenstaande lijnen uit plotten. Het is daarbij belangrijk om te realiseren dat dit synthetische tests zijn. We testen de wifirouters in een elektromagnetisch gesloten ruimte, zodat de testomstandigheden voor ieder systeem dat we testen dezelfde zijn. Daardoor kunnen we een eerlijke vergelijking van onderlinge resultaten maken, maar we kunnen ze niet direct relateren aan de echte wereld. Dat komt omdat iedere situatie anders is. Huizen zijn van verschillende materialen gemaakt, die ook verschillende diktes hebben. In sommige huizen zal het signaal sneller verstoord worden door andere signalen in de lucht, bijvoorbeeld als je in de buurt van een vliegveld woont. Als je in een flatgebouw woont, zul je eerder last van je buren hebben, dan wanneer je in een net gebouwde villawijk woont.

Wat zeggen de getallen dan wel? Omdat de testomstandigheden gelijk zijn, kun je de geteste wifirouters een-op-een vergelijken. In het bovenstaande voorbeeld (dut -> sta) is te zien dat alle drie de wifirouters tot 33dB demping niet in snelheid zakken. Dat gebeurt daarna geleidelijk en bij 38dB demping nog wat sneller.

We laten de iPerf-streams twee kanten op lopen: van het dut naar het sta en andersom. Wifirouters hebben over het algemeen sterkere radio's dan de draadloosnetwerkkaarten in clients en dat is te zien in de bovenstaande grafiek. Als het verkeer van het sta naar het dut loopt, valt de snelheid eerder terug bij de ASUS en de Netgear. De TP-Link AX50 haalt in deze test, zoals de test op de vorige pagina ook al liet zien, een relatief lage snelheid.

5GHz dut -> sta
5GHz sta -> dut

Op de 5GHz-band ligt de snelheid hoger dan bij 2,4GHz, omdat er 80MHz aan kanaalbreedte gebruikt kan worden. Als je de twee lijnen van de AX11000 met elkaar vergelijkt, is wel duidelijk te zien dat de snelheid sneller terugloopt op de 5GHz-frequentie. Daar loopt de lijn vanaf 45dB demping stijl omlaag, terwijl het op de 2,4GHz-frequentie geleidelijker gaat. De Netgear AX12 doet het duidelijk beter in deze test dan de AX50 en de AX11000.

Ruis, of stoorsignalen, is bij uitstek iets wat je niet in onze testomgeving vindt, maar nagenoeg altijd aanwezig is in de praktijk. Vaak zijn het routers of accesspoints van buren waar je router mee moet dealen, maar ook magnetrons, babyfoons en andere apparaten die gebruikmaken van het 2,4GHz- of 5GHz-spectrum kunnen ervoor zorgen dat de router moeite heeft om zichzelf verstaanbaar te maken en data vanaf clients duidelijk te ontvangen.

In deze test kijken we hoe de router omgaat met een verstoring van het signaal. Bij deze zogenoemde interferencetest, maken we gebruik van de iGen-signaalgenerator. Hiermee testen we per spectrum vier scenario’s. In deze scenario’s overlappen we het signaal dat het dut uitzendt gedeeltelijk of geheel met het signaal dat de iGen uitzendt. Het is interessant dat veel routers die een concurrerend signaal aantreffen op hetzelfde wifikanaal, dit over het algemeen beter kunnen coördineren als er ruimte is om data te verzenden, dan wanneer het signaal de bandbreedte van de routers gedeeltelijk overlapt. Dit komt doordat deze routers enkel op hun 'eigen' kanaal luisteren om te bepalen of de band vrij is om te kunnen zenden. Als een transmissie plaatsvindt van een concurrerend apparaat op een frequentie in de buurt van dit kanaal binnen de bandbreedte die de router gebruikt, mist de router dit en leidt dit tot storing en degradatie van de ontvangstkwaliteit. Er zijn ook routers die 'breder' luisteren en hier wel rekening mee houden, die zullen een voordeel hebben in het stabiel houden van de dataoverdracht.

Door de iGen wordt ook WMM-prioriteit toegepast. WMM staat voor Wi-Fi Multimedia en is een techniek die de router prioriteit aan bepaalde categorieën verkeer kan laten geven. Aan de hand van die prioriteit bepaalt de router welke positie het verkeer in de verzendbuffer krijgt en ook hoe 'agressief' die data wordt uitgezonden. Om te begrijpen hoe dit werkt, moeten we eerst uitleggen wat Carrier Sense Multiple Access met Collision Avoidance doet: CSMA/CA zorgt ervoor dat twee draadloze apparaten niet tegelijk op de wififrequentie beginnen uit te zenden en zo een botsing veroorzaken.

Als een apparaat wil uitzenden, luistert hij eerst op de frequentie of er al een andere transmissie plaatsvindt. Zodra de frequentie lang genoeg 'vrij' is, dat is het interval van de DCF Interframe Space (DIFS), bepaalt het apparaat een willekeurige wachttijd en begint het back-offtime uit te zitten en af te tellen. Zodra in die wachttijd een ander apparaat begint te zenden, stopt het aftellen tot de frequentie wederom een DIFS-interval lang vrij is, en telt de resterende tijd af. Hoe vaker de wachttijd dus wordt onderbroken door een ander apparaat, hoe korter het onderbroken apparaat uiteindelijk zal wachten tijdens de volgende mogelijkheid om te zenden.

WMM biedt vier categorieën; oplopend in prioriteit zijn dat: background, best effort, video en voice. Hoe hoger de prioriteit, hoe korter de (nog steeds willekeurige) wachttijd die het apparaat zal gebruiken. Ook de maximale tijd die de transmissie in beslag zal nemen, verschilt per prioriteit, zodat er ook nog lange bursts van data kunnen worden ingezet om meer bandbreedte te verkrijgen naast meer verzendprioriteit. In deze test zetten we de WMM-prioriteiten best effort en voice in.

WMM prioriteiten en wachttijd

De iGen ondersteunt ook het verzenden zonder back-offtime, ofwel direct zenden zodra het DIFS-interval is verstreken. Dit zorgt ervoor dat er bijna geen airtime meer overblijft voor andere apparaten.

Op de iGen kunnen we dus exact instellen hoe het spectrum bezet wordt: van zeer beleefd tot aan zeer verstorend. Op een normaal accesspoint of normale router kan dit niet, maar is het afhankelijk van de algoritmes die in de firmware van een router zijn ingebakken. Die reageren op de radio-omstandigheden en kiezen aan de hand daarvan het aantal radiostreams, de bandbreedte, de modulatie die wordt gebruikt en nog enkele eigenschappen van de radiotransmissie. De algoritmes hebben dus een sterke invloed op het gedrag van een router, zeker als er minder ideale omstandigheden zijn, en hier kunnen dus verschillen per fabrikant optreden.

In deze test meten we elke seconde de doorvoer. Een hoge doorvoer is natuurlijk fijn voor applicaties die veel bandbreedte vereisen, maar als de doorvoer erg 'zwabbert', is dat een teken dat op dat moment niet alle transmissies even goed slagen en bijvoorbeeld over moeten worden gedaan of even iets langer in de wacht moeten staan. Dit merk je juist weer goed als je je netwerk gebruikt voor zaken waarbij reactiesnelheid van belang is, zoals gamen, telefonie of het laden van websites. Het ideaalbeeld bij deze tests is dus een stabiele, zo hoog mogelijke bandbreedte, maar met zo min mogelijk variatie.

IGen uit-interferencetest

Eerst voeren we een run uit met de iGen ingeschakeld, maar inactief. Dit om een basisresultaat neer te zetten waarmee de resultaten van de navolgende tests kunnen worden vergeleken; de bandbreedte in deze test is namelijk (indien mogelijk) lager ingesteld op de router dan bij de test waarbij we de theoretische maximale overdrachtssnelheid bepalen. Als de router het ondersteunt om de bandbreedte vast in te stellen, stellen we deze bij de test in op 20Mhz bij 2,4GHz en 80MHz bij 5GHz.

2,4GHz iGen uit
5GHz iGen uit

De TP-Link Archer AX50 scoort hierbij in het 5GHz-spectrum niet wat je zou verwachten met 80MHz bandbreedte. Dit komt doordat deze router niet beschikt over een bandbreedte-instelling, en die dus automatisch wordt bepaald, onder andere aan de hand van eerdere testomstandigheden. Aan de bandbreedte te zien, gebruikt TP-Link 40MHz in deze test en scoort hiermee dus een ruime 500Mbit waar de ASUS GT-AX11000 en Netgear Nighthawk AX12 een ruime 900Mbit scoren.

IGen best effort same channel-interferencetest

In de iGen best effort same channel-interferencetest wordt er door de iGen een netwerk gesimuleerd dat op hetzelfde kanaal met dezelfde bandbreedte verkeer uitzend. Zo is het complete spectrum dat de router voor zijn wifinetwerk gebruikt, verstoord door netwerkverkeer dat de iGen uitstuurt, maar kan de router dit wel waarnemen en zijn gedrag hierop aanpassen. De WMM-prioriteit is best effort, wat inhoudt dat de pakketten die de iGen verstuurt een lage prioriteit hebben en de iGen geen extra moeite zal verrichten dit verkeer voorrang te verlenen.

2,4GHz iGen best effort same channel
5GHz iGen best effort same channel

Je ziet dat op 2,4GHz de ASUS en TP-Link niet veel invloed ondervinden van het concurrerende netwerk. De Netgear reageert wel stevig en de bandbreedte zakt terug naar 20Mbit. Dat is net onder de bandbreedte die je nodig hebt om uhd-videocontent te streamen.

Op 5GHz is de invloed van de ruis op de Netgear een stuk minder dramatisch. De doorvoer is iets gezakt ten opzichte van de test zonder ruis, wat we ook zien bij de TP-Link. Wel blijft de variatie in bandbreedte bij de TP-Link stabieler dan bij de Netgear. De ASUS heeft wel een stuk meer last van de ruis: de bandbreedte is fors omlaag gegaan in doorvoer. Later in de test zien we dat de ASUS een iets hogere bandbreedte probeert, maar dan al snel weer terugzakt. Het lijkt erop dat de router zoekt naar een zo stabiel mogelijke doorvoer en dat belangrijker vindt dan de bandbreedte zo hoog mogelijk krijgen.

IGen best effort overlap-interferencetest

In de iGen best effort overlap-interferencetest wordt er door de iGen een netwerk gesimuleerd dat op hetzelfde kanaal met een kleinere bandbreedte verkeer uitzendt. Zo is een deel van het spectrum dat de router voor zijn wifinetwerk gebruikt, verstoord. Ook hier is de WMM-prioriteit van de iGen op best effort ingesteld, zodat het verkeer geen speciale prioriteit krijgt.

2,4GHz iGen best effort overlap
5GHz iGen best effort overlap

De resultaten op 2,4GHz laten zien dat de ASUS dit geen fijne situatie vindt. De doorvoer is fiks teruggelopen naar onbruikbare niveaus, soms valt de datadoorvoer zelfs meerdere seconden stil. De TP-Link en Netgear laten zich minder van de wijs brengen. Bij de TP-Link is de doorvoer iets minder, maar de stabiliteit van de verbinding is in orde. Die stabiliteit zien we totaal niet terug bij de Netgear, die zwabbert en dips vertoont, maar wel probeert de volle bandbreedte te behouden.

In het 5GHz-spectrum valt de TP-Link op met een stabiele verbinding en een prima bandbreedte. De ASUS en Netgear laten hier weer duidelijk zien wat verschillen in algoritmes doen. Beide beginnen met een hoge bandbreedte en een instabiele verbinding. Na 30 seconden zien we de ASUS terugschakelen naar een veel lagere doorvoersnelheid, maar ook daar krijgt de router geen stabiele verbinding voor elkaar, tenminste, als je dit vergelijkt met de mate waarin de TP-Link dat wel lukt.

IGen voice same channel-interferencetest

In de iGen voice same channel-interferencetest wordt er door de iGen een netwerk gesimuleerd dat op hetzelfde kanaal met dezelfde bandbreedte verkeer uitzendt. Zo is het complete spectrum dat de router voor zijn wifinetwerk gebruikt, verstoord. De WMM-prioriteit van het verkeer van de iGen is ingesteld op de hoogste prioriteit die beschikbaar is: voice.

2,4GHz voice same channel
5GHz voice same channel

Op het 2,4GHz-spectrum zien we bij de drie wifirouters een gelijkmatig beeld. De Netgear weet nu wel de verbinding overeind te houden en laat vrijwel hetzelfde beeld zien als de ASUS. Bij alle drie de routers lijkt het beeld erg op het eerste stadium van de eerdere bestefforttest, maar de bandbreedte is iets lager, doordat de iGen iets meer prioriteit op het radiospectrum eist.

Op 5GHz is het de ASUS die bij deze test overduidelijk beter op zijn plek zit: hij zakt niet in zoals bij de eerdere bestefforttest. Hij behaalt zelfs zijn hoogste bandbreedte in deze serie tests met storing, maar dit gaat gepaard met iets minder stabiliteit vergeleken met de TP-Link. Ook de Netgear vertoont dit beeld van een hoge bandbreedte en een minder stabiele verbinding. De TP-Link is wel op een lagere bandbreedte gaan zitten, maar vertoont weer een uiterst stabiele lijn.

IGen voice overlap-interferencetest

In de iGen voice overlap-interferencetest wordt er door de iGen een netwerk gesimuleerd dat op hetzelfde kanaal met een kleinere bandbreedte verkeer uitzendt. Zo is een deel van het spectrum dat de router voor zijn wifinetwerk gebruikt, verstoord. Ook in dit geval is de WMM-prioriteit van de iGen op de hoogste prioriteit, voice, ingesteld.

2,4GHz voice overlap
5GHz voice overlap

Dat de wifirouters het zwaar hebben in deze test is duidelijk te zien in de grafieken. De TP-Link laat zich op 2,4Ghz niet van de wijs brengen en zoekt de hoogste bandbreedte op. Dat levert een duidelijk instabiele verbinding op, die wel doorvoer blijft bieden. De ASUS heeft besloten om de handdoek in de ring te gooien. Als de kanaalinstelling niet vast stond ingesteld, had die waarschijnlijk ook al lang besloten een ander kanaal op te zoeken. De Netgear levert nog wel doorvoer, zo te zien iets stabieler dan de TP-Link.

Op 5GHz lukt het iPerf3 niet om een verbinding op te bouwen met de trafficgenerator op het netwerk van de TP-Link. Hierdoor zijn de testresultaten voor dit apparaat afwezig in de grafiek. Bij de ASUS was er wel nog sprake van dataoverdracht, maar ook deze resultaten laten zien dat het geen pretje zal zijn om nog gebruik te maken van dit wifinetwerk voor meer dan geduldig internetten. De Netgear brengt het er beter vanaf en biedt een fatsoenlijke doorvoer, maar duidelijk ook met horten en stoten.

IGen no back-off-interferencetest

In de iGen no back-off-interferencetest stuurt de iGen verkeer uit met als speciale instelling 'no contention'. Dat is de modus waarin de iGen de back-offtijd compleet overslaat en de iGen zijn verkeer uitzendt zonder rekening te houden met andere apparaten die ook gebruik willen maken van het wifikanaal. Enkel het vrij zijn van de radiofrequentie, tijdens een DIFS-interval, is een vereiste om uit te zenden.

Het negeren van dit mechanisme zorgt ervoor dat de band vrijwel continu bezet is door de iGen; dit zou het wifinetwerk van het dut erg moeten verstoren. De kans dat je een apparaat treft dat zich op die manier misdraagt, is in de praktijk niet zo groot. In deze test laten we dit verkeer uitzenden op 2,4 GHz, wifikanaal 1. De wifirouter staat zoals in de overige tests ingesteld op kanaal 6. Beide apparaten zijn ingesteld om 20MHz bandbreedte te gebruiken waardoor er geen overlap ontstaat. Toch zijn er routers die hier last van hebben. We voeren deze test uit, omdat we tijdens het draaien van testruns met deze opstelling een enkele wifirouter tegen zijn gekomen die deze test slecht doorstond. Normaal gesproken zal deze test dus ook niet in reviews terugkomen, maar analyseren we altijd wel de uitkomst op de achtergrond en melden we afwijkende resultaten.

Ook in deze resultaten zien we dat de Netgear last heeft van de invloed van een naburig netwerk dat het kanaal niet overlapt. Dat is een nadeel in drukke radio-omgevingen.

Airtimefairness is een begrip waar we in een eerder gepubliceerd achtergrondartikel aandacht aan hebben besteed. Kort gezegd gaat airtimefairness over de manier waarop een wifirouter of accesspoint de 'tijd in de lucht' verdeelt.

Wifi is een halfduplexmedium: dat houdt in dat een accesspoint normaal gesproken met slechts een client tegelijk kan communiceren en bovendien maar één richting op. Als een client dicht bij het accesspoint staat, is het signaal op zijn sterkst en de snelheid dus hoog. Laten we er van uitgaan dat 1200Mbit/s gehaald wordt. Loop je nu verder bij de zender vandaan, dan zal het signaal minder sterk worden. De client heeft moeite om het signaal te ontcijferen, waardoor het accesspoint terug moet schakelen naar een eenvoudigere modulatie en lagere coderate. In dit voorbeeld zakt de snelheid daardoor naar 300Mbit/s. De snelheid is dus nog maar een kwart van wat het eerst was, dus om dezelfde hoeveelheid data over te dragen, is er vier keer zoveel airtime nodig. Deze client houdt de lucht dus vier keer zo lang 'bezet' als eerst.

Heb je slechts één draadloze client, dan is dat niet zo'n probleem: je snelheid wordt gewoon wat lager als je verder weg loopt en daardoor duurt je overdracht langer. In de meeste huishoudens zijn er echter meerdere draadloze clients aanwezig, die allemaal gebruik willen maken van de airtime. Daarbij speelt het niet alleen dat er clients op verschillende afstanden van het accesspoint staan, maar ook dat er clients kunnen zijn die nog gebruikmaken van een legacywifiprotocol, zoals 802.11n of 802.11g. Die oudere protocollen zijn minder efficiënt dan het nieuwe 802.11ax en nemen verhoudingsgewijs nog meer airtime in beslag om dezelfde hoeveelheid data te sturen of te ontvangen.

Het is vervolgens de taak van het accesspoint of wifirouter om die airtime te verdelen. Dat zou er schematisch uit kunnen zien als in de bovenstaande afbeelding. In plaats van om en om een pakketje te sturen naar client A en B, kan het accesspoint ervoor kiezen om niet het aantal pakketjes, maar de tijd in de lucht eerlijk te verdelen. Op die manier heeft de snelle client, client B, minder last van de legacyclient. De legacyclient gaat weliswaar iets in snelheid achteruit, maar de snelle client kan veel meer data versturen en ontvangen dan wanneer iedere client om beurten een pakketje krijgt.

Airtimefairness is dus het zo eerlijk mogelijk verdelen van de beschikbare airtime, maar er is geen maatstaf die bepaalt hoe goed een accesspoint dat doet. Een legacyclient veel airtime toebedelen, is niet de bedoeling, want dan vertraag je de clients die moderne wifistandaarden ondersteunen, onevenredig veel. Tegelijkertijd moet het ook niet zo zijn dat een legacyclient, die van zichzelf al traag is, zo weinig airtime toebedeeld krijgt dat het apparaat eigenlijk niet meer bruikbaar is.

De testopstelling die we gebruiken om te kijken hoe een wifirouter of accesspoint de airtime verdeelt, hebben we gebaseerd op de eerdergenoemde TR-398-handleiding van het Broadband Forum. Daarmee doen we een aantal verschillende tests. Om te beginnen testen we de overdrachtssnelheid als er twee clients zonder demping zijn verbonden.

Dut -> sta 215
Dut -> sta 216

In principe zou de bandbreedte naar de beide clients gehalveerd moeten worden en zouden sta 215 en sta 216 een even hoge overdrachtssnelheid moeten hebben. De ASUS AX11000 en Netgear AX12 doen dat netjes en geven beide clients stabiel ongeveer 120Mbit/s aan bandbreedte. De AX50 geeft de voorkeur aan sta 215 en geeft sta 216 minder bandbreedte, waarbij de bandbreedte bovendien minder stabiel verdeeld wordt.

Dut -> sta 215
Dut -> sta 216 | 38dB demping

Vervolgens kijken we hoe de prestaties zijn als een van de clients met 38dB gedempt wordt. Ook hier weten de AX11000 en AX12 de bandbreedte netjes en vooral stabieler te verdelen dan de TP-Link AX50.

Dut -> sta 215
Dut -> sta 218 | 802.11g

Vervolgens schakelen we sta 216 uit en schakelen we sta 218 in. Sta 218 is de legacyclient, die op 2,4GHz via 802.11g en op 5GHz via 802.11a verbindt. Als we deze test draaien, geeft de AX50 volledige prioriteit aan de 802.11ax-client en kan de legacyclient geen gebruik meer maken van het netwerk. De AX11000 geeft de legacyclient daarentegen wel ruimte; dat gaat ten koste van de snelheid van sta 215 en dat levert voor de legacyclient een overdrachtssnelheid van gemiddeld 10Mbit/s op.

Wat wil die data nu zeggen? Om te beginnen lijkt het erop dat de AX11000, net als in de vorige tests, de bandbreedte stabieler kan verdelen. Deze router laat bovendien alle verbonden sta's 'aan het woord komen'. De AX50 en AX12 doen dat in dit scenario niet en geven sta 218 geen bandbreedte. In het geval van de AX12 valt de verbinding met het sta zelfs weg, waardoor we geen lijn in de grafiek kunnen plotten. Is dat erg? Dat hangt van de situatie af waarin je de router opstelt. Stel: je maakt gebruik van een iot-sensor in een plantenbak, die de vochtigheid van de grond bijhoudt. Die sensor hoeft niet continu data te sturen, maar zal misschien ieder kwartier, of misschien wel ieder uur rapporteren wat het vochtniveau is. Het is waarschijnlijk niet continu zó druk op je wifinetwerk dat de sensor er helemaal niet tussendoor kan komen en de AX50 en AX12 zullen in dit scenario ook voldoen.

Er valt echter ook nog een ander scenario te bedenken waarbij je liever wilt dat je wifirouter zich zo gedraagt als de AX11000. Stel dat je nog gebruikmaakt van een oude laptop om video's op te streamen, dan ben je beter af met een wifirouter die je daar de bandbreedte voor geeft. Een YouTube-stream op 1080p-resolutie heeft ongeveer 5Mbit/s nodig, dus die kun je in combinatie met de AX11000 nog afspelen, terwijl een andere gebruiker binnen het netwerk op volle snelheid aan het downloaden is.

Dut -> sta 215
Dut -> sta 216 | -38dB
Dut -> sta 218 | 802.11g

Tot slot testen we het scenario waarbij sta 215 nog altijd zonder demping via 802.11ax verbonden is. Sta 216 is ook via 802.11ax, maar gedempt, verbonden en sta 218 is via een legacyprotocol verbonden. Dit is de meest lastige test voor het accesspoint en hierbij verliest de AX11000 opvallend genoeg de verbinding met de legacyclient. Op de 2,4GHz-band hebben alle drie de wifirouters het dus lastig met de legacyclients. De twee duurdere wifirouters, de AX12 en de AX11000, doen het beter dan de AX50, maar verliezen in bepaalde tests toch verbinding met de legacyclient.

Routers en accesspoints passen airtimefairness niet alleen op de 2,4GHz-frequentie, maar ook op 5GHz-frequentie toe. We draaien hier dezelfde tests als op 2,4GHz, waarbij de legacyclient geen gebruikmaakt van 802.11g, maar van 802.11a, omdat 802.11g alleen de 2,4GHz-band ondersteunt.

Dut -> sta 215
Dut -> sta 216

Ook hier kijken we om te beginnen naar de snelheid als we beide sta's ongelimiteerd data sturen, zonder enige vorm van demping. De routers zijn, zoals bij bijna alle tests, ingesteld op een kanaalbreedte van 80MHz. Op deze frequentieband weten de twee duurdere wifirouters hogere snelheden te halen als er naar twee clients tegelijk gestuurd wordt.

Dut -> sta 215
Dut -> sta 216 | 38dB demping

Vervolgens passen we demping toe op sta 216. Wat hier opvalt is dat de ene wifirouter zich anders gedraagt dan de andere. De AX50 geeft beide clients even veel bandbreedte, maar is toch minder snel dan de AX11000 en de AX12. De twee duurdere wifirouters presteren vergelijkbaar. De gedempte client is ongeveer even snel als die van de AX50, maar de niet-gedempte client boet niet in in snelheid. De airtime wordt dus aardig verdeeld.

Dut -> sta 215
Dut -> sta 218 | 802.11a

Als we een 802.11a-client verbinden, zien we dat ook hier een verschil is met de resultaten op 2,4GHz. Op 2,4GHz bood de AX50 de legacyclient helemaal geen bandbreedte, maar op 5GHz is ook de legacyclient te gebruiken, terwijl sta 215 ook volledig wordt belast. De twee duurdere wifirouters doen het iets beter, waarbij de AX12 het stabielste en snelste is.

Dut -> sta 215
Dut -> sta 216 | 38dB demping
Dut -> sta 218 | 802.11a

Ook bij de zwaarste airtimefairnesstest zien we dat er verschillen zijn met 2,4GHz. In die eerdere test kreeg de legacyclient bij de AX11000 en AX50 helemaal geen data meer, maar op 5GHz is dat wel het geval, al is het niet veel. Ook hier zijn duidelijke verschillen in snelheid en de variatie in snelheid te zien. Al met al komt in de airtimefairnesstests duidelijk naar boven wat het verschil is tussen de duurdere en goedkopere wifirouters.

Reactietijd of latency is een belangrijk onderdeel van de netwerkervaring voor de meer veeleisende gebruiker. Van een hoge reactietijd merk je niet zoveel tijdens het streamen van een filmpje, maar des te meer bij gaming. Alle gamingwifirouters ten spijt: echte gamers waarvoor reactietijd van levensbelang is, weten al jaren dat het beter is om bedraad aan de router verbonden te zijn dan te gamen over wifi. Dit heeft te maken met het feit dat je wifirouter over het algemeen meerdere clients verbonden heeft en de radiofrequentie (op wat mu-mimo-trucjes na) afwisselend gebruikt moet worden om die clients te bedienen.

Een kabel is niet altijd een optie; hoe zit het met de responstijd, als je op wifi bent aangewezen voor het gamen, ook als het netwerk door andere apparatuur wordt gebruikt? Om in drukke netwerkomstandigheden de responstijd toch acceptabel te houden, is bij Wi-Fi 6 ofdma toegevoegd. Ofdma staat voor orthogonal frequency division multiple access. Alle details van die techniek hebben we eerder behandeld in dit achtergrondartikel over de werking van wifi.

Work in progress

We willen dus graag de vertraging, oftewel de latency, meten als we met wifi verbonden zijn. Daarbij gaat het ons voornamelijk om het gedrag van de wifirouter als het netwerk drukker belast is. Daarnaast zijn we ook benieuwd naar de invloed van ofdma. Om die reden hebben wij dit testonderdeel ontwikkelt, maar het levert nog niet de consistente resultaten waar we naar op zoek zijn. Hierdoor kunnen we moeilijk iets over de resultaten zeggen en is vergelijken lastig.

De testmethode (tot nu toe)

Om het effect van ofdma te testen, willen we de latency tussen de server en client weten. Omdat ofdma in een of twee richtingen kan werken, willen we dit meten in beide richtingen, maar het is vooral de downlinkrichting, waarbij de wifirouter de ofdma-transmissies regelt richting de clients, die voor onze testresultaten van belang is.

Het aloude pingcommando dat je normaal gesproken zou gebruiken om de latency te bepalen, is in dit geval niet zo nuttig, omdat die de roundtriptijd meet, ofwel de totale tijd die verstreken is tussen het verzenden van de ping en het ontvangen van de reply.

Om beter te kunnen bepalen welk effect ofdma heeft, en in welke richtingen het actief is, gebruiken we het programma sping. Sping is een afkorting van de term 'splitping'. Een splitping is een variant op de traditionele pingtechniek, waarbij de software aan beide kanten een timestamp toevoegt als de ping wordt ontvangen en de reply wordt verzonden. Zo kun je zien hoeveel latency er in de upstream en in de downstream plaatsvindt.

Om het splitpingen goed te laten functioneren en omdat het om kleine latencywaarden gaat die op twee losse platformen worden gemeten (trafficgenerator en sta), moet de timestamp die wordt toegevoegd nauwkeurig zijn en moet de klok van beide computers zo exact mogelijk gelijk lopen.

De klokken dienen dus nauwkeurig gesynchroniseerd te zijn in onze testopstelling. Daarom is de trafficgenerator gebombardeerd tot NTP-server en synchroniseren de sta’s hun klok met de trafficgenerator, waarna de test begint.

We laten in de test drie clients via iPerf3 verkeer met een hoge prioriteitsklasse versturen, per client is dit begrensd op 50Mbit om de bandbreedte niet volledig te verbruiken, maar wel zoveel mogelijk radiotijd te eisen. Hiernaast starten we sping, om te kijken of en hoeveel vertraging er optreedt in beide verkeersrichtingen. Het ideaalbeeld dat de wifirouter hier zou moeten tonen, is dat met ofdma ingeschakeld de pingvertraging lager is dan met ofdma uitgeschakeld. Hoe lager het resultaat, hoe beter de wifirouter dit voor elkaar krijgt. Dit geldt voor de downlinkrichting.

De grafieken

De visualisatie van de resultaten van deze test doen we anders dan bij de vorige hoofdstukken. Omdat de pingtijden per meting nogal kunnen fluctueren, krijg je zonder te filteren een lijn die kriskras heen en weer loopt en waar moeilijk een patroon in te zien valt.

Om de resultaten toch duidelijk te visualiseren en te vergelijken, voeren we daarom wat statistiek uit. We nemen de 120 metingen per testrun, berekenen hiervan het gemiddelde en de standaardafwijking. Hiermee kunnen we op basis van de meetresultaten bepalen hoe hoog de kans is op een lage of hoge meetwaarde bij een nieuwe meetwaarde. Vervolgens plotten we twee lijnen per grafiek: de run met ofdma ingeschakeld en ofdma uitgeschakeld.

De voorlopige meetresultaten

De onderstaande grafiek laat de resultaten zien van als we de drie wifirouters de testmethode laten ondergaan op 2,4GHz in de downlinkrichting.

ASUS AX11000
TP-Link AX50
Netgear AX12

In die resultaten lijkt de test bij de Netgear Nighthawk AX12 de gewenste resultaten op te leveren. De resultaten van de ASUS GT-AX11000 geven een vreemd beeld als ofdma aanstaat: dan lopen de responstijden die we meten enorm op, maar hier kunnen we geen conclusie aan verbinden. De test zoals die op dit moment staat, heeft namelijk twee mankementen. Ten eerste is er een grote variatie te zien in de testresultaten. Als we acht keer dezelfde test uitvoeren, blijken de meetresultaten flink uiteen te liggen. Een oplossing voor dit probleem zou kunnen zijn om die resultaten te middelen of wellicht de test langer te laten draaien.

Ten tweede zouden we graag de eventuele invloed van ofdma op het testresultaat zien, maar dit is op dit moment niet uit de resultaten te destilleren. Er is weliswaar een verschil in het testresultaat met en zonder ofdma zichtbaar, maar dat zou ook te maken kunnen hebben met de zojuist benoemde meetfout. Een mogelijke oplossing voor dit probleem is het vergroten van het aantal clients of het aantal iPerf3-streams.

Om die reden schaven wij op dit moment aan de testvariabelen tot we meer consistentie in de resultaten terugzien. De testresultaten die we hier presenteren, zijn daarom nog het voorlopige tussenresultaat van de huidige set-up om ofdma te testen. Uiteindelijk is het doel om een testscenario te creëren waarin wifirouters die ofdma goed hebben geïntegreerd zich kunnen onderscheiden van producten die dat minder goed voor elkaar hebben. Pas dan zullen we de testresultaten van deze test meenemen in de beoordeling van een wifirouter en kunnen we beter en, nog belangrijker, op een eerlijke manier verschillende wifirouters op dit gebied met elkaar vergelijken.

Voor nu gaan we kijken of we de test betrouwbaarder kunnen maken door hem te verlengen en te experimenteren met het aantal en type streams, om te zien of we de werking en het effect van ofdma, bij de wifirouters die dat goed toepassen, duidelijker kunnen tonen. Suggesties die ons hierbij verder helpen zijn uiteraard welkom in de reacties.

Mimo maakt het voor een accesspoint mogelijk om met meerdere radio's en antennes tegelijk te communiceren. Dit kan de router inzetten om een sterker signaal te genereren of met meerdere clients tegelijkertijd te communiceren (mu-mimo). Hiervoor zijn verschillende methodes mogelijk die apart of juist tegelijk kunnen worden ingezet door de router.

Spatial multiplexing

Bij spatial multiplexing splitst de router de data die moet worden verzonden op in verschillende partjes. Die partjes worden allemaal tegelijk verzonden door de verschillende radio's in de router, waardoor er een grotere bandbreedte wordt bereikt dan wanneer die data serieel verstuurd wordt. De voorwaarde hiervoor is uiteraard dat de client minimaal over evenveel ontvangende antennes beschikt als de router gebruikt om de gemultiplexte data te versturen. Om dit te initiëren, stuurt de router een kalibratiesignaal waarmee de client de faseverschuiving in de ontvangst van dit signaal kan bepalen. Hierna wordt de gemultiplexte data simultaan verstuurd. Door de eerder door de client bepaalde faseverschuiving van de ontvangende antennes, kan de client het ontvangen signaal weer reconstrueren naar aparte datastreams.

Spatial Multiplexing

Space-time block coding

Een variant op spatial multiplexing kan gebruikt worden om, naast de datadoorvoer, de redundantie van de signaaloverdracht te verhogen. In dit geval zenden meerdere radio's hetzelfde signaal uit, waarbij de router in het geval dat die beschikt over voldoende radio's, spatial multiplexing kan toepassen op dit versterkte signaal.

MU-MIMO Space Time Block Coding

Beamforming

Bij beamforming gebruikt de router de afzonderlijke radio's om de richting en sterkte van het signaal te beïnvloeden. Het signaal kan bijvoorbeeld door de router versterkt worden voor meer bereik dan met een enkele radio mogelijk zou zijn. Door met twee antennes tegelijk een signaal te verzenden, waarvan een van de twee antennes dit signaal uit fase (eerder, later of geïnverteerd) verzendt, kan de router het signaalprofiel rondom de router beïnvloeden. Het radiosignaal bestaat uit golven die elkaar kunnen versterken of uitdoven. Stel je voor dat je een steentje in kalm water gooit, dan krijg je omnidirectioneel (rondom) golven. Gooi je twee steentjes naast elkaar in kalm water, dan zullen sommige toppen van de golven van de ene steen, de dalen van de golven van de andere tegenkomen, en elkaar 'uitdoven'. Dit effect kan ook op radiosignalen toegepast worden met twee of meerdere antennes. Dit gaat gepaard met wat vreemde 'lobben' aan de basis van het zendbereik, maar resulteert uiteindelijk in een directioneler en verder reikend signaal.

Door slim die faseverschuiving toe te passen en daarbij feedback van de client over hoe het signaal ontvangen wordt, te gebruiken, kan de router met beamforming een sterker signaal gericht uitzenden op de client.

Mu-mimo

De hiervoor genoemde technieken zijn allemaal technieken om met een enkele client en meerdere antennes het signaal te optimaliseren. De router kan de meerdere antennes uiteraard ook inzetten om met meerdere clients tegelijk te communiceren. Dit noemen we mu-mimo. De router gebruikt dan bijvoorbeeld spatial multiplexing, maar verdeelt het signaal hierbij over meerdere clients.

MIMO-technieken: MU-MIMO

De testprocedure

We voeren twee keer onze bandbreedtetest uit met de drie wifi-AX-gebaseerde sta's tegelijk. In de eerste run staat mu-mimo uitgeschakeld, in de tweede run schakelen we mu-mimo in op de router. Niet elke router staat het in- of uitschakelen van mu-mimo toe, zoals in onze huidige selectie het geval is bij de TP-Link AX-50. Deze router heeft geen instelling om mu-mimo uit te schakelen, maar ondersteunt dit wel, waardoor we deze router enkel tonen in de resultaten bij tests waar mu-mimo ingeschakeld is. De TP-Link AX-50 is dus niet met zichzelf te vergelijken, maar wel met de overige routers.

Datadoorvoer downlink

De testresultaten bepalen we door het totaal te berekenen van de doorvoer van de drie afzonderlijke streams in de test. Bij de Netgear lijkt het er niet op dat mu-mimo invloed heeft op de totale doorvoer; dit zien we bij zowel 2,4GHz als 5GHz. Bij de Asus heeft het inschakelen van mu-mimo wel invloed, maar niet hoe we zouden verwachten: deze scoort minder hoog in de doorvoer als die aanstaat.

Datadoorvoer uplink

Bij de uplink zien we een gelijkmatiger beeld bij de Asus: in deze richting heeft het inschakelen van mu-mimo niet de negatieve invloed die we in de downlinkrichting wel zien. Het valt op dat de TP-Link minder hoog scoort. Dit komt omdat dit een 2x2:2-mimo-router is: er zijn twee antennes voor de uplink en twee antennes voor de downlink beschikbaar, waarmee de router in elke richting maximaal met twee spatial streams werkt. Bij de drie clients die data vragen, kan de router die dus niet elk van een spatial stream voorzien. Hierdoor is de doorvoer minder hoog dan bij de Netgear en ASUS die beide over meer radio's en spatial streams beschikken (4x4:4). Als we kijken naar de losse uitslagen van de sta's, zien we dit bij de TP-Link duidelijk terug.

Uit de resultaten kun je afleiden dat sta 217 een eigen radio toegewezen heeft gekregen en de andere radio zijn capaciteit verdeelt tussen de twee overige clients. Die scoren meer dan de helft lager, onder andere omdat de communicatie met één radio naar twee verschillende clients iets meer overhead vergt, wat ten koste gaat van de bandbreedte van die twee clients.

Veel wifirouters worden uitgevoerd met een (of meerdere) USB-poorten. Hier kan bijvoorbeeld een 4G-USB-modem op worden aangesloten om een reserveverbinding te bieden als het internet uitvalt (dual-wan). Die functionaliteit testen we niet in onze test, maar wel het tweede nut van die poort: USB-opslag. De wifirouters die dit ondersteunen, bieden hiermee een (zeer) licht alternatief voor een nas, doordat je een USB-stick, hdd of ssd kunt aansluiten op de wifirouter en dit vanaf elk netwerkapparaat kunt gebruiken. De mogelijkheden en beveiligingsopties zijn hierbij afhankelijk van de gebruikte wifirouter, maar nagenoeg allemaal ondersteunen ze bestandsdeling via het SMB-protocol dat Windows gebruikt om bestanden en printers te delen op lokale netwerken.

De USB-opslagtest wordt uitgevoerd met PCMark 10. De gebruikte test is een aangepaste variant van de PCMark 10 Storage-benchmark, de test die UL Benchmarks heeft ontwikkeld om netwerkopslagapparatuur te testen. Aan de wifirouter verbinden we de SanDisk Extreme Pro Portable SSD van 1TB op de snelste poort die de wifirouter biedt, als die zowel over USB 2.0- als USB 3.0-poorten beschikt. De schijf delen we met het SMB-protocol en op de trafficgenerator verbinden we die gedeelde map als netwerkschijf.

De PCMark 10-test speelt een aantal vooraf opgenomen traces af op het doelmedium, die bestaan uit vooraf gedefinieerde schrijf- en leesacties. De test is geschikt om interne, externe en netwerkdrives te benchmarken. Onze aanpassing aan de test bestaat uit het toevoegen van een tijdslimiet op het uitvoeren van de traces. Zonder die limiet zou de opslagtest namelijk meerdere uren in beslag nemen, wat de duur van het totale testproces onevenredig zou verlengen. Door de traces op 30 seconden te begrenzen, verloopt de test een stuk vlotter, maar zijn de resultaten nog wel steeds consistent gebleken. Wel moet gezegd worden dat de score van de test niet een-op-een te vergelijken is met de resultaten van de standaard opslagtest van UL Benchmarks, omdat die standaard test een stuk langer beslag legt op de drive en de latere delen van de traces niet aan bod komen. Dit is ook niet van belang, omdat we niet de schijf, maar de doorvoersnelheid van de wifirouter willen testen.

Let erop dat de toegangstijd en bandbreedtewaarden gemiddeld zijn en geen piekwaardes. PCMark 10 simuleert bewerkingen op een bestandssysteem en baseert zijn scores en resultaten op het algemene beeld dat het testobject hierbij vertoont; dit maakt de scores relevanter, omdat ze gebaseerd zijn op algemeen normaal gebruik.

USB-opslag - Score
USB-opslag - Gemiddelde toegangstijd
USB-opslag - Bandbreedte

PCMark 10 - Data Drive - Score
Modem en router	Gemiddelde score in punten (hoger is beter)
ASUS ROG Rapture GT-AX11000	155
TP-Link Archer AX50	57
Netgear Nighthawk AX12	249

PCMark 10 - Data drive - Average access time
Modem en router	Gemiddelde tijd in µs (lager is beter)
ASUS ROG Rapture GT-AX11000	922
TP-Link Archer AX50	1.937
Netgear Nighthawk AX12	682

PCMark 10 - Data drive - Bandbreedte
Modem en router	Gemiddelde bandbreedte in MB/s (hoger is beter)
ASUS ROG Rapture GT-AX11000	21,33
TP-Link Archer AX50	6,12
Netgear Nighthawk AX12	40,46

Opgenomen vermogen

Er zijn op dit moment weinig zaken actueler dan de gestegen energieprijzen; grote kans dat je thuis al eens een rondje langs de sluipverbruikers hebt gemaakt om te kijken of hier wat in te snijden valt. Wifirouters vallen zeker onder die categorie, omdat maar weinig mensen hun router uitzetten als deze niet gebruikt wordt. Een gemiddelde wifirouter verbruikt 85kWh op jaarbasis. Afhankelijk van je energiecontract, waarmee voor sommigen het tarief tot wel 0,62 euro per kWh is gestegen in 2022, kost het in de lucht houden van je wifinetwerk iets meer dan 50 euro op jaarbasis.

Het opgenomen vermogen lezen we af met een Voltcraft Energy Logger 4000. De metingen die we verrichten, zijn als volgt: we lezen eerst af wat de wifirouter verbruikt als die uitstaat, vervolgens lezen we na het configureren van de wifirouter af wat die in rust verbruikt en we lezen af wat de wifirouter verbruikt als die vol in bedrijf is met meerdere datastromen over het wifinetwerk en bedrade netwerk. Het aflezen doen we gedurende één minuut, waarna we de piekwaarde die in die periode is opgetreden noteren als score.

DFS-test

De DFS-test is ook een test waar je niets meer over zult lezen, tenzij de uitkomsten afwijken van het gedrag dat de wifirouter hoort te hebben. De DFS-kanalen vind je in een deel van het 5GHz-spectrum en het zijn frequentiebanden die gebruikt kunnen worden door radarapparatuur, zoals weerradars. Je mag die kanalen gebruiken voor je eigen wifinetwerk, maar de wifirouter moet in de gaten houden of hij een radar detecteert, en zo ja: plaatsmaken. Doet de wifirouter dit goed (en dat is wettelijk verplicht), dan hoor je ons hier dus niet over.

Wifi 6e frequenties Broadcom

In deze afbeelding zijn de DFS-kanalen geel gemarkeerd.

We stellen de router in op een DFS-kanaal met de hoogste bandbreedte die ingesteld kan worden en verbinden de clients met de wifirouter. Het kan dan even duren (tot wel tien minuten) voordat het wifinetwerk online is, omdat de wifirouter eerst moet luisteren en constateren dat de DFS-kanalen niet in gebruik zijn door een radar. Vervolgens starten we de spectrumanalysator. We controleren hiermee of de DFS-banden door de wifirouter in gebruik genomen zijn en starten een radarsimulatie met de iGen. Het gewenste gedrag dat we vervolgens willen waarnemen, is dat de wifirouter de radar detecteert en zijn kanaal en bandbreedte dusdanig aanpast naar een positie buiten de DFS-kanalen, zodat de radar niet verstoord raakt in zijn werking.

In totaal zijn we meer dan een jaar bezig geweest om de testprocedure die we in de afgelopen tien pagina's beschreven hebben, samen te stellen. We hebben ons moeten inhouden, omdat we met de apparatuur waarover we beschikken nog veel meer testscenario's kunnen bedenken dan we nu hebben staan. Wat ons betreft zijn de tests die we geselecteerd hebben, het relevantst voor een wifirouter voor thuisgebruik en geeft het geheel een goed beeld van de prestaties van een wifirouter.

Daarbij is niet iedere test even relevant. We schreven al dat het testen van de maximale overdrachtssnelheid en de snelheid van de wan- en lan-poorten volgens ons niet belangrijk is. Dat zijn tests waarin we kijken of de wifirouters naar behoren functioneren en waarmee we een eerste resultaat hebben waaraan we de andere resultaten kunnen relateren.

Wat ons betreft zijn de range-versus-rate- en de ruistests het belangrijkste. We testen hierbij de zaken die de basis betreffen waar iedere gebruiker mee te maken heeft. Hoeveel snelheid houd je over als je steeds verder weg bij de wifirouter komt te staan en hoe presteert je wifirouter op het moment dat de buren een VoIP-gesprek voeren op hetzelfde kanaal? Airtimefairness is wat ons betreft ook belangrijk, want dat laat zien hoe de wifirouter het verkeer verdeelt op het moment dat er meerdere apparaten verbonden zijn die op verschillende afstanden van de router staan en verschillende protocollen ondersteunen. In vrijwel alle gevallen zul je meer dan één apparaat draadloos met een wifirouter verbinden en dan is dit scenario al relevant.

De andere tests die we uitvoeren zullen eerder van belang zijn voor specifiekere gebruiksscenario's. Een lage latency is, wanneer we dat betrouwbaar kunnen testen, vooral van belang voor gamers. Mu-mimo is relevant als je met niet te veel clients intensief gebruikmaakt van wifi en de snelheid van de USB-poort is relevant voor de, kleine, groep gebruikers die hem ook gebruikt.

De eerste resultaten die we in dit artikel gepubliceerd hebben, laten in ieder geval duidelijk het verschil tussen een goedkopere en twee duurdere 802.11ax-wifirouters zien. Gemiddeld presteren de duurdere twee modellen, de AX12 en de AX11000, in alle tests beter dan de goedkopere AX50. De testresultaten laten dus duidelijk het effect zien van de beter hardware in die duurdere wifirouters. Dergelijke resultaten zijn mooi voor een achtergrondartikel, maar in toekomstige reviews zullen we zinnigere vergelijkingen maken met wifirouters uit dezelfde prijsklasse.

Voor de toekomstige reviews is het protocol zoals het er nu staat het uitgangspunt. Dit protocol zullen we uitbreiden als dat nodig is en we zullen delen schrappen als die niet meer relevant blijken. De eerste toevoeging die eraan zit te komen, is de uitbreiding van de tests naar de 6GHz-band, die door Wi-Fi 6E gebruikt wordt. Dat zullen we uitgebreid uiteenzetten.