Bij Tweakers doen we niet alleen veel tests, we denken ook graag na over hoe en waarom we dingen testen. Volgens ons is het tijd om de huidige cpu-, gpu- en opslagbenchmarks voor smartphones de deur te wijzen en op zoek te gaan naar betere manieren om prestaties te meten.
Het belangrijkste doel van een review is goed en duidelijk weergeven hoe een telefoon op diverse vlakken presteert. We merkten dat de toegespitste benchmarks daarvoor steeds minder een middel vormden. Waarom scoren sommige telefoons in opslagbenchmark Androbench veel hoger dan andere, terwijl we geen verschil zien op overige gebieden en op het gebied van gebruikservaring? Daar komt bij dat we er niet meer zeker van kunnen zijn dat de dingen die we meten, ook echt kloppen. Onder meer Huawei en Oppo zijn betrapt op valsspelen bij benchmarks. Ook blijkt dat verschillende gpu's bij grafische benchmarks beelden net anders renderen, waardoor ze niet goed onderling vergelijkbaar zijn.
Voor ons is de belangrijkste conclusie dat benchmarkscores en prestaties in de praktijk, in tegenstelling tot vroeger, steeds minder met elkaar te maken hebben. Hoe een telefoon in de praktijk presteert, hangt vandaag de dag voor een groot deel af van software en tuning onder de motorkap. Een telefoon kan laag scoren op een benchmark, maar in de praktijk sneller en vlotter werken dan concurrenten die in diezelfde benchmark hoger scoren. In toekomstige smartphonereviews vind je dus geen grafieken meer met vergelijkingen van synthetische benchmarks als AndEBench, Androbench, GFXBench en 3DMark.
Betekent dit dat je dergelijke benchmarks helemaal nooit meer voorbij zult zien komen? Zo is het waarschijnlijk ook weer niet. Bijvoorbeeld bij het vergelijken van de nieuwste Snapdragon-soc met zijn voorganger, kunnen goed gekozen synthetische tests zeker wat zeggen over prestatieverschillen van chip tot chip.
We stoppen uiteraard niet met alle tests. Wij zien grote meerwaarde in de eigen tests die we doen op het gebied van scherm, opladen en accuduur, en die resultaten blijven we dus weergeven. Daarnaast gaan we onderzoeken of we zelf tests kunnen ontwikkelen om de prestaties van smartphones beter te kunnen meten. Voor iOS zal dit niet makkelijk zijn, maar de debuggingtools van Android kennen een heleboel mogelijkheden tot automatiseren en het meten van prestaties. In een ideale situatie zouden we een soort macro’s kunnen afdraaien, waarbij we zaken als startsnelheid en framedrops meten.
Het is niet makkelijk om tests te bedenken die correleren met de praktijk en daarnaast goed reproduceerbaar zijn, ook als je twee toestellen maanden na elkaar test. Mocht je dit dus lezen en hier ideeën over hebben - of misschien ben je wel ontwikkelaar en heb je ervaring met deze materie - dan horen we het graag van je.
Beeld van onze accutestset-up waarin een webcam 24 uur per dag in de gaten kan houden hoe lang smartphones, tablets en laptops het volhouden op accutests