UL Benchmarks haalt Huawei-smartphones uit 3DMark vanwege cheaten

UL Benchmarks heeft diverse Huawei-smartphones uit de database van 3DMark gehaald, omdat de fabrikant vals heeft gespeeld om hogere scores te halen. Het bedrijf heeft de cheats bevestigd met eigen testen.

De P20 Pro, Nova 3 en Honor Play haalden op benchmarks van 3DMark een score tot 47 procent hoger vanwege de cheats, zegt UL Benchmarks. Het bedrijf heeft ook de P20 uit de database gehaald op basis van de eerdere bevindingen van Anandtech.

Huawei zegt dat het in updates een 'performance mode' wil toevoegen die gebruikers zelf kunnen inschakelen. Zolang die standaard uit staat in benchmarks, is dat volgens de regels van 3DMark wel toegestaan. Als dat gebeurt, zullen de toestellen weer verschijnen in de lijsten.

De software van de diverse toestellen met Kirin 970-soc omzeilde beperkingen op het gebied van stroomverbruik en temperatuur. Daardoor verbruikt de telefoon bij het benchmarken tot 9W. Vrijwel alle telefoons zijn bij dergelijk gebruik na anderhalf uur leeg. Ook werden de telefoons daarbij heet.

Het is niet voor het eerst dat Huawei is betrapt op vals spel. Zo leverde het vorig jaar reviewexemplaren van de P10 met ufs-opslag, maar voorzag het sommige consumenten van het veel tragere emmc-type. Ook schroeft de fabrikant al enkele jaren lang de helderheid omlaag, een instelling die niet uit te schakelen is. Zonder ingrepen van testers komen Huawei-smartphones bij accutesten op 'vaste helderheid' op hogere waardes uit dan onder normale omstandigheden.

Het cheaten bij benchmarks is vaker gebeurd in de mobiele markt. Onder meer OnePlus, Samsung en HTC maakten zich er in het verleden al schuldig aan. Alle betrapte fabrikanten zijn gestopt met het valsspelen in benchmarks.

Reacties (34)

[MacPoedel]

Nog iets wat hier niet vermeld wordt, en het is ook niet echt Huawei's fout, maar de Mali GPU in de Kirin SoC's die Huawei gebruikt; rendert minder goed dan de concurrentie. Anisotropic texture filtering gebeurt niet, zelfs als je het aan zet, valt de GPU terug op bilinear filtering (https://www.anandtech.com...gpu-turbo-investigation/5). Dat geeft heel zichtbare verschillen en belast de GPU minder, dus potentieel hogere benchmarks/framerates mogelijk.

Nu worden die Mali GPU's ook in SoCs van andere merken gebruikt. Samsung gebruikt die cores ook, dus vraag me af of die telefoons dit probleem ook hebben. De Exynos 9810 van de Galaxy S9 heeft ook een MaliG72 GPU, maar dan wel met meer cores (18 vs 12).

[Henk Poley]

Tsja.. niet echt.. Kirin is gewoon van een dochterbedrijf van Huawei. Betekent nog niet dat ze die opdracht moeten geven om de boel te flessen.

quote: https://en.wikipedia.org/wiki/HiSilicon

HiSilicon (Chinese: 海思; pinyin: Hǎisī) is a Chinese fabless semiconductor company based in Shenzhen, Guangdong and fully owned by Huawei.

[Reactie gewijzigd door Henk Poley op 25 juli 2024 22:32]

[MacPoedel]

De Mali GPU is een ontwerp van ARM, HiSilicon gebruikt referentieontwerpen voor de GPU en CPU cores in de Kirin SoCs.

Dus ja, Huawei kon hier iets aan doen door een ander GPU ontwerp te gebruiken maar het is ook niet dat er daar keuze te over in is en HiSilicon heeft niet zomaar de resources in huis om een GPU te ontwerpen, los daarvan dat zo'n ontwikkeling niet zo snel gaat

[iAR]

Ik begrijp dat je hoog in benchmarks wil staan maar het is toch wel erg kinderachtig om daar je prioriteit van te maken. Maak dan liever gewoon een goed product.
Dat de rest het doet is natuurlijk geen excuus... en daarnaast, levert het in omzet echt zoveel meer op? Zijn performances voor het meerendeel echt zo belangrijk?

[HMC]

De producten zijn gewoon goed, maar aangezien veel mensen reviews kijken op sites, waaronder ook YouTube, is het erg makkelijk om die potentiële kopers te beïnvloeden middels statische benchmarks.
Daar hadden we het gisteren ook al over.

"Wow! De score is blabla! Niet te geloven! Dus beter dan xyz!!"
Dat heeft meer met onderzoek te maken dan met de vinger wijzen naar de fabrikant.

Ze doen het allemaal.
En dat Tweakers zegt dat ze ermee gestopt zijn, betekent niet meteen dat we dat zomaar moeten aannemen.

Beproefde tactieken om phones er goed uit te laten zien in de filmpjes op YouTube zullen niet zo 1-2-3 door management/marketing afgekeurd worden. Als een engineer naar management/marketing gaat met de opmerking "Hey, ik weet hoe dit er beter uit kan zien op die reviews." dan gaan ze daar graag in mee.

Het devies is dus, lees specs van de SoC (inclu GPU) en hoe het zich verhoudt tot andere phones in die prijsklasse.

[bbob]

Als de producten goed zijn moet je je niet vals spelen.

Vindt het nog netjes dat ze in de benchmark terug kunnen komen als ze het wijzigen. Wat mij betreft zouden ze gewoon een ban van minimaal 6 maanden uit de benchmark moeten krijgen, bij volgende keer 1 jaar, daarna 2 jaar.
Vals spelen wordt eigenlijk matig bestraft. als je het veranderd en niet meer vals speelt mag je weer meedoen.

[HMC]

Ja, dat zei iemand anders gisteren ook al in reactie op mij. Alhoewel hij het had over zelfs de verkoop van de phones verbieden voor een jaar.
rkeet in 'nieuws: Huawei geeft cheaten in benchmarks bij recente smartphones ...
Dat is mijn ogen wel erg drastisch.

Uit benchmarks verbieden kan ik nog wel in meegaan.

Maar ik begrijp wel dat ze het doen. Want menigeen baseert zijn koop op die duffe statische benchmarks.

[Iblies]

Zo duf vind ik ze anders niet.

Het is een referentie.

Alleen wordt daar mee gesjoemeld en gaan reviewers ook niet zelf een stapje verder. Nu is het ‘toevallig’ dat anandtech een dergelijke grote afwijking aangeeft,
maar zelf had UL-benchmarks ook vraagtekens kunnen en moeten zetten bij bepaalde waarden.

Daarnaast kunnen reviewers ook meer realistische tests gebruiken ipv de bekendere.
Een telefoon vb instellen op 80% helderheid en dezelde filmpjes afspelen van YouTube of Netflix, en kijken wat dat doet met helderdheid en batterijduur.

[Darkstriker]

Gewoon adverteren verbieden voor een bepaalde periode (1-2 jaar misschien). Dat zou wel gewoon gepast zijn.

[Reactie gewijzigd door Darkstriker op 25 juli 2024 22:32]

[bbob]

tja dat kost geld want advertentie-inkomsten brengen sommige bladen en online leuke cent op.

[Darkstriker]

Het verlies is wel gering omdat er genoeg anderen zijn die ook graag die ruimte willen hebben. Een bedrijfje minder aan de kant van de adverteerders maakt nauwelijks verschil voor het omzet voor die bedrijven, terwijl het wel gewoon de gepaste werking heeft, namelijk dat Huawei toestellen voor een periode minder aandacht krijgen waar ze eerder door wangedrag onterecht extra aandacht hadden. Maar goed, zoiets zou wel gewoon door een overheid moeten gebeuren. Die benchmarkfabrikant kan er niks mee beginnen. Het verwijderen van de toestellen is zo'n beetje hun enige zet. Misschien kunnen ze bij komende toestellen dan eerst kijken of Huawei weer manipuleert alvorens benchmarks op de toestellen mogelijk worden.

[Caelestis]

Maar de vraag is had Huawei ongelijk? Het stempel "cheat" bevindt zich in een enorm grijs gebied. Eigenlijk is het geen cheat maar omdat het dagelijks gebruik en andere style van gebruik vereist wordt het wel een cheat genoemd.
Gaat 3dmark nu ook alle resultaten weren van PC's die opgevoerd zijn? Dat is immers niet een handig setup voor dagelijks gebruik.
Tbh zou ik graag van alle chips juist het max willen zien wat ze kunnen halen zonder truckjes en dan bedoel ik dus stroom besparende onzin die je niet nodig heb in een power test.

[Bunkerface]

Ik zie hier mensen die het hele verhaal als niet al te belangrijk beschouwen, maar als jij pubg of fornite volgens de benches met ~50 fps moet kunnen spelen maar in het echt een schommelende 30 haalt is dat best wel een groot probleem. Als Intel, Nvidia of AMD dit zou doen zullen velen hier het een heel ander verhaal vinden.

Voor normaal gebruik zijn de meeste SOC's goed genoeg, maar als je het nodig hebt is die snelheid toch wel ERG handig.

[Flagg]

En de mensen die dat (soort) spel dan willen spelen vinden het wel belangrijk. Vindt je het erg als de overgrote meerderheid die dat spel niet spelen het dan ook absoluut niet belangrijk vindt?

Je kan moeilijk verwachten dat iedereen op de bres gaat omdat er een paar fortnite met 30fps moeten spelen ipv 50. Dat een groot probleem noemen zegt ook wel voldoende...

[Reactie gewijzigd door Flagg op 25 juli 2024 22:32]

[Bunkerface]

Als ik een de nieuwe 2080 koop omdat deze verkocht wordt als 4k60 kaart (inclusief benchmarks) voor Battlefield 5 o.i.d. en dan kom ik er achter dat hij dat totaal niet redt in de praktijk vind ik persoonlijk wel heel kwalijk.

Van wat ik van mijn leraar vrienden/familie hoor is dat bijna alle schoolgaande Fortnite spelen of gespeeld hebben... en bijna allemaal op hun telefoon, das best een grote groep waar de mobiel de primaire game-console is.

[Bjorn89]

Sterker nog Nvidia heeft dit al vaker gedaan, en doet het nog steeds.(Gameworks).

Amd geen idee qua sjoemelen

[TabCam]

Zolang gebruikers / tweakers ook op basis van dit soort testen zeggen dat een toestel sneller is en daardoor toestellen ken/ aanraden, zullen er fabrikanten misbruik van benchmarks proberen te maken.

Voor mij geldt al sinds enkele jaren dat er geen slechte middle/high end SOCs worden gemaakt. Een toestel kies ik op basis van de andere specs.

[well0549]

Haal dan de rest die dat doet er ook structureel uit

[Astennu]

Ik was nog wel een Huawei aan het overwegen vanwegen de camera. Maar als ik dan dit soort dingen lees laat ik dat merk graag links liggen. Consument proberen op te lichten heb ik geen zin in.

Het gaat niet alleen om 3Dmark maar ook:

Het is niet voor het eerst dat Huawei is betrapt op vals spel. Zo leverde het vorig jaar reviewexemplaren van de P10 met ufs-opslag, maar voorzag het sommige consumenten van het veel tragere emmc-type. Ook schroeft de fabrikant al enkele jaren lang de helderheid omlaag, een instelling die niet uit te schakelen is. Zonder ingrepen van testers komen Huawei-smartphones bij accutesten op 'vaste helderheid' op hogere waardes uit dan onder normale omstandigheden.

[Reactie gewijzigd door Astennu op 25 juli 2024 22:32]

[RGAT]

Neem dan een LG, HTC, Samsung of OnePlus...
Echt nieuws is dit ook al niet (21-08-2014)...
Waarom het nu ineens weer oplaait...

[well0549]

Geen zorgen hoor kirin 970 is een toppertje.

Is geen oplichten maar mee lopen met de rest.

Wij als Tweakers zijn eigenlijk houd schuldige omdat wij naar dat soort dingen kijken.

[Flagg]

Lol alsof dat een reden is om ze links te laten liggen (alsof je een Huawei ooit overwogen hebt).

Dan ben ik benieuwd welk merk je dan op het oog hebt? Eentje die nog nooit met benchmarks heeft gesjoemeld? Of eentje die nog nooit betrapt is? Meer smaken heb je niet hoor.

[Tig3r]

Als je hierop een telefoon links laat liggen? Dat snap ik echt niet...
Ik heb hem ook sinds 3 weken en het is een plaatje, het is supersnel, ik heb door de dual sim de werktelefoon inmiddels ook niet meer nodig, hij maakt prachtige films en nog betere foto's, ook prachtige zwart/wit, de software laag is na 3 Samsung's een verademing, joh, dat dat ding soms iets trager is, ik als niet zware gamer stoor me totaal daar niet aan, batterij gaat mega lang mee, louter voordelen voor de dagelijkse gebruiker!

[Astennu]

Het gaat mij niet alleen om 3dmark maar ook:

Het is niet voor het eerst dat Huawei is betrapt op vals spel. Zo leverde het vorig jaar reviewexemplaren van de P10 met ufs-opslag, maar voorzag het sommige consumenten van het veel tragere emmc-type. Ook schroeft de fabrikant al enkele jaren lang de helderheid omlaag, een instelling die niet uit te schakelen is. Zonder ingrepen van testers komen Huawei-smartphones bij accutesten op 'vaste helderheid' op hogere waardes uit dan onder normale omstandigheden.

Heb geen zin om dan serie nummers na te lopen of ik wel Ufs geheugen heb. Je betaalt.meer dan genoeg voor zo'n toestel. Andere helderheid hebben in tests is ook niet echt leuk als je het toestel dan thuis in zonlicht test en hij niet zo goed af te lezen is.

Hoeft dan misschien niet bij de P20 te spelen maar eerlijk is het niet.

[Reactie gewijzigd door Astennu op 25 juli 2024 22:32]

[carbonawk]

Lijkt me meer dan gepast.

[01--Rolf--01]

Goede actie

[Waah]

Nope, die ontwikkelen hun telefoons en processors zo dat die de snelheid die ze hebben vaak binnen 2 jaar niet kunnen vasthouden omdat dat te veel van de accu vraagt. 0 veiligheidsmarge...

Ze doen het allemaal, de één op één handige te manier dan de ander.

Sowieso zijn Snelheidsbenchmark niet zo interessant meer. Kijk gewoon naar gebruiksbenchmarks (hoeveel uur video, hoeveel internettijd, stand-by tijd etc). Veel interessanter.

Helderheid is wel een rotstreek. Want daar kiezen genoeg mensen wel hun telefoon op uit, en dat kan je lastig anders meten.