Huawei geeft cheaten in benchmarks bij recente smartphones toe

Website Anandtech heeft Huawei betrapt op het cheaten in benchmarks. Diverse smartphones lieten de soc veel meer stroom verbruiken en hieven de temperatuurlimiet op als de software benchmarks detecteerde.

Huawei zegt dat het zich genoodzaakt zag tot het cheaten, omdat diverse andere Chinese fabrikanten dat ook aan het doen zijn, schrijft Anandtech. Bovendien was er jarenlang kritiek op de grafische prestaties van Kirin-socs.

De software detecteert de standaarduitgaves van benchmarks, waarna de prestaties hoger liggen doordat de telefoon een hoger stroomverbruik en hogere temperatuur toelaat. Anandtech kwam dat op het spoor, omdat de site speciale uitgaves van benchmarks gebruikt die het krijgt van de ontwikkelaars van onder meer GFXBench en 3DMark. De cheats zorgen ervoor dat de telefoon tussen 10 en 90 procent beter presteert dan onder normale omstandigheden gebeurt. Huawei heeft beloofd dat het in toekomstige presentaties alleen door derden geverifieerde benchmarkresultaten zal weergeven. Bovendien zegt het tegen The Register dat gebruikers via een instelling toegang krijgen tot de cheat, die het eufemistisch 'performance mode' noemt. In de modus verbruikt de telefoon echter bijna 9W, waardes die op smartphones niet langdurig te handhaven zijn.

Het is niet voor het eerst dat Huawei is betrapt op vals spel. Zo leverde het vorig jaar reviewexemplaren van de P10 met ufs-opslag, maar voorzag het sommige consumenten van het veel tragere emmc-type. Ook schroeft de fabrikant al enkele jaren lang de helderheid omlaag, een instelling die niet uit te schakelen is. Zonder ingrepen van testers komen Huawei-smartphones bij accutesten op 'vaste helderheid' op hogere waardes uit dan onder normale omstandigheden.

Het cheaten bij benchmarks is vaker gebeurd in de mobiele markt. Onder meer OnePlus, Samsung en HTC maakten zich in het verleden al schuldig aan. Alle betrapte fabrikanten zijn gestopt met het valsspelen in benchmarks.

Reacties (79)

[MrMonkE]

Kunnen daar niet eens wetten voor gemaakt worden.
Dit is toch gewoon een vorm van oplichting?

"Alle betrapte fabrikanten zijn gestopt met het valsspelen in benchmarks."
Tot ze denken er weer mee weg te komen, kwestie van tijd en nood.

Wel top van Anandtech dat ze deze praktijken blootliggen.

[ATS]

Je kan ook sites die werken met door de fabrikant geleverde reviewexemplaren mijden. De Consumentenbond gebruikt om deze reden voor haar testen alleen in de winkel gekochte producten, zodat ze weten dat wat ze testen ook overeenkomt met wat je als consument ook koopt.

[MrMonkE]

Ja, ik wilde ook al iets zeggen over die relatie als antwoord op een andere post.
Het probleem is dan wel dat het gros van alle review sites kunt uitsluiten.

[thekingofping]

Tja dan sluiten ze maar als ze niet in de winkel kopen of speciale benchmark software kunnen gebruiken. Aan deze gemanipuleerde reviews heb je toch niet veel en die sites dragen dan niets bij. Kan ik ook een review op kieskeurig lezen.

[wndwlckr]

Klopt maar dat laat onverlet dat ze de boel flessen. Moet strafbaar worden.

[Soldaatje]

In een gezonde wereld zouden consumenten zo'n merk links laten liggen, maar ik denk niet dat de meeste consumenten het wat boeit. Kijk naar de VAG diesel/benzine-gate, die auto's worden ook nog gekocht.

[Archcry]

Ik kijk gewoon op een per product basis of ik iets wil hebben. En daarvoor kijk ik naar reviews van onafhankelijke partijen. Als blijkt dat een product van een partij die in het verleden dit soort geintjes heeft geflikt het best match met mijn verwachtingen dan neem ik dat product.

[init6]

Je baseert dus je mening op reviews die benchmarks draaien waarmee gesjoemeld is. Kortom die reviews zijn niets meer waard op performance gebied. Ook al matched het niet en zijn ze heerser, je krijgt valse beloftes en soms zelfs inferieure componenten vergeleken met wat getest is. Ik kies er dus voor om per definitie elk product te bannen van bedrijven die dit soort truukjes uitvoert, als iedereen dit zou doen dan zuivert de markt zich vanzelf.

[Mathieu_Hinder]

Nee, dat zegt hij toch niet. Hij zegt dat hij op het moment dat hij een product koopt, kijkt naar wat er op dat moment best is voor zijn eisen. Dat dat product komt van een fabrikant die x tijd geleden gesjoemeld heeft met andere producten is irrelevant daarin. En dat is voor de meeste mensen zo durf ik wel te stellen. Je kijkt gewoon naar wat er nu is omdat je nu iets nodig hebt. Het zal men worst wezen wie of wat iets heeft uitgespookt in het verleden, want anders mag je niets meer kopen.

[Archcry]

Nee, ik basseer mijn mening op onafhankelijke partijen die reviews plaatsen. Dus ook anandtech.

[HMC]

Dat smartphone fabrikanten valsspelen met duffe statische benchmarks maakt die telefoons niet slecht natuurlijk.

Ik wil het niet goedpraten, maar ook Samsung deed dat.

Gewoon verder allemaal prima phones.
Het zijn al die reviewers, op bijvoorbeeld YouTube, die die benchmarks als benchmark blijven gebruiken

[rkeet]

Ik wil het niet goedpraten, maar ook Samsung deed dat.

Dat klinkt heel erg als "ik probeer het toch een beetje goed te praten, want zelf vind ik het niet erg"

---

Mijn inziens worden fabrikanten die hierop betrapt worden gewoon voor de periode van de een jaar (? redelijk, half jaar?) van de markt gehaald. Maar dan ook niet alleen dat model, alles van type product. Dus bij nieuwe Samsung 10xPlusAmoledCurveWonder gecheat met benchmarks? Alle Samsung smartphones jaar niet te verkrijgen. Zelfde geld voor Golfjes en Outlanders.

Moet je eens opletten hoe snel fabrikanten zich aan de regels houden.

Daarnaast wetje erbij dat ongeacht de staat en leeftijd van het product, de consument het recht heeft het volledige aankoopbedrag terug te vorderen met een "binnen twee weken na vordering geld op de rekening" type vordering.

[Anders]

Logisch. Als consument heb je namelijk geen enkele garantie dat andere fabrikanten wel schoon zijn.

[Lucb1e]

Het is voor een gemiddelde consument niet te doen om voor alle merken een precieze historie bij te houden (soms komt dit ook niet zo groot in het nieuws). Reviewers daarentegen publiceren meestal over specifieke categorieën zoals bijvoorbeeld "smartphones en laptops", of "auto's en motoren", of zoiets. Die kunnen dan ook de branche bijhouden en dit soort dingen noemen bij productreviews/benchmarks.

Ik zou dus hopen dat ze dit soort dingen aanhalen in reviews, en niet dat ik zelf een database bij moet gaan houden van dingen die ik toevallig in het nieuws lees.

[Reactie gewijzigd door Lucb1e op 23 juli 2024 23:59]

[mikesmit]

Omtrent dat diesel schandaal. Veel mensen gaven er ook gewoon geen fuck om. Het had geen enkele impact op het dagelijks leven buiten een gunstigere bpm

[Flagg]

Ik heb nog nooit naar benchmarks van een telefoon gekeken, interesseert me werkelijk geen zak.

[sdk1985]

In een gezonde wereld zouden consumenten zo'n merk links laten liggen, maar ik denk niet dat de meeste consumenten het wat boeit. Kijk naar de VAG diesel/benzine-gate, die auto's worden ook nog gekocht.

Als ik heel eerlijk ben functioneert mijn P9 lite niet beter of slechter door dit nieuws. De vraag is wat je er uiteindelijk mee op schiet om 'principes' toe te passen op consumenten electronica die je na 2 a 3 jaar toch weer vervangt. Daarmee ontneem je jezelf toch de kans op een prettig product. Naar alle eerlijkheid heb ik over mijn p9 lite in tegen stelling tot mijn galaxy s7, Oneplus One en Oneplus X tot heden geen klachten. Hij blijft vlot (mits je 1 GB vrij laat), accu gaat nog steeds lang mee, updates komen regelmatig uit. De Samsung S7 maakt zeker mooiere foto's maar die hangt elke dag aan de lader en de glazen achterkant zit helaas ondertussen een barst in. Oneplus zal ik maar niet over beginnen, wat een drama firmware.

[Reactie gewijzigd door sdk1985 op 23 juli 2024 23:59]

[mark-k]

Tja want grote bedrijven houden zich nu al zo geweldig aan de wetten. Theoretisch is het denk ik geen vorm van oplichting, je checkt namelijk wat die telefoon voor prestaties levert bij die bepaalde app en dat doet hij over en over op dezelfde manier. Benchmarks zijn niet gereguleerd en er is voor zover ik weet ook geen wettelijk of gestandaardiseerd proces voor. Er zijn enorm veel situaties waarin een apparaat anders presteert, dat kun je niet allemaal gaan checken. Het is verder ook niet verplicht om beveiligingen etc voor elke app hetzelfde te houden dus ook daar kun je niks. En echt speciaal een wet maken voor het benchmarken van telefoons is onzin en kost veel meer dan het oplevert.

Uiteindelijk is het inderdaad schandalig dat het gebeurt, maar als elke fabrikant het doet krijg je uiteindelijk toch gewoon een fatsoenlijk vergelijkbaar resultaat.

[[Remmes]]

Misschien niet oplichting perse maar zeker wel bedrog in zekere zin, want het komt tijdens normale omstandigheden niet voor, hetzelfde als Ford met een betaalbare auto komt die 400km/h uur kan.. maar dan wel bergafwaarts en wind van 200km/h in de rug.

edit: beter vergelijking: auto's die tijdens test heel zuinig en weinig uitstoot hebben, maar tijdens normaal gebruik helemaal niet is ala VW (en dat word dus ook gestraft)

[Reactie gewijzigd door [Remmes] op 23 juli 2024 23:59]

[Dreamvoid]

Met auto’s zijn er door de overheid gereguleerde tests en normen, daar wordt valsspelen dan ook bestraft. Maar kijk je bij bv elektrische scooters ofzo, dan claimen de fabrikanten doodleuk een bereik die alleen te halen is met een anorexiapatient op 15 km/u. Tos echt niet alleen telefoons...

[eL_Jay]

Valsspelende auto fabrikanten bestraft? Ik dacht dat Volkswagen alleen in US echt bestraft is. In EU kunnen kopers fluiten naar hun centen en bleef het bij een lachwekkende 1.2 miljard in Duitsland.

[mark-k]

Uitstoot is gereguleerd, telefoonprestaties niet. Het is trouwens geen bedrog, ze claimen namelijk niks dat ze niet waar maken. Als ze zeggen "je haalt deze score in benchmark X" en je haalt die doordat ze daar de beveiliging eraf halen hebben ze niks gelogen (en verder zeggen ze meestal uberhaupt niks over benchmarks maar zijn het onafhankelijke testers die dat doen).

Bekijk het als de BMW i8, dat ding kan 0-100km/h in 4.4s, maar ze zeggen je er niet bij dat als je dat 3 keer doet je accu leeg is en je dan dat zielige driecilindertje hebt voor je aandrijving. Dat maakt het nog geen misleiding/oplichting/bedrog, en dit omvat nog een claim van een fabrikant zelf, waar een telefoonfabrikant zelf nauwelijks claims doet over benchmark prestaties.

[SED]

Mede als gevolg van de sjoemel software van VW/Bosch zijn er nu nieuwe meethodieken in gebruik genomen. Het resultaat, hogere uitstoot en dus hogere BPM. De gebruiker mag betalen dus.
VW is dus behalve een kortdurende koersval niet gestraft in europa.

[Flagg]

Nee de gebruiker heeft jarenlang niet hoeven te betalen.

Ietsje minder Calimero mag wel.

[SED]

De BPM opbrengst was vooraf ingeschat. Vervolgens is er een methodiek toegepast om tot dat bedrag te komen. Nu stijgen ( tegen de afspraken in trouwens) de BPM opbrengsten omdat de berekening is aangepast.

[PdM2112]

Dan kiest een gebruiker voor een ander merk met een lagere uitstoot en een lagere BPM en wordt VW op die manier gestraft.

[SED]

Maar helaas, zo werkt het niet. De merktrouwheid blijkt te overheersen. Gevolg is wel dat alle brandstof autos na 1 september duurder zijn geworden. Het is niet zo ( zoals de Hyundai reclame ons doet geloven) dat de BPM regeling is veranderd. Hoe smeriger de auto hoe hoger de stijging. De consument is de L..

[Verwijderd]

Ik hoef er ook geen wet voor. Naar mijn mening zou er geen wet noodzakelijk moeten zijn om je volwassen, moreel, en klantvriendelijk te gedragen. Als een bedrijf in afwezigheid van een wet vervolgens kiest voor oneerlijkheid, misleiding en klanten bedonderen, dan trek ik mijn conclusie: nooit een Huawei.

[mark-k]

En jij denkt dat alle andere bedrijven wel netjes zijn geweest? Je kunt zo ongeveer geen enkele smartphone meer kopen als je zo denkt:
https://www.xda-developer...hat-theyve-done-about-it/
https://www.macrumors.com...xcept-apple-and-motorola/

[Verwijderd]

Waarom altijd die afleiding naar andere gevallen? 10 keer fout is niet ineens goed.

[mark-k]

Ik zeg ook niet dat het goed is, het is alleen hypocriet om te zeggen dat je hierdoor nooit een Huawei zult kopen als elke telefoonfabrikant het ooit wel gedaan heeft. Dan moet je ook consequent zijn en geen smartphone kopen.

[Verwijderd]

Ik snap je punt. Iedere overtreding van "goed fatsoen" moet je een gewicht geven, en dat is uiterst persoonlijk. Vaak betekent het ook de minst slechte of minst evil kiezen, aangezien niemand vogelvrij is.

[bantoo]

Dat zou kunnen. Review sites zijn hier ook schuldig in, reviews van bekend onbetrouwbare bedrijven worden nog gewoon geschreven. Een boycot zou niet misstaan.

[WillySis]

Dit is geen oplichting. Het is wel een vorm van misleiding.
De telefoons zijn daadwerkelijk in staat om tijdens de benchmarks de snelheden te halen. Dat daarvoor een aantal veiligheidsgrenzen overschreden kunnen worden doet er niet zo heel veel toe.
Tijdens normaal gebruik worden de snelheidstrucs niet uit de kast gehaald. Vergelijk het met de oude test om het verbruik van auto's te meten. Fabrikanten halen daar ook allerhande trucs uit (speciale instellingen van de motor, wat grotere wielen enz.) om de auto een gunstiger gebruik te geven. Tijdens normaal gebruik haal je dat nooit.
Voor de auto's wordt vermeld dat de test volgens de richtlijnen is uitgevoerd, bij de test worden de gebruikte benchmarks vermeld. Hoewel het geen prestaties zijn die je in het dagelijks gebruik zal halen, berusten ze wel op waarheid. Als de trukendoos zover wordt opengetrokken dat de prestaties enorm verschillen heb je wel langer het recht om verhaal te halen en de koop ongedaan te maken. De wet geeft hier echter geen duidelijke criteria.

[Verwijderd]

De impact hiervan is niet zo heel groot. Bij benchmarks gaat het er meestal om dat je net 1 puntje beter scoort dan de concurrent. Dan kan je in de advertentie zetten "snelste/grootste/zuinigste" en heb je het doel bereikt. In de praktijk zijn die verschillen niet merkbaar. Door een beetje te rommelen met de software, zal het product niet ineens 2x zo snel zijn. Als dat wel zo is, zit er een flinke overkill aan hardware in. Dan sta je wel nummer 1 in de benchmark maar verdien je nog niets omdat de kostprijs voor je hardware veel te hoog is.

[Sorcerer8472]

9 Watt? Dan is de gemiddelde accu toch echt in 10 minuten leeg ofzo? Wow!

[Aardedraadje]

Het artikel van Anandtech heeft het over de Honor Play, met een genoteerd verbruik van 8,57 W.

De Honor Play heeft een batterij met een capaciteit van 3.750 mAh. Bij een nominale spanning van 3.8V die je meestal in smartphones ziet kom je ruwweg uit op 14.25 Wh aan energie.

Bij een verbruik van 8.57 W kom je uit op:
14.25 Wh / 8.57 W = ~1.67 h, ofwel ongeveer 1 uur en 40 minuten.

[Sorcerer8472]

Ik heb mAh en Wh verward en ging ook uit van een accu van circa 2.000 mAh, je hebt helemaal gelijk!

[Cerberus_tm]

Dat is niet alleen onrealistisch omdat je in de praktijk geen telefoon wil hebben die heel snel leeg is, maar ook omdat dit waarschijnlijk heel slecht is voor de accu, zo meen ik. Die zal daardoor heel snel in capaciteit afnemen.

[Aardedraadje]

De wiskunde staat er en de feiten zijn hard. Het is geen realistisch gebruiksscenario nee, maar komt toch echt voor tijdens het benchmarken.

[Cerberus_tm]

Inderdaad. Ik omschreef het misschien een beetje onduidelijk, maar ik gaf een ondersteunende reden waarom wat het bedrijf doet zo slecht is. Niet alleen gaat je accu heel snel leeg als je je telefoon echt zo zou gebruiken, maar ook gaat hij kapot. Des te kwalijker dat Huawei testers probeerde te doen geloven dat dit was hoe de telefoon presteerde.

[BrainCrash]

Mwoah, dat valt reuze mee hoor.
Ik heb even wat random info opgezocht:
Zo zie ik dat de accu van een Galaxy S7 bijvoorbeeld 3600mAh is.
Bij de meeste telefoons staat alleen de capaciteit in mAh gegeven in de specs, maar daar heb je helemaal niks aan als je niet weet bij welke spanning dit is. In mijn voorbeeld heeft een random replacement accu voor de S7 een spanning van 3.84V, en dus een totale energieinhoud van 13.8Wh.

Met een verbruik van 9W houd de telefoon het dus theoretisch zo'n (13.8/9) = 1.5u uit.
(bij volledig volle accu uiteraard)

Een snelle check vertelt mij dat de meeste andere telefoons ongeveer op een vergelijkbare batterijcapaciteit zitten als mijn voorbeeld.

Probleem is hier blijkbaar dus niet de capaciteit van de accu die de beperkende factor is, maar de hitteproductie van het toestel bij dit verbruikt vermogen, waardoor de temperatuur gewoon te snel oploopt.

[SimonMc]

*Galaxy S7 Edge. De Galaxy S7 heeft een batterij van 3000mAh.

[Ludwig005]

huawei faked al alles. de camera van de topmodellen
2015: P8 bezels eruit geshopt
2016: P9 camera blijkt een DLSR van 4500 euro te zijn op basis van metadata
2017: benchmarks faken
2018: nova 3 fotos alweer geschoten met een dure DLSR

[Kimbo72]

Dat is idd een schande, al zal dit niet alleen bij Huawei gebeuren.

[Verwijderd]

V.w.b. die camera: toen Canon jaren geleden de eerste betaalbare DSLR had, waren de foto's in de reclame gemaakt met een high-end Nikon of Hasselblad analoge camera.... (die waren toen nog beter dan digitale camera's).

[Ludwig005]

Niet alleen bij smartphones dus

[Luinwethion]

Nokia, Samsung, HTC, Oneplus... Die hebben allema59f gesjoemeld met benchmarks of fake foto's gebruikt.

In het geval van de Huawei AD en de debacle van de OIS AD van de Lumia 920, was nog het excuus dat met een minuscuul tekts aangegeven wordt dat de beelden niet perse echt zijn, Samsung heeft gewoon beweert dat de foto's met een Galaxy toestel waren gemaakt en in werkelijkheid hadden ze gewoon een stock picture gekocht .

Point being, reclames en marketing zijn puur dat, reclames en benchmark is niet echt ideaal om rendement van een toestel te testen, want je kunt gewoon ermee sjoemelen.

[Luinwethion]

Het is dan ook aan de reviewers vind ik om benchmarks opzij te leggen en gaan testen met iets die de werkelijke real life performance aangeeft.
Renderen van een lange 4K video, wat langere gaming sessies en dan naar kwaliteit van de renders (lijkt ook erg te verschillen tussen GPUs) en de frame rate. En dit samen met temperatuur en accu verbruik.

Maar goed dat is mijn idee, sinds de benchmark cheating van , Samsung in 2013, kijk ik ook niet echt meer naar die nummers, vooral destijds, zat Samsung wel in de top (ook zonder cheating) maar met de dagelijkse gebruik merkte ik weinig van de super snelle SoC.

[ATS]

In principe doen benchmarkts dat ook, en wel op een gestandaardiseerde manier zodat je de resultaten tussen tests onderling kan vergelijken.

[Luinwethion]

Maar als de benchmarks zo kort duren dat OEMs dan extra boost modes kunnen inbouwen om hogere cijfers te krijgen, dan doen die benchmarks te kort om de werkelijke rendement te testen...

Je wilt een sustained load wel voor iets meer dan 5 minuten hebben, en dat de reviewer ook kijkt naar temperatuur bijvoorbeeld.

Dat is toch niet zo gek? De weinig laptops reviews die ik nog volg, zie ik in de gaming performance categorie geen benchs, maar gewoon echte games die gespeeld worden en wordt dan naar de FPS op verschillende settings gekeken en naar de temperatuur van de laptop.

[Loggedinasroot]

Huawei heeft beloofd dat het in toekomstige presentaties alleen door derden geverifieerde benchmarkresultaten zal weergeven.

NotHuawei BV heeft dit geverifieerd.

[lagefrequentie]

Bekend met de term "sjoemel software"?
Eerst was het Volkswagen en toen kwamen er meer fabrikanten met "sjoemel software" aan het licht.
Hier gebeurd precies hetzelfde.Het zal me ook niets verbazen dat dit met veel meer producten aan de hand is.

[bloetoet]

Een review wordt gegeven op het apparaat van een model met een specifieke serie/ fabricagenummer. dus op dat moment wordt dat goed / slecht bevonden in een review.
Fabrikanten zijn soms genoodzaakt door omstadigheden ander onderdelen te gebruiken die men met het blote ogen niet direct kan waarnemen. Het resultaat kan dan slechter uitvallen in een review.

Heb zelf eerder een test gedaan op iOS gebied : twee iP6s 64GB iOS11 nieuw uit doos en nog geen enkel app geïnstalleerd, maar elk met een ander 'modelnumber' (apple) dus ook afwijkend fabricage-periode. Na diverse benchmarks blijkt dat de resultaten nogal van elkaar afwijken:
- verschil in oplaadtijd
- schermhelderheid
- camera
- aan uit van het scherm uit/in standby

Tja, is het gesjoemel.....vast, maar zou de fabrikant iets beweren en men haalt het nooit in de praktijk dan zou ik dat idd eronder schuiven.

[Byte]

Alle betrapte fabrikanten zijn gestopt met het valsspelen in benchmarks

Of ze zijn opnieuw begonnen, maar zijn nog niet opnieuw betrapt

[Cpt.nIX]

If you ain't cheating, you ain't trying.
Maar goed, blij dat het uit is gekomen. Nu nog de andere Chinese telefoonproducenten betrappen, en het speelveld is weer gelijk.

[KoffieAnanas]

En de Koreaanse en Amerikaanse. Ze zullen het allemaal proberen.

[AvanCade]

Die laatste zin slaat de nagel op zijn kop.