Samsung wilde 'benchmarkresultaten niet opkrikken'

Samsung wilde benchmarkresultaten niet 'opkrikken', zo zegt de fabrikant in een reactie op de ophef die is ontstaan over het vals spelen bij benchmarks. De Zuid-Koreaanse telefoonmaker bevestigt wel dat sommige smartphones de kloksnelheden aanpassen bij bepaalde apps.

Samsung speelde vals door bij veel populaire benchmarks de processorkernen van de Galaxy Note 3 standaard op de maximale kloksnelheid te laten lopen, ook bijvoorbeeld in het hoofdmenu als die rekenkracht niet nodig is. Daardoor heeft de processor geen tijd nodig om kernen bij te schakelen en op hogere kloksnelheden te zetten, waardoor benchmarkresultaten hoger uitvallen.

Het is echter niet de bedoeling om hogere benchmarkresultaten te genereren, zo zegt Samsung in een reactie tegen CNet. "De Galaxy Note 3 maximaliseert de cpu- en gpu-kloksnelheden wanneer er features actief zijn die substantiële prestaties nodig hebben. Dit is geen poging om resultaten van bepaalde benchmarks op te krikken."

Samsung is niet de enige die benchmarkresultaten beïnvloedt door de snelheden van processorkernen standaard te maximaliseren. Ook HTC, LG en Asus zijn daar op betrapt. Omdat andere apps dan benchmarks, zoals games, niet profiteren van die modus, is dat een duidelijke poging om de resultaten op te drijven.

Mede vanwege de beïnvloedbaarheid is Tweakers meer dan een jaar geleden al gestopt met systeembenchmarks als AnTuTu, Quadrant en Vellamo, omdat bleek dat fabrikanten daarvoor actief aan het optimaliseren waren. De resultaten van die benchmarks bleken nietszeggend.

Een ander punt waardoor benchmarks niet langer relevant zouden zijn is throttling: omdat de huidige generatie processors snel warm wordt en daardoor zichzelf terugklokt, is een benchmarkresultaat alleen een theoretisch maximum. In de praktijk tijdens het spelen van een game worden die prestaties niet gehaald, omdat de processor binnen enkele minuten te warm wordt. Dat verschil kan oplopen tot 30 procent.

Tweakers is ook al enige tijd geleden op zoek gegaan naar alternatieven voor huidige cpu- en gpu-benchmark, maar totdat die zijn gevonden en getest rapporteren we nog de huidige benchmarks met kritische kanttekeningen. Omdat de optimalisaties geen dramatische invloed blijken te hebben, blijven ze goed om verschillen tussen generaties processors te meten.

De Samsung Galaxy Note 3 herkent 3DMark en schakelt automatisch alle processorkernen in op de maximale kloksnelheid - zelfs al in het hoofdmenu. In een normale situatie met een load van slechts enkele procenten had de soc enkele kernen automatisch uitgeschakeld en de andere in kloksnelheid verlaagd om de accu te sparen en te voorkomen dat de telefoon warm wordt.

Reacties (68)

[GS88]

"De Galaxy Note 3 maximaliseert de cpu- en gpu-kloksnelheden wanneer er features actief zijn die substantiële prestaties nodig hebben. Dit is geen poging om resultaten van bepaalde benchmarks op te krikken."

Komt niet echt overeen met eerdere berichten waarin specifieke verwijzingen waren naar benchmark-apps in de code van de app "TwDVFSApp".

Gelukkig draait het niet allemaal om de benchmarks

[Reactie gewijzigd door GS88 op 23 juli 2024 09:01]

[curumir]

Ach ja, Samsung. Er staat een leuke lijst onderaan een artikel over een ander probleempje waar ze momenteel mee kampen.

http://tech.fortune.cnn.c...samsung-sanctions-grewal/

Highlights:

Jan.15, 2008: Samsung's offices in Korea were raided after evidence showed that a slush fund was used to bribe government officials and other business leaders.

July 16 2008, Samsung chairman, Lee Kun-He was found guilty in Seoul of financial wrongdoing and tax evasion. Despite prosecutor request of seven years in prison, sentence was reduced to three years followed by a pardon by the South Korean Government in 2009 to allow him to help with its successful bid to host the 2018 Winter Olympics. He is now a member of the International Olympic Committee and this 'pardoned criminal' returned as Samsung's Chairman in March 2010.

May 19, 2010: The EU Commission fined Samsung for being part of a cartel that shared confidential information and fixed memory chip prices (along with eight other firms).

March 15, 2012: The Korean Fair Trade Commission fined Samsung for a mobile phone price fixing scheme and consumer fraud whereby consumers would be paying more than what the discounted prices advertised.

April. 2013, Samsung is accused of and admits hiring people in several countries to falsify reports of HTC phones "constantly crashing" and posting fake benchmark reviews.

[XthinkZ]

Mensen inhuren om te zeggen dat HTC vaak crashed.. Heel veel mensen veranderen van keuze als ze eerst van plan waren er een te halen en dan zoiets lezen.

Dat vind ik dus eigenlijk veel erger aangezien ik HTC hoger in het vaandel heb staan dan Samsung.

[grafgever]

We wilden het niet doen, maar toch doen ze het specifiek voor bepaalde ''app namen'', en als de naam veranderd wordt en de app nog steeds dezelfde kracht vraag werkt het niet meer. Klinkt dus echt als een ''bullshit'' statement van Samsung, in mijn ogen maken ze het hiermee niet beter.

Had liever gezien dat ze gewoon spijt betuigden en toezeggen het in de toekomst niet meer te zullen doen, creëert een stuk meer goodwill en vertrouwen bij de consument in dit soort situaties.

[Verwijderd]

Volledig mee eens, als je naar het Ars Technica stuk kijkt zie je gewoon dat de benchmark apps hardcoded in de Samsung java code staan:


PackageInfo[] arrayOfPackageInfo = new PackageInfo[26];
arrayOfPackageInfo[0] = new PackageInfo("com.aurorasoftworks.quadrant.ui.standard", false);
arrayOfPackageInfo[1] = new PackageInfo("com.aurorasoftworks.quadrant.ui.advanced", false);
arrayOfPackageInfo[2] = new PackageInfo("com.aurorasoftworks.quadrant.ui.professional", false);
arrayOfPackageInfo[3] = new PackageInfo("com.redlicense.benchmark.sqlite", false);
arrayOfPackageInfo[4] = new PackageInfo("com.antutu.ABenchMark", false);
arrayOfPackageInfo[5] = new PackageInfo("com.greenecomputing.linpack", false);
arrayOfPackageInfo[6] = new PackageInfo("com.greenecomputing.linpackpro", false);
arrayOfPackageInfo[7] = new PackageInfo("com.glbenchmark.glbenchmark27", false);
arrayOfPackageInfo[8] = new PackageInfo("com.glbenchmark.glbenchmark25", false);
arrayOfPackageInfo[9] = new PackageInfo("com.glbenchmark.glbenchmark21", false);
arrayOfPackageInfo[10] = new PackageInfo("ca.primatelabs.geekbench2", false);
arrayOfPackageInfo[11] = new PackageInfo("com.eembc.coremark", false);
arrayOfPackageInfo[12] = new PackageInfo("com.flexycore.caffeinemark", false);
arrayOfPackageInfo[13] = new PackageInfo("eu.chainfire.cfbench", false);
arrayOfPackageInfo[14] = new PackageInfo("gr.androiddev.BenchmarkPi", false);
arrayOfPackageInfo[15] = new PackageInfo("com.smartbench.twelve", false);
arrayOfPackageInfo[16] = new PackageInfo("com.passmark.pt_mobile", false);
arrayOfPackageInfo[17] = new PackageInfo("se.nena.nenamark2", false);
arrayOfPackageInfo[18] = new PackageInfo("com.samsung.benchmarks", false);
arrayOfPackageInfo[19] = new PackageInfo("com.samsung.benchmarks:db", false);
arrayOfPackageInfo[20] = new PackageInfo("com.samsung.benchmarks:es1", false);
arrayOfPackageInfo[21] = new PackageInfo("com.samsung.benchmarks:es2", false);
arrayOfPackageInfo[22] = new PackageInfo("com.samsung.benchmarks:g2d", false);
arrayOfPackageInfo[23] = new PackageInfo("com.samsung.benchmarks:fs", false);
arrayOfPackageInfo[24] = new PackageInfo("com.samsung.benchmarks:ks", false);
arrayOfPackageInfo[25] = new PackageInfo("com.samsung.benchmarks:cpu", false);


bron: http://arstechnica.com/ga...flate-scores-by-up-to-20/

Het lijkt alsof de Marketing kant van Samsung niks weet van de technische kant, of ze staan keihard te liegen. In elk geval was het netter geweest als ze een 'Mea Culpa' hadden uitgesproken, nu blijft het beeld van een onbetrouwbaar en listig Samsung hangen.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 09:01]

[Miki]

Precies met dit lijstje op je netvlies nog het volgende proberen te beweren:

"De Galaxy Note 3 maximaliseert de cpu- en gpu-kloksnelheden wanneer er features actief zijn die substantiële prestaties nodig hebben. Dit is geen poging om resultaten van bepaalde benchmarks op te krikken."

Geen enkele normale user app staat erin anders behalve benchmark apps. Yepp, dan heb je echt wel een Galaxy Note voor je kop

[Verwijderd]

"De Galaxy Note 3 maximaliseert de cpu- en gpu-kloksnelheden wanneer er features actief zijn die substantiële prestaties nodig hebben. Dit is geen poging om resultaten van bepaalde benchmarks op te krikken."

Volgens mij activeren de features de Gpu of Cpu, en niet andersom, kortom belachelijk verhaal.
Maargoed dit gebeurt in de consumentenmarkt al jaren in alle industrie-takken,
denk bv. aan zuinigheidstest van auto,s die getest worden op vliegvelden, met de gunstigste toleranties, op de weg haal je dit nooit.

[grafgever]

Ik snap het van de marketing kant ook wel weer, een ''Mea Culpa'' zou het fijnst zijn voor ons als Tweakers, maar de gemiddelde consument kijkt toch niet verder dan zijn neus lang is en dan kan hun huidige uitleg die nergens op slaat gewoon geslikt worden en zeggen consumenten: zie je wel hij is gewoon echt sneller! Helaas zijn wij Tweakers toch een kleine minderheid van de uiteindelijke kopers

[Hierodemus]

Aangezien aan ons Tweakers toch te pas en te onpas raad gevraagd word over aanschaf van onder andere ook telefoons is nog steeds de vraag hoeveel mensen daadwerkelijk blind kopen, en hoeveel het 'slimme neefje' er even bijroepen die Samsung met deze actie tegen zich in het harnas jaagt.

[Neko Koneko]

Bij mij is het helaas andersom, de familie koopt blind een smartphone (meestal een samsung) en als het ding dan niet werkt mag ik het voor ze oplossen. Helaas, geen zin in, had je maar langs moeten komen toen je er een ging kopen

[grafgever]

Jep, mijn omgeving gaat ook gewoon naar de winkel voor ''advies'', echter uit mijn ervaring heb ik geleerd dat 99% van de adviseurs niet het beste voor de klant in gedachte hebben, maar enkel het beste voor hun ''winstgevendheid''. Dan wanneer er problemen zijn en mensen het apparaat niet snappen omdat ze een veel te dure smartphone hebben aangesmeerd gekregen met 100en functies waarvan ze er maar 2 gebruiken, moet ik weer uitleggen dat ze beter eerst reviews lezen en van tevoren vaststellen wat ze zoeken in een telefoon. Geluisterd wordt er helaas niet naar dit advies tot op heden

[mxcreep]

Vergeet niet dat het grootste deel van de toekomstige klanten deze info nooit te zien gaat krijgen aks ze op zoek zijn naar een nieuwe telefoon. Die zien na wat googlen gewoon een aantal reviews met daarin de mooie scores die het apparaat haalt, als ze al zoveel moeite doen en niet gewoon op basis van een billboard of zoiets getriggert zijn om em te halen.

[Reactie gewijzigd door mxcreep op 23 juli 2024 09:01]

[Vexxon]

En het is zeker ook toeval dat Kevin Packingham, chief product officer for mobile electronics, geheel onverwacht Samsung moet verlaten.

bron

[Reactie gewijzigd door Vexxon op 23 juli 2024 09:01]

[Waarez]

Uiteraard 'wilden' ze deze niet opkrikken. Marketing-gericht lijkt dit me ook de enige reactie die ze kunnen geven.

[Aaargh!]

Dubieus verhaal, vooral deze opmerking:

"De Galaxy Note 3 maximaliseert de cpu- en gpu-kloksnelheden wanneer er features actief zijn die substantiële prestaties nodig hebben. Dit is geen poging om resultaten van bepaalde benchmarks op te krikken."

Terwijl al aangetoond is dat deze scaling tool specifiek naar de package name van bepaalde benchmarks kijkt (zie lijst halverwege dit arikel), en er geen applicaties anders dan benchmarks in die lijst voorkomt.

[Reactie gewijzigd door Aaargh! op 23 juli 2024 09:01]

[johnbetonschaar]

Exact. Met deze reactie van Samsung zetten ze zichzelf wat mij betreft in een nog slechter daglicht dan het gesjoemel met de benchmarks zelf.

In feite is er niks mis met applicatie-specifieke optimalisaties om betere prestaties te halen, echter doe het dan op een manier waar de gebruiker ook iets aan heeft, dus niet via een ongedocumenteerd en niet user-controllable stukje software verborgen in het OS, en wees er gewoon eerlijk en duidelijk over: "onze telefoons bevatten optimalisaties voor de volgende taken, met de volgende effecten". Niet alleen heeft Samsung dit allemaal sneaky verborgen en op een manier geimplementeerd die letterlijk niks anders doet dan de CPU boosten voor bepaalde benchmark applicaties, maar om nu ook nog gaan doen alsof het een feature is en een beetje de schone schijn ophouden alsof het niet vanwege betere benchmark resultaten is gedaan, is gewoon naief, stijlloos, dom, en arrogant.

[Wubinator]

Je was me voor, ik zat inderdaad ook gelijk met die java code in mijn hoofd. Dat laat zien dat ze puur en alleen maar dat opkrikken doen bij benchmark programma's.

Dat maakt hun hele statement van hierboven een mooie marketing / pr verhaal dat totaal onwaar is.

[w3news]

Samsung wilde dat niet, maar een developer wel

[mokkol]

Nee want ze hebben dezelfde test gedaan onder een andere file naam en die ging wel gewoon normaal.

[PKN]

Hoe is dit soort nieuws uberhaupt boeiend? Alsof iemand daar 'snachts van van wakker ligt. Mijn CPU throttled toch standaard ook wanneer dit nodig is? zowel omhoog als omlaag. ik verwacht dat hij in benchmarks gewoon 100% draait, dat is toch ultra logisch..ik ben het gewoon met Samsung eens. zaniken dat de processor draait op wat hij kan draaien als je een benchmark doet...lekker belangrijk.

[Dylan93]

Hoe is dit soort nieuws uberhaupt boeiend? Alsof iemand daar 'snachts van van wakker ligt. Mijn CPU throttled toch standaard ook wanneer dit nodig is? zowel omhoog als omlaag. ik verwacht dat hij in benchmarks gewoon 100% draait, dat is toch ultra logisch..ik ben het gewoon met Samsung eens. zaniken dat de processor draait op wat hij kan draaien als je een benchmark doet...lekker belangrijk.

Je verhaal klopt niet helemaal, het hele 'gezeik' is nou juist dat tijdens de benchmarks de SoC boven de 100% gaat draaien Oftewel hij gaat in een benchmark modus die alleen met die benchmarks getriggerd kan worden en niet door jou zelf of onder andere omstandigheden op de telefoon.

[ToFast]

Inderdaad. En Samsung liegt hier gewoon, want ze hebben alleen deze benchmark apps erin staan, games en andere apps niet.

Maar goed maakt mij verder niet uit, ik zal toch niet snel iets van Samsung kopen want er zijn vaak teveel punten waar ik me aan stoor bij hun producten. Echter, dit wil niet zeggen dat ik niks van Samsung koop. Ik ben totaal niet merk getrouw, eerder aan mezelf en eisen die ik stel.

[Verwijderd]

Nee, wat je wil met een benchmark is de snelheid van je device vergelijken met andere devices. Als er een speciale benchmark mode is die verder niet gebruikt wordt dan wordt de vergelijking niet meer bruikbaar om de echte snelheid in te schatten.

Het is natuurlijk anders als er een gewone turboboost of throttling mode is die bij gewone applicaties ook gebruikt wordt. Deze moeten natuurlijk gewoon aanstaan

[sygys]

Als iedere fabrikant dit doet krijg je toch weer eerlijke benchmarks? Dan zie je nog steeds waar een bepaalde cpu en gpu toe in staat is.

[Zoidberg_AvG]

Niet helemaal.

Stel 2 fabrikanten gebruiken dezelfde processor, maar fabrikant A heeft een veel betere koeling dan fabrikant B. In de benchmark zou dit geen verschil maken omdat beide telefoons tijdens deze benchmark op volle capaciteit draaien, maar bij een normale app zal de telefoon van fabrikant B veel sneller warm worden en zichzelf terugklokken, waardoor de prestaties slechter zijn dan het toestel van fabrikant A.

[Reactie gewijzigd door Zoidberg_AvG op 23 juli 2024 09:01]

[Nas T]

Je kunt het ook in de benchmarks filteren: de cpu in een reële staat forceren en de test langer uitvoeren om verhittingseffecten mee te nemen.

[Zoidberg_AvG]

Je kunt het ook in de benchmarks filteren

Probleem is dat de meeste veelgebruikte benchmark door het toestel herkend worden. En in dat geval zal het dus niet uitmaken dat de CPU warm wordt, de CPU draait de benchmark gewoon op zij max. kloknelheid.

[Verwijderd]

Als ze dat doen, gewoon de processor op max laten terwijl hij aan het oververhitten is, dan krijg je vroeg of laat vastlopers, automatische reboots etc. Dat lijkt mij niet heel positief in een review.

[Inrage]

Who gives a fuck?

Als de pers benchmarks zoooo belangrijk vindt dan is het toch normaal dat producenten hun best proberen doen om goed uit reviews te komen. Mensen staren zich veel te veel dood op een review score gebaseerd op eigenschappen waar ze niks aan hebben en producenten willen deze potentiele kopers niet verliezen...

Of je toestel nu een super snelle Dual core cpu heeft of een Rete snelle Quadcore... in de practijk heeft bijna niemand daar iets aan...

Al het nieuws over benchmark vervalsing lijkt me overbodige drama llama in deze nieuwskomkommer tijd waar we ons in bevinden.

Het verbruik van je auto in de reclame klopt toch ook nooit met het werkelijke verbruik, maar dat vinden we maar normaal en tellen er automatisch wat liters bij, tja...

[Verwijderd]

Het gaat niet eens om die paar procenten performance, het gaat om de reputatie van een bedrijf. Dit is gewoon de boel flessen en voorliegen. En dan nu als reactie nog de onschuld zelve spelen.

[Inrage]

Geen idee waarom mijn post als "ongewenst" gemodereerd wordt.
Ik deel gewoon mijn mening, on topic. Als een mening die niet aansluit met de jouwe ongewest is mag iedere discussie hier dicht er is alijd wel iemand ontevreden/blind.

Feit blijft, is het nu zo wereldschokkend dat een bedrijf tracht z'n product zo goed mogelijk in de markt te plaatsen? Dit gebeurd al jaren in alle sectoren. Verschil is dat het hier enkel is om een paar techneuten te misleiden zonder echte reële gevolgen en in de farmaceutica wel eens invloed heeft op gezondheid van mensen.

Hey concurrenten maken het zelfs onmogelijk om sommige benchmarks uit te voeren, ... dat is dan maar normaal zeker...

[Verwijderd]

Ik vind het niet wereldschokkend maar het is en blijft gewoon misleiding en de boel bedriegen. Het maakt me niet uit hoeveel andere voorbeelden er van te vinden zijn, dat maakt het niet minder erg.

[notsonewbie]

Ik vind het niet wereldschokkend maar het is en blijft gewoon misleiding en de boel bedriegen. Het maakt me niet uit hoeveel andere voorbeelden er van te vinden zijn, dat maakt het niet minder erg.

Juistem.
De nickname Inrage is ook ietwat 'omgekeerd' m.i.
Jij, ik, wij zijn 'boos' op oneerlijke bedrijven, wij zouden een inrage achtige nick beter dragen dan Inrage die het bijna normaliseert en goedkeurt puur op het 'hullie doen het ook'argumentje'.

Wat wel kan, politiek is immers alles overkoepelende, is een standaard test.
En dan stem ik voor: alle zeilen bij zetten op de phones, ook al puur om bijv. de accu duur onder stress te meten.

Flessen is de boel flessen, liegen en marketing met info weglaten is bad, google does evil, en wie toekijkt maakt het mogelijk, is deel v/h probleem.

Eerlijk duurt het langst? nee hoor.
Maar ja, we kunnen helaas niet zoals elders bij verkiezingen OOK politici -1 weg stemmmen... met producten kan dat wel, namelijk niet kopen, en dan bijv. ook alles niet van merk x.

Maar ja, dan wel even 1 manier van testen opleggen voor alles.

Neem die Natrene stevia toestand, 3% stevia in een 'pilletje'....
Waarom test de VWA niet de producten vOOr ze op de markt komen!?
Waarom niet een mega boete achteraf, bijv. 90% van de netto winst?(op dat product)

Standaard tests dus, voor gelijke producten.

[DCG909]

Als het goed is, dan zijn de resultaten van benchmarks toch te corrigeren, door een bestand te hernoemen? (Dan herkende de telefoon het niet meer als benchmark).

Op die manier kunnen benchmarks gewoon weer correct gebruikt worden, toch?

[Takenzo]

"De Galaxy Note 3 maximaliseert de cpu- en gpu-kloksnelheden wanneer er features actief zijn die substantiële prestaties nodig hebben. Dit is geen poging om resultaten van bepaalde benchmarks op te krikken."

En hoe wordt er bepaald dat zo'n feature actief is? Als dit hard-coded is voor bekende benchmarks maar niet voor realistisch gebruik zoals games lijkt me dit wel een poging om benchmarks op te krikken. Echter, misschien doen de benchmarks wel standaard beroep op alle grafische kracht en cpu in voorbereiding op de benchmark zelf, en reageert de telefoon hier (terecht) op door de kloksnelheid op te krikken.

Zolang de telefoon niet naar een hogere kloksnelheid gaat dan mogelijk is buiten de benchmarks lijkt het mij eigenlijk helemaal geen cheaten, maar gewoon een slimme manier van je resources gebruiken.

[NotSoSteady]

Als ze nou allemaal op volledige kloksnelheid draaien dan is en blijft het een benchmark.

[steff85]

Ik zou graag zien hoeveel % de resultaatscore positiever uitvalt op zo'n Note III. Valsspelen klinkt zo negatief maar is het verschil ook schrikbarend?

EDIT: [telefoons scoren tusssen 5 en 10 procent hoger op benchmarks, maar in sommige gevallen is het meer] nieuws: Fabrikanten Android-smartphones spelen vals bij benchmarks

[Reactie gewijzigd door steff85 op 23 juli 2024 09:01]

[A4553]

Per definitie vind ik benchmarks weinig zeggend. Het zegt namelijk totaal niets over de real life ervaring die men heeft met een apparaat. Al kan de Note 3 in benchmarks 'top of the line zijn', als het in menu's stroef loopt dan maken die benchmarks weinig uit.