Fabrikanten Android-smartphones spelen vals bij benchmarks

Smartphonefabrikanten als HTC, Asus en LG halen net als Samsung trucjes uit om bij benchmarks betere resultaten te boeken. Het optimaliseren voor benchmarks gebeurt onder meer op de HTC One en LG G2. Bij Nexus-toestellen gebeurt dat niet.

Vooral bij systeembenchmark AnTuTu halen telefoons kunstmatig hogere scores, zo blijkt uit een analyse van Anandtech. Het gaat meestal niet om hele grote verschillen: telefoons scoren tusssen 5 en 10 procent hoger op benchmarks, maar in sommige gevallen is het meer. Het verschil kan gemeten worden door het installatiebestand van de benchmark een andere naam te geven, waardoor de telefoon de app niet herkent als benchmark.

Fabrikanten zetten in hun firmware code om de benchmark-apps te herkennen, waarna bij het opstarten de kloksnelheid gelijk naar de maximale waarde wordt opgevoerd. Vervolgens kan de benchmark gedurende de run beschikken over alle processorkernen op maximale kloksnelheid, iets wat in normale omstandigheden niet zou gebeuren. Wel houden processors dan nog hun eigen regels voor warmte aan: als door de belasting van benchmarks de telefoon te warm wordt, klokt de processor zichzelf terug. De gevolgen daarvan zijn vaak sterker dan het effect dat door het forceren van de maximale kloksnelheid wordt bereikt.

De fabrikant die, zoals eerder bekend werd, het meeste optimaliseert voor benchmarks, is Samsung. Zijn Galaxy Note 3 stuwt de processor in veel benchmarks naar de maximale kloksnelheid. HTC doet dat in zijn smartphones One en One mini onder meer in 3DMark, Vellamo, AnTuTu en GFXBench. LG had in zijn G2 alleen aandacht voor AnTuTu en Vellamo. Motorola, eigendom van Google, en Google zelf doen daar niet aan mee: die optimaliseren hun toestellen niet voor benchmarks.

Hogere benchmarkresultaten moeten consumenten doen geloven dat het toestel sneller is, maar omdat alleen benchmarks de uitzonderingspositie krijgen om altijd alle cores op volle snelheid tot hun beschikking te hebben, zullen veel mensen de resultaten misleidend vinden.

Tweakers onderzoekt de benchmark-manipulatie al enige tijd en kan de bevindingen van Anandtech bevestigen. Mede om de beïnvloedbaarheid zijn we meer dan een jaar geleden al gestopt met systeembenchmarks als AnTuTu, Quadrant en Vellamo, omdat bleek dat fabrikanten daarvoor actief aan het optimaliseren waren. De resultaten van die benchmarks bleken nietszeggend.

Een ander punt waardoor benchmarks niet langer relevant zouden zijn is throttling: omdat de huidige generatie processors snel warm wordt en daardoor zichzelf terugklokt, is een benchmarkresultaat alleen een theoretisch maximum. In de praktijk tijdens het spelen van een game worden die prestaties niet gehaald, omdat de processor binnen enkele minuten te warm wordt. Dat verschil kan oplopen tot 30 procent.

Tweakers is ook al enige tijd geleden op zoek gegaan naar alternatieven voor huidige cpu- en gpu-benchmark, maar totdat die zijn gevonden en getest rapporteren we nog de huidige benchmarks met kritische kanttekeningen. Omdat de optimalisaties geen dramatische invloed blijken te hebben, blijven ze goed om verschillen tussen generaties processors te meten.

HTC One herkent 3DMark en schakelt automatisch alle processorkernen in op de maximale kloksnelheid - zelfs al in het hoofdmenu. In een normale situatie met een load van slechts enkele procenten had de soc enkele kernen automatisch uitgeschakeld en de andere in kloksnelheid verlaagd om de accu te sparen en te voorkomen dat de telefoon warm wordt.

Reacties (170)

[Anoniem: 474132]

Triest, stomme is dat zon beetje elke android fabrikant tegenwoordig een Qualcomm snapdragon 800 in het topmodel heeft. Met hetzelfde OS en dezelfde hardware zullen de verschillen met dezelfde benchmark apps klein zijn. Op zich wel logisch dat android fabrikanten dan 'magic sauce' in de benchmarks gaan gebruiken om het verschil proberen te maken.

Samsung maakt zich er overigens het meeste schuldig aan als ik de de zeer informatieve analyse van Ars technica er op na sla : http://arstechnica.com/ga...flate-scores-by-up-to-20/ , meer dan 20% voordeel in sommige benchmarks. Voor Samsung moet het ook wel zuur zijn dat ze door de problemen met de introductie van de eigen processor (exynos reeks) moesten terugvallen op de commodity chip snapdragon 800 van qualcomm. Dan is het verleidelijk om dmv benchmarkfraude toch nog het verschil proberen te maken tov de concurrentie.

[Titan_Fox]

Ik zie echter een ander "probleem" wat al langere tijd aan het spelen is. Veel consumenten kiezen uit kostenbesparing voor een mid-range model van zo'n € 350. Zelf vermoed ik dat het (deels) mee te maken heeft dat de huidige hardware eigenlijk wel snel genoeg is om alle gangbare apps vlekkeloos te laten werken.

De Galaxy S3 die ik heb is een jaar oud, terwijl dit model al sinds April 2012 op de markt is. Ik heb nog helemaal geen behoefte om dit toestel om te ruilen. Wat er nu in het topsegment zit is naar mijn mening niet noemenswaardig veel beter om een overstap rendabel te maken.

Ja, de mobiele processoren zijn wel weer wat krachtiger geworden en de schermen hebben een hogere resolutie, maar om eerlijk te zijn verwacht ik niet dat ik daar heel veel van ga merken. Het verschil tussen 720p en 1080p schermen is sowieso minimaal; de meeste stervelingen zullen het onderscheid niet kunnen zien. Het zijn een hoop marketingtermen waar je mee wordt dood gegooid en wat in feite weinig zegt over het toestel in kwestie.

Aangezien Android sowieso verre van optimaal draait op de beschikbare hardware, denk ik dat daar nog veel te winnen valt. Wat je nu aan het doen bent is steeds geavanceerdere hardware uit te brengen terwijl het besturingssysteem daar niet mee overweg kan. Die softwarematige bottlenecks moeten eerst worden opgelost. Dan zul je zien dat quad-cores / octa-cores en vele gigabytes aan RAM en opslaggehuegen in feite nergens voor nodig zijn.

Je zou je bijna afvragen of Google met opzet zorgt dat Android relatief traag presteert, zodat consumenten steeds weer nieuwe toestellen blijven kopen ...

Zoals ik al aangaf doe ik daar niet meer aan mee. Ik vervang mijn S3 zodra deze kapot gaat en een reparatie niet meer rendabel is. Voor die paar apps die ik erop heb staan heb ik helemaal geen peperdure telefoon nodig. Misschien dat mensen gewoon eens moeten leren om blij te zijn met wat ze hebben.

[Anoniem: 474132]

Je zou je bijna afvragen of Google met opzet zorgt dat Android relatief traag presteert, zodat consumenten steeds weer nieuwe toestellen blijven kopen ...

Goed punt.

Illustratief hiervoor is dat je momenteel techblog reviews leest van de iPhone 5s waarbij gezegd wordt dat de hardware op basis van -benchmarktests- aantoonbaar veel sneller is dan de voorganger, maar dat de iOS gebruiker hier in de dagelijkse praktijk nauwelijks iets van merkt.

De conclusie is dan vaak dat upgraden van iPhone 5 naar iPhone 5s "geen zin" heeft. Eigenlijk zou je dit ook als een loftuiting aan iOS 7 kunnen interpreteren, het draait prima op de voorgaande iPhone.

Als exact dezelfde hardware verbetering (5 -> 5s) in een Android toestel aan de orde was geweest was upgraden naar het nieuwe toestel wel geadviseerd omdat de stroperigheid van Android in het dagelijks gebruik aanmerkelijk minder wordt op de nieuwe hardware (vaak realiseert men zich de stroperigheid van een android toestel pas als men de performance van het opvolgende toestel tot zich genomen heeft).

Zo zie je dus dat geoptimaliseerde software/hardware als bij de iPhone eigenlijk weer als een "nadeel" in de eindconclusie van techblog reviews kan optreden, waarbij een minder geoptimaliseerd gelicenseerd OS als Android juist voor extra handset sales kan zorgen. Overigens is de negatieve conclusie van een review dat upgraden niet noodzakelijk is ook relatief: als consument bespaar je natuurlijk kosten met een toestel dat langer mee gaat.

[Titan_Fox]

Als exact dezelfde hardware verbetering (5 -> 5s) in een Android toestel aan de orde was geweest was upgraden naar het nieuwe toestel wel geadviseerd omdat de stroperigheid van Android in het dagelijks gebruik aanmerkelijk minder wordt op de nieuwe hardware (vaak realiseert men zich de stroperigheid van een android toestel pas als men de performance van het opvolgende toestel tot zich genomen heeft).

Is dat niet een beetje het paradox van de ICT sector ? Je realiseert je pas hoe traag een apparaat is (in dit geval een Android smartphone) op het moment dat je een nieuwe toestel koopt. Tot die tijd lijkt niemand last te hebben van die "stroperigheid", dus heeft het vervangen van je toestel in feite geen zin. De meeste mensen snappen ook wel dat een nieuwer toestel in de regel betere prestaties op touw hoeft te zetten.

Toen ik mijn eerste smartphone had (een iPhone 3G) was ik daar ook super tevreden mee, omdat ik eenmaal niet beter wist. Voor mij was het op dat moment een belevenis omdat ik al zeker 6 jaar met dezelfde Samsung D500 dumbphone op zak liep. Je staat er op dat moment helemaal niet bij stil dat het mooier en sneller kan. Als je dan vervolgens een Galaxy S3 aanschaft omdat bepaalde apps niet meer wilde werken op iOS 4.2.1, merk je pas wat voor een verschil het is en vraag je je af hoe je in hemelsnaam op zo'n trage 3G hebt kunnen werken.

Daarom zeg ik; mensen zouden eens wat sneller tevreden moeten zijn met wat ze hebben. Er worden bakken met geld over de balk gegooid om steeds het neusje van de zalm te bezitten, terwijl je er op prestaties en functionaliteit slechts marginaal op vooruit gaat. Daarom heb ik mijn SIM-only contract ook met een jaar verlengd bij T-Mobile, omdat er naar verwachting toch niks interessants uitkomt de volgende 6 - 12 maanden waarvoor het zich zou lonen om een abonnement met toestel af te sluiten. Nog een hoop van die 13-in-een-dozijn toestellen met vergelijkbare specificaties. Daar ga ik geen 2 jaar krom voor liggen bij mijn provider.

[Anoniem: 120693]

Illustratief hiervoor is dat je momenteel techblog reviews leest van de iPhone 5s waarbij gezegd wordt dat de hardware op basis van -benchmarktests- aantoonbaar veel sneller is dan de voorganger, maar dat de iOS gebruiker hier in de dagelijkse praktijk nauwelijks iets van merkt.

Duh....omdat er nog geen software is die gemaakt is om van deze hogere snelheden gebruik te maken. Wij zijn zelf bezig met updates van producten die deze betere snelheid zullen gebruiken om meer in de achtergrond te doen. Dat daarbij de oudere iPhones trager zullen aanvoelen is een groter probleem dan dat de nieuwe iPhones niet sneller aanvoelen.

Overigens merk ik het zelf zeker wel op, zware websites laden duidelijk beter en voelen beter aan.

[ZpAz]

Je zou je bijna afvragen of Google met opzet zorgt dat Android relatief traag presteert, zodat consumenten steeds weer nieuwe toestellen blijven kopen ...

Google heeft er weinig aan dat men steeds nieuwe toestellen koopt. Daar verdienen ze niets aan. Ze verdienen per gebruiker, niet per toestel.

[suljo]

Om te beginnen de vele gigabytes aan ram worden volledig gebruikt omdat dit een Linux based os is en aangezien jouw ram toch stroom gebruikt of je het gebruikt of niet hebben de bollebozen bij goigle gezegt als het tich stroom gebruikt laten weer het dan gebruiken om apps sneller te laten starten door zijn de achtergrond open te laten staan.

[Rey Nemaattori]

Triest, stomme is dat zon beetje elke android fabrikant tegenwoordig een Qualcomm snapdragon 800 in het topmodel heeft. Met hetzelfde OS en dezelfde hardware zullen de verschillen met dezelfde benchmark apps klein zijn. Op zich wel logisch dat android fabrikanten dan 'magic sauce' in de benchmarks gaan gebruiken om het verschil proberen te maken.

Samsung maakt zich er overigens het meeste schuldig aan als ik de de zeer informatieve analyse van Ars technica er op na sla : http://arstechnica.com/ga...flate-scores-by-up-to-20/ , meer dan 20% voordeel in sommige benchmarks. Voor Samsung moet het ook wel zuur zijn dat ze door de problemen met de introductie van de eigen processor (exynos reeks) moesten terugvallen op de commodity chip snapdragon 800 van qualcomm. Dan is het verleidelijk om dmv benchmarkfraude toch nog het verschil proberen te maken tov de concurrentie.

Volgens mij was die Exynos octa ook niet heel veel sneller/zuiniger dan de snapdragon 800, if at all. Dat is nog geen reden om te sjoemelen met benchmarks though, beter sjoemelen ze de hoeveelheid bloatware omlaag, als ik zie wat er allemaal draait in de achtergrond, dan is een kwart van het geheug voor de android systeemprocessen en een andere kwart tot een derde voor allerlei samsung services die ik nog nooit gebruikt heb....

[Titan_Fox]

Die benchmarks zeggen sowieso erg weinig. Behalve dat fabrikanten er creatief mee omspringen zijn het enkel resultaten in optimale condities. Ik verdiep me er daarom ook niet echt in. Wel houd ik Tweakers.net in de gaten om te kijken hoe de reviews eruit zien en wat de ervaringen van anderen zijn. Eventueel dat ik zelf een keer een Mediamarkt binnen loop om te kijken hoe een toestel aanvoelt.

Een poosje geleden was er sowieso al een artikel alwaar werd aangegeven dat Antutu chips van Intel bevoordeelt. Je zou je dan af kunnen vragen hoe realistisch die benchmarks dan nog zijn. Ik heb namelijk het gevoel dat dit het topje van de ijsberg is :

nieuws: 'Antutu-benchmark bevoordeelt Intel-soc's ten opzichte van ARM-processors'

Maar goed, dit zie je niet alleen bij smartphones. In de autobranche gaat dit al decennia lang op deze manier. Er was laatst nog een aflevering bij Radar geloof ik, waar aan het licht kwam dat de meeste auto's anderhalf tot twee keer zo veel brandstof verbruikten dan in werkelijkheid het geval was. Door gaten in de wetgeving hebben fabrikanten heel wat vrijheid om trucs uit te halen.

Zo mochten extra stoelen worden verwijderd, spiegels worden verwijderd, alle kieren en gaten werden afgeplakt, de banden werden keihard opgepompt en nog een heleboel foefjes om er voor te zorgen dat er zo min mogelijk brandstof werd verbruikt bij tests.

http://www.trosradar.nl/u...23-09-2013/zuinige-autos/

Kortom; we worden op alle mogelijke fronten besodemieterd om ons te doen consumeren. Supermarkten en voedselfabrikanten zijn daar ook heel erg goed in. Ik kan jullie echt aanraden om "De keuringsdienst van Waarde" te bekijken op http://www.uitzendinggemi...keuringsdienst-van-waarde

Je zult versteld staan ...

[Kevinp]

Daarbij nog de uitzending van Tegenlicht over water, specifiek water uit flessen.

Belazeren doen de meeste. En dat allemaal omdat het grote bedrijven zijn waar je als consument weinig tot niks tegen kan beginnen omdat ze zich wel aan de wet houden. Maar zich niet houden aan hoe de wet (volgens normale mensen) bedoeld is.

Een goed voorbeeld is eigenlijk de HRA. Bedoeld om mensen aan een huis te helpen, en niet om zo lang mogelijk een hoge schuld te hebben om zo veel mogelijk belastinggeld te krijgen. (spaarhypotheek). Waar vooral de bank beter van wordt omdat die extra lang veel rente krijgen, EN een deel geld wat gespaard is krijgen.

[Dterror]

toch wel weer typisch dat deze fabrikanten altijd om en om aan de top staan vooral dat vervelende samsung mobile.
ik blijf er bij dat sony de beste producten maakt in mobieltjes wereld die staan nu bovenaan zonder geprut en kunstmatige benchmarks.
zelf vind ik het als tweaker niet een probleem ik prik daar al jaren doorheen en kijk naar de bouwkwaliteit en durability, maar voor de mensen die alleen op cijfertjes letten vind ik dit ronduit misleidend.
tevens geeft men hierdoor ook kleinere fabrikanten niet de kans door te breken.(is niet helemaal waar maar toch)

[418O2]

Als iedereen het doet is het niet zo'n probleem. En kan je die tweaks er niet uit filteren door tig runs achterelkaar te doen? Dan wordt de cpu warm en zal hij op "normale" snelheden gaan lopen, toch?

[watercoolertje]

Of gewoon renamen zoals ze het nu testen? Lijkt me veel makkelijker

Anyway tja dit kennen we toch al jaar en dag, auto's halen ook nooit de benchmarks omdat die ook cheaten met de scores (als in verbruik meten meten op een rollerbank waar geen luchtweerstand bij komt kijken).

Ondanks dat het in zekere zin misleiding is is het al lang en breed normaal dat we continue belazerd worden

[Reactie gewijzigd door watercoolertje op 24 juli 2024 03:27]

[bbob]

Je kan die niet met auto's vergelijken en verbruik. Daar zijn helaas vaste normen voor die helaas niet echt realistsich zijn.

Wat men hier doet kun je vergelijken met een auto met turbo. Deze ziet dat hij getest wordt en verhoogd even tijdelijk de turbodruk om meer vermogen af te geven. In werkelijkheid zou hij dit nooit doen en dus minder vermogen hebben.

Voor mij zijn dit soort trucs oplichting. doelbewust manipuleert men benchmarks met het oog op goede resultaten. Let op samsung en anderen gebruiken deze resultaten ook in hun verkoop. Het mag duidelijk zijn dat een hogere benchmark betekend meer kans op verkoopt.

Aangezien men hier doelbewust de boel bedonderd lijkt me dat men hier moet ingrijpen. De overheid omdat men de boel bedriegt of een leuke class action lawsuite in de USA wegens bedrog.

[bilgy_no1]

Ik vind overheidsingrijpen wel erg ver gaan voor deze manipulatie. Een benchmark voor een telefoon heeft geen enkele officiële status. De fabrikanten adverteren zelf ook nooit met benchmark resultaten. Je kunt ze daarom eigenlijk helemaal geen misleiding ten laste leggen. Een class action lijkt me daarom redelijk kansloos.

Daarmee wil ik het niet goed praten, maar deze praktijk werkt alleen doordat tech sites die benchmarks gebruiken en (sommige) consumenten er kennelijk blind vertrouwen in hebben. Ik vind het vooral zonde van de tijd die fabrikanten erin stoppen. Beter zou Samsung die tijd besteden aan het echt sneller maken van haar producten. Of aan het logischer maken van bepaalde instellingen.

[Nas T]

Ik vind overheidsingrijpen wel erg ver gaan voor deze manipulatie.

Ik niet. Fabrikanten proberen hun producten beter naar voren te brengen dan dat ze daadwerkelijk zijn. Moet je voorstellen dat autofabrikanten dit zouden doen: Pakken ze tien goed in elkaar geschroefde auto's, sleutelen ze wat aan het motormanagement en hoppa, de topsnelheid ligt ineens 40 km/uur hoger.

Nee, dit soort activiteiten is helemaal ten nadele van de consument en leidt tot onbetrouwbare informatie. Op het moment dat we dat als maatschappij accepteren en willen, dan weet ik niet waar we heen gaan...

Dit is niet het enige voorbeeld waarbij er gesjoemeld wordt met testresultaten, er zijn legio voorbeelden. Fabrikanten hebben belangenverstrengeling, die moeten niet zelf meten, dat moeten onafhankelijke instanties doen. Of de meetvoorwaarden moeten voorgeschreven zijn, bijvoorbeeld door de overheid.

[Rey Nemaattori]

[...]

Ik niet. Fabrikanten proberen hun producten beter naar voren te brengen dan dat ze daadwerkelijk zijn. Moet je voorstellen dat autofabrikanten dit zouden doen: Pakken ze tien goed in elkaar geschroefde auto's, sleutelen ze wat aan het motormanagement en hoppa, de topsnelheid ligt ineens 40 km/uur hoger.

Nee, dit soort activiteiten is helemaal ten nadele van de consument en leidt tot onbetrouwbare informatie. Op het moment dat we dat als maatschappij accepteren en willen, dan weet ik niet waar we heen gaan...

Dit is niet het enige voorbeeld waarbij er gesjoemeld wordt met testresultaten, er zijn legio voorbeelden. Fabrikanten hebben belangenverstrengeling, die moeten niet zelf meten, dat moeten onafhankelijke instanties doen. Of de meetvoorwaarden moeten voorgeschreven zijn, bijvoorbeeld door de overheid.

En hoe realistisch denk jij dat een allesreiniger is die je op je vuile kookplaat spui en alles in 1 wipe schoonmaakt, zelfs de stukken die NIET besprayt zijn met 't spul? IS dat dan ook consumenten misleiding? Want dat soorto ngein zie ik al 30 jaar op TV en geen haan die zelfs maar op het idee komt om er naar te kraaien...
Blijkbaar heb je dus ook geen idee waar we heen gaan, want dat soort praktijken zijn al decennia schering en inslag in de reclame en marketing wereld...je doet het product altijd beter voor dan het is, anders ben je jezelf aan het afkraken

Nvidia en ATI deden dit ook voor hun video kaarten, haalt geen enkele auto het verbruik uit de fabrieksspecificatie, halen SSD's niet de snelheden waarmee geadverteerd wordt en is er blijkbaar geen telefoon die de benchmark snelheden haalt bij real-life applications(which is obviously no suprise here), whoo-di-fucking-doo.

[Nas T]

En hoe realistisch denk jij dat een allesreiniger is die je op je vuile kookplaat spui en alles in 1 wipe schoonmaakt, zelfs de stukken die NIET besprayt zijn met 't spul? IS dat dan ook consumenten misleiding?

Precies hetzelfde. Al zul je daar wel moeten toegeven dat de nepheid er af druipt...en dat dacht niemand bij smartphone benchmarks...

je doet het product altijd beter voor dan het is, anders ben je jezelf aan het afkraken

Niet helemaal. Ik respecteer fabrikanten die wèl eerlijk zijn en het fatsoen hebben gedegen meetmethodes te gebruiken voor hun producten.
Voor fabrikanten die hun producten eerlijk op de markt zetten, is er blijkbaar een markt. Een die bereid is te betalen voor goede waren.

[Anoniem: 449164]

Als al 2 jaar geleden wordt opgemerkt dat toestellen met dezelfde processor hele andere cijfers halen? De meeste mensen wisten het al.

En zeg nou eerlijk, heoveel consumenten kijken naar benchmarks, alleen tweakers en een handjevol 'normale' consumenten zien die resultaten dus zo erg is het nou ook weer niet.

[WeeDzi]

Ben ik deels wel met je eens, er moet een adviesorgaan/overkoepelende organisatie voor gaan komen als telefoons hiermee later afgerekend gaan worden, of dat nu de overheid moet worden weet ik niet, de overheid regeld ook niets met autos bijv. Vroeger was een telefoon een telefoon en een testprogje was een gimmick. Dit gaat nu steeds meer richting bv het verbruik van autos.

Voor het vast stellen van het verbruik van autos gelden een aantal testen/regels die door een overkoepelende organisatie zijn vastgesteld. Die gelden voor iedere auto fabrikant. Nu klopt hier bij autos ook neit zo gek veel van voor het verbruik tijdens een test en tijdens praktisch gebruik (gebruik op een rollerbank mag btw niet, maar bv speigels er af naden afplakken etc wel).

Dit soort regels zouden er dus inderdaad ook wel mogen komen voor telefoons nu benchmarks steeds meer verkoop praatje kunnen gaan worden. Maar dan zou dat eigenlijk ook moeten bij videokaarten etc want AMD en Intel kunnen er ook wat van.....

[Reactie gewijzigd door WeeDzi op 24 juli 2024 03:27]

[bbob]

Waar het hier gewoon om gaat is dat er overduidelijk sprake is van manipulatie om hogere waardes te krijgen.

De firmware selecteert de naam van een app en past daarvoor specifiek instellingen aan. Wijzig de naam van de app en je krijgt de normale waardes.
Laat het hier nu ook om benchmarks gaan die een indicatie geven van de snelheid van je telefoon cpu/gpu en het mag duidelijk zijn dat het doel is een hogere waarde te krijgen dan normaal.

Dat is gewoon misleiding van consumenten. Het doel van een hogere waarde is immer dat jou telefoon sneller is als de concurrentie en dat kan een reden zijn voor de consument jou telefoon te kopen. In de praktijk blijkt die waarde niet gehaald te kunnen worden en dus ben je misleid. Misleid is dan een zachte uitdrukking, eigenlijk is het gewoon bedrog.

[Vayra]

Overheidsingrijpen, nee. Dit is eerder iets voor de Consumentenbond.

[bilgy_no1]

@NasT
Het cruciale verschil is dat een autofabrikant wel de maximale snelheid adverteert. Ik heb nog nooit een uiting gezien van een telefoon maker in de trant van "Deze Galaxy haalt xx xx xx punten in AnTuTu"

[Avathar]

bbob1970 schreef
:"Je kan die niet met auto's vergelijken en verbruik. Daar zijn helaas vaste normen voor die helaas niet echt realistsich zijn."

Wel als de normen zij vastgesteld onder druk/door lobbyen van de autoindustrie.
De overeenkomst is verkeerde resultaten door verkeerde parameters.

[bbob]

Bij veel fabrikanten zie je in folders.tegenwoordig ook staan verbruik min-max omdat ze daarvoor dacht ik in sommige landen al eens op de vingers zijn getikt.

De tests bij auto's zijn over een paar km, te belachelijk voor woorden. Let wel door die tests hebben auto's zogenaamd lager verbruik, lagere co2 waarde en kan je bijtelling lager zijn of in sommige landen je wegenbelasting of bijtelling.
Bekijk je het zo dan zou de echte waarde er voor zorgen dat auto's nog duurder worden, je nog meer wegenbelasting moet betalen en of je bijtelling op basis van co2 waarde ook hoger is.

[Avathar]

Ohja dat geloof ik direct. dus eigenlijk zijn door lobbyen van de autoindustrie de autoprijzen hoger terwijl de belastinginkomsten lager zijn

Dit is een typisch geval van manipulatie door industrie, helemaal te vergelijken met de situatie met de benchmarks.

Je kan heel makkelijk beveiliging inbouwen tegen manipulatie door software. renamen bijvoorbeeld of duidelijk aangeven dat de software de benchmark herkend heeft en daardoor foutieve resultaten produceerd.

Bedenk maar wat

[Anoniem: 415197]

Ze moeten gewoon in die benchmarks beter testen.

Want als blijkt dat bij het runnen van de benchmark de responsiviteit van het toestel terugloopt (omdat meer kernen worden toegewezen), dan moeten ze dat ook in de benchmark verwerken.

Simpel!

[TheekAzzaBreek]

Je kan die niet met auto's vergelijken en verbruik. Daar zijn helaas vaste normen voor die helaas niet echt realistsich zijn.
...

Je kan het prima vergelijken. (Goede) benchmarks hebben vast omschreven condities, maar er blijft altijd genoeg over wat niet of niet strak genoeg omschreven is, en daar gaan de fabrikanten dan op optimaliseren. Iedereen doet het, in iedere branche, en er is vrijwel niets tegen te doen. Benchmarking is marketing, wen er maar aan.

Uitzonderingen zijn benchmarks die een realistisch gebruik simuleren, zoals t.net doet met storage bijvoorbeeld. Maar als je dan naar de reacties kijkt loopt zelfs hier het gros toch nog steeds met de synthetische cijfers te zwaaien. Kennelijk vinden we het niet zo erg om belazerd te worden.

[Reactie gewijzigd door TheekAzzaBreek op 24 juli 2024 03:27]

[Vizzie]

Autofabrikanten zijn verplicht op een bepaalde manier (die inderdaad inmiddels ver van de werkelijkheid afstaat) te testen. Dat dit irrelevante cijfers geeft is waar, maar ze zijn wel eerlijk onderling vergelijkbaar.

Beetje jammer dat ze dit nodig vinden voor die 5 tot 10 procent. Oplossing die op anandtech geopperd werd in de comments lijkt mij prima: bij degenen waarvan bekend is dat ze valsspelen in alle benchmarks bij alle toestellen standaard 10% minder rekenen, dan houden ze er vanzelf mee op

[Carpento]

maar ze zijn wel eerlijk onderling vergelijkbaar

Nee, zelfs dat niet. Er zijn fabrikanten die hun voertuigen de testcyclus laten detecteren en vervolgens tijdens zo'n testcyclus de motorprogrammering aanpassen. Een auto draait dan in een zuinigere modus bijvoorbeeld die je in de praktijk niet gebruikt (en niet kúnt gebruiken).

Precies dat is wat men dus met telefoons ook doet: herken dat je 'getest' wordt en doe je beter voor dan tijdens normaal gebruik.

[Reactie gewijzigd door Carpento op 24 juli 2024 03:27]

[Kermit123]

Het dedecteren van de drive cycle is bij wet verboden en zal ook in de practijk door de OEM's niet gedaan worden, risico op imago schade weegt heel wat zwaarder in de automotive industrie

[Brazos]

"...meten op een rollerbank waar geen luchtweerstand bij komt kijken)."

De rollerbank zelf simuleert zowel de lucht- als rolweerstand. Dat blijft uiteraard bij benadering. Maar daar ligt het niet aan, waar het wel aan ligt is dat er op de rollerbank "perfect" wordt gereden. Dit betekent dat er in 5 minuten wordt opgetrokken naar de 80, en het onderdeel van die accelaratie zou dan representatief moeten zijn. Het verbruik dat de fabrikant op geeft is wel te halen, dat ligt alleen aan je rijstijl. Het gezeur over het verbruik komt vooral van lichte stadsblikken zoals een Peugeot 107, Citroën C1, Toyota Aygo, Toyota Prius etc. etc. die met een underpowered atmosferische 3 cilinder rond tuffen waarbij de bestuurder dat ding continu op zijn donder geeft om maar enigszins met het verkeer mee te komen. Daarbij uitgezonderd de Prius, die als belaastingtechnisch interessant verhicel functioneert voor lease rijdend Nederland en met 140(de topsnelheid) over de snelweg jakkert. Nee, dan rij je niet zuinig nee, maar dat is niet de schuld van de fabrikant. De manieren van vaststellen van die cijfers is allemaal aan banden gelegd.

Overigens zijn de waarden die de fabrikant geeft vaak prima te halen, ik rij zelfs zuiniger (1:18,2) dan dat de fabrikant op geeft (1:14,5) voor mijn auto.

[Reactie gewijzigd door Brazos op 24 juli 2024 03:27]

[aval0ne]

* rollenbank

[Gallant]

Haaha toevallig rij ik in een Prius en heb ik een 107. Ik kan dus uit ervaring zeggen dat de Prius met gemak 150 haalt en dan erg onzuinig wordt, topsnelheid nooit gehaald denk dat dat net even boven de 170 ligt. De 107 (topsneheid tegen de 150) is echt een verbruikswonder, ja ik trap dat ding constant op zijn staart en dan gaat die ook behoorlijk rap ben altijd een van de snelste in het verkeer (ook op snelweg) dus hoe je bij komt dat de 107 met moeite met het verkeer mee kan.. wel eens in één gereden?. Verbruik van de 107 krijg ik niet onder 1:21 en met mijn rijstijl vind ik dat echt een klein wonder. Oja de Prius is natuurlijk geen stadsblik zoals je zegt, jij bent laat me raden een Audi-mobilist?

[Reactie gewijzigd door Gallant op 24 juli 2024 03:27]

[Brazos]

" topsnelheid nooit gehaald denk dat dat net even boven de 170 ligt."

Ik meende 140, maar de topsnelheid varieert van 160(2000-2004 model) tpt 170(2004-2011) volgens autoweek.nl

"De 107 (topsneheid tegen de 150) is echt een verbruikswonder,..."

Dan heb je waarschijnlijk geluk gehad, de meeste cijfers die ik hoor zijn 1:12 tot 1:13. Maar dat is niet specifiek de 107, misschien dat ik te snel was in mijn oordeel en dat de 107 hierop een uitzondering is, maar over het algemeen valt het verbruik van de stadsmobieltjes erg tegen heb ik gemerkt.

"ja ik trap dat ding constant op zijn staart en dan gaat die ook behoorlijk rap ben altijd een van de snelste in het verkeer (ook op snelweg)..."

Dat is denk ik maar net wat je gewend bent, als je een beetje een sportieve auto gewend bent trekt het echt niet op, en ik geloof er niks van dat je "het snelste in het verkeer bent (ook op de snelweg)" met een top van 150km/h. Een 107 is verre van snel, geeft ook niet, want daar is de auto ook helemaal niet voor gemaakt. Maar juist omdat je het ding continu op zijn staart trapt om het overige verkeer enigszins te kunnen bijbenen valt het verbruik vaak tegen. Maar misschien is jouw 107 een uitzondering hierop.

Ik rij zelf overigens Honda, dus dat maakt me een "honda-mobilist"? In dat geval, aangenaam kennis te maken peuyota-mobilist

[Reactie gewijzigd door Brazos op 24 juli 2024 03:27]

[Gallant]

Dat laatste klopt het is een Jap daarom heb ik hem ook gekocht heb ook hiervoor een Honda civic gehad was ook een bijzonder zuinige auto zeker voor zijn grote. Die Pruis waar ik in rij is van model jaar 2011 dus dat kan kloppen.

Ik heb ff nagekeken wat precies me verbruik is met de 107. Met gemak rij je 1:21 met lange stukken snelweg. Gecombineerd rij ik 1:18 en als ik me best die 1:20. Ik ben wel van het nieuwe rijden. Maar ik rij ook graag Door een sportwagen is het niet maar daar heb je in druk verkeer ook minder aan. Op de snelweg is het geen krachtpatser maar eenmaal de snelheid er in is het een kwestie van deze vasthouden.

[KucingT]

BMW had dat in de jaren negentig tamelijk briljant gedaan (en gelukkig een boete voor gekregen): het motormanagement herkende de testcyclus en optimaliseerde richting verbruik. Effect was dat de BMW zuiniger bleek dan deze de eerlijke gestandaardiseerde test zou moeten zijn.

De kritiek op de zuinigheidstest is enigszins terecht omdat deze niet realistisch zijn, maar iig zijn de resultaten onderling vergelijkbaar, en dat is voor de consument ook belangrijke informatie. Oftewel, ik weet niet hoe zuinig de auto is die ik aanschaf, maar ik weet wel dat deze op dit punt de beste keuze is.

[HooksForFeet]

Dat is hetzelfde argument als bij de verbruikscijfers van auto's: "Ja, ach, ze strippen zo'n auto wel compleet en plakken iedere naad en kier af zodat het verbruik veel lager is dan in de praktijk, maar zolang iedereen het doet kan je nog vergelijken en is het niet erg." Dat zou een goed argument zijn, ware het niet dat het geteste verbruik vervolgens met grote letters als reclameargument gebruikt wordt.

Datzelfde geldt hier: natuurlijk kan je er onderling nog mee vergelijken, maar het interesseert me niet hoe goed m'n telefoon het doet ten opzichte van telefoons die ik niet heb. Het interesseert me hoe goed de telefoon waar ik honderden euro's voor neertel presteert. En dat haal je niet uit de cijfers van dit soort benchmarks, terwijl die wel gebruikt worden om het toestel aan te prijzen.

Dit is verre van "niet zo'n probleem": het is puur consumentenbedrog, en zou hard afgestraft moeten worden.

[Rey Nemaattori]

Dat is hetzelfde argument als bij de verbruikscijfers van auto's: "Ja, ach, ze strippen zo'n auto wel compleet en plakken iedere naad en kier af zodat het verbruik veel lager is dan in de praktijk, maar zolang iedereen het doet kan je nog vergelijken en is het niet erg." Dat zou een goed argument zijn, ware het niet dat het geteste verbruik vervolgens met grote letters als reclameargument gebruikt wordt.

Datzelfde geldt hier: natuurlijk kan je er onderling nog mee vergelijken, maar het interesseert me niet hoe goed m'n telefoon het doet ten opzichte van telefoons die ik niet heb. Het interesseert me hoe goed de telefoon waar ik honderden euro's voor neertel presteert. En dat haal je niet uit de cijfers van dit soort benchmarks, terwijl die wel gebruikt worden om het toestel aan te prijzen.

Dit is verre van "niet zo'n probleem": het is puur consumentenbedrog, en zou hard afgestraft moeten worden.

Op gronde van wat?
Producten krijgen een 'gezonde keuze' keurmerk ondanks dat ze nokkie vol carcinogeen aspartaam zitten, met allesreinigers veeg je alles in één keer schoon ongeacht hoe vuil, SSD's worden geadverteerd met snelheden die op 't theoretisch maximum van de SATA600 specs liggen en er is geen enkele auto die het verbruik in de fabrieksspecificatie haalt omdat je daarvoor langzaam moet optrekken, tijdig moet uitrollen etc. etc. en het verkeer op moet houden.

Loop de straat op en vraag een aantal willekeurige mensen wat 10k antunu benchmarks betekenen voor de gebruikerservaring van je telefoon, tenzij je een nerd treft zullen de meeste doorlopen...benchmarks zeggen niks tegen een consument, het enige dat ze weten is dat het 'hoger' of 'sneller' is dan die andere telefoon.
Net als dat die ene auto net 25 meer pk heeft ( al kunnen mensen zich daar tegenwoordig wel iets bij voorstellen inmiddels ) of die ene wasmachine 100 rpm sneller centrifugeert, hebben ze geen idee wat dat in de praktijk nu inhoudt, maar het klintk wel vet of iig beter dus hoppa kopen.


Als dit al consumentenbedrog heet, dan zijn de we afgelopen 80 jaren volledig op- door- en afgelicht door massamedia

[Frustus Maximus]

Apple doet t niet. Kun je zeggen wat je wilt, maar zo vervalsen ze de resultaten niet.

Ik vind het wel een kwalijke zaak. Maar Motorola doet het gelukkig ook niet.
Het is hetzelfde als die zuinige auto's, waarbij de test op alle manieren wordt aangepast om zuiniger op papier te zijn.

Alleen hier willen ze sneller lijken dan ze eigenlijk zijn.

Misschien dat Tweakers die benchmarks inderdaad overboord moet gooien. Of een eigen benchmark app maken waarvan je de naam niet wereld bekend maakt. Op die manier kan niemand de app een voordeel geven als ze niet eens weten hoe die heet. En Tweakers kan zijn eigen testresultaten mooi publiceren.

@Catch, Uiteindelijk gaat het wel om het feit dat ze de Mhz opschroeven.

[Reactie gewijzigd door Frustus Maximus op 24 juli 2024 03:27]

[Richh]

Op Apple hebben we geen mogelijkheid om dat te controleren. Vind het een beetje voorbarig om daar al van uit te gaan.

[curumir]

Na een jailbreak kun je meer lowlevel apps draaien waarmee je ook op een iphone meer kunt controleren. Daarbij kun je ook bij de iPhone ook een hernoemde benchmark neerzetten.

Anand heeft het ook bij Apple gecheck en reageert expliciet op een soortgelijke opmerking op het artikelt:
http://www.anandtech.com/...android-benchmarks/331705

Anand Lal Shimpi - Wednesday, October 02, 2013 - link
We have some internal tools to poke around at frequency, A7 appears to behave honestly. I explored this issue with engineers at a couple of different companies who were also interested in finding out the answer. Finally, much of what I used to characterize the A6/A7 aren't publicly available, so there's no gaming there.

The bigger concern is how much optimization for the web browsing tests exists in Browser.apk, Chrome and Mobile Safari. Like I said in the article, this is going to get a lot more difficult to detect.

Je kunt het natuurlijk nooit 100% zeggen, maar dat geldt ook voor Google, Motorola en alle anderen. Het aantal mhz opschroeven is makkelijk te detecteren, er zijn echter genoeg andere optimalisaties die moeilijk te merken zijn. Zoals Anand aangeeft, bijvoorbeeld javascript engines die geoptimaliseerd kunnen zijn naar benchmarks.

[Anoniem: 499360]

Wat een onzin. Ze kunnen het bij Apple wel controleren. Er zijn 2 bedrijven die niet vals spelen en dat zijn Apple en Google.

Echt zielig hoe fandroids proberen de waarheid te verdraaien om toch niet te moeten toegeven dat ze gewoon bedrogen worden. Het is nog niet erg genoeg dat de fabrikanten jullie belazeren dat jullie nu ook al beginnen jullie zelf te belazeren?

[Reactie gewijzigd door Anoniem: 499360 op 24 juli 2024 03:27]

[Anoniem: 499360]

Stilzwijgen? Phill Shiller heeft anders toch al uitgehaald op zijn Twitter. Ze hullen zich dus niet in stilte maar roepen "shenanigans" (oplichterij)

[418O2]

nouja, benchmarks op verschillende OS'en tegenoverelkaar zeggen ook niets natuurlijk.

[Anoniem: 499360]

Waarom zegt dat niks? Het is niet omdat het een ander OS is dat je niet dezelfde banchmarks kan draaien. Sommige benchmarks gaat idd niet maar als je naar het onderzoek zelf kijk zie je dat de iPhone in vele van die benchmarks is terug te vinden.

[Anoniem: 432173]

aangezien android en ios apps in verschillende talen worden geschreven is het vrij nutteloos om benchmarks met elkaar te vergelijken. Het is nu eenmaal geweten dat de ene taal dat net ietsje sneller werkt als een andere

[Marcelloz]

NIet helemaal waar, uiteindelijk wordt code gecompileerd naar native code die door het OS kan worden uitgevoerd. Het kan zijn dat de compiler nettere of snellere code maakt.

Bij geinterpreteerde talen als PHP of Perl kan het wel verschillen omdat zo'n taal specifiek getuned is op het uitvoeren van een specifieke (of algemene) taak.

[Anoniem: 432173]

euhm... java wordt gecompileerd na java bytecode die dan aan de vrituele machine wordt gegeven. C++ wordt rechtstreeks gecomileerd naar machinecode. In c++ heb je ook geen garbage collector rondlopen. Hoe goed de nieuste compilers ook zijn. C++ zal gewoon sneller werken als java, daarom dat het ook de standaard is voor zware simulaties.

Dat android kiest voor java is (volgens mij) gewoon voor de porteerbaarheid van de api's (en bijgevolg veel minder werk). Bij iOS is het simpel, er zijn slechts een aantal verschillende hardware configuraties waarvoor de api's moeten werken.

[Mr.Monk]

en iOS hoeft ook niet met zichzelf te concureren, android wel!

[PPie]

nouja, benchmarks op verschillende OS'en tegenoverelkaar zeggen ook niets natuurlijk

Behalve dat ze wel met elkaar vergeleken worden in benchmarks op sites zoals Tweakers of Andandtech...

[corset]

Je kan het beter anders zeggen. Van apple is het niet bekend. Of ze vervalsen? Dat weten we gewoonweg niet.

[Anoniem: 286841]

Lijkt me niet, omdat Apple geen reclame maakt met gigahz-en dual of quadcore geneuzel.
It just works is hun slogan. En daarbij, met wie moeten ze concurreren ?
Hun os is geoptimaliseerd voor hun eigen hardware.

[aval0ne]

De helft van de 5S presentatie ging over de nieuwe CPU.

[FlowDesign]

Los van het feit dat je niet weet of ze het doen of niet, zie ik het nut er ook niet van in.

Er is namelijk geen ander apparaat dan de iPhone voor hetzelfde OS dus er hoeft niet mee geconcurreerd te worden zoals merken onderling wel doen voor Android.

[Croga]

Nope. Als hij te warm wordt gaat hij niet op normale snelheid lopen maar lager dan dat.

Daarnaast;
Synthetische benchmarks zijn leuk voor dat ene doel: Benchmarking. Het is helemaal niet interessant voor de gemiddelde gebruiker hoe goed een toestel is in een benchmark; het is alleen maar interessant hoe goed/snel/vloeiend het toestel aanvoelt. Dat test je niet met benchmarks.

Het is hetzelfde als een wijn kiezen op basis van het theoretisch oordeel van een wijn-expert; de gemiddelde drinker is helemaal niet geïnteresseerd in theoretisch mondgevoel of tanine-gehalte. Dit is alleen maar geïnteresseerd in óf de wijn lekker is ja of nee.

Laten we dus alsjeblieft gewoon helemaal ophouden met benchmarking. Het heeft geen toegevoegde waarde, zelfs áls niemand zou optimaliseren.

[Framoes]

Maar dan zijn alle reviews ineens 1 of 2 pagina's korter

[MacPoedel]

Het zijn de synthetische benchmarks waar we beter mee stoppen, in reviews dan toch, sommige mensen overklokken graag en met zo'n tool kun je snel zien wat het voordeel is van een overklok, ook al zegt dat getal weinig. Een benchmark kan ook gebruikt worden om de stabiliteit van het systeem te testen, ook handig als je eens aan je telefoon prutst. Maar real-world benchmarks zijn volgens mij nog wel nuttig, zoals die hier op Tweakers waarbij de snelheid waarbij de frontpage geladen wordt, wordt gemeten. Soms wordt ook de snelheid waarmee apps geïnstalleerd worden gemeten, volgens mij ook best een nuttige test. Er moet toch ergens vergeleken kunnen worden hoe snel een toestel is in dagelijks gebruik.

[DwightKSchrute]

Maar niet elke fabrikant doet het. Motorola en Apple doen het volgens Anandtech niet, zoals valt af te lezen in de tabel in hetzelfde artikel. Ook Google met zijn Nexus 4 en Nexus 7 schijnt hier niet aan mee te doen.

[Señor Sjon]

Apple heeft er weinig mee te winnen, want geen concurrent op iOS zelf.
Motorola is van Google. Wat wel apart is dat Motorola geen Nexus toestellen/tablets bouwt, maar dat Google dit door partners laat doen (Samsung, LG, Asus)

@Hieronder
Apple heeft op het iOS platform zelf geen concurrentie, dat bedoel ik. Veel Android fabrikanten gebruiken benchmarks om tegen andere Androidfabrikanten te concurreren en zo aan te tonen dat ze de beste zijn.

Er is hier ook al ergens gemeld dat ze bij Apple niet kunnen zien of deze optimaliseerd, wat ook nog weleens zo zou kunnen zijn.

[Reactie gewijzigd door Señor Sjon op 24 juli 2024 03:27]

[Anoniem: 499360]

Dus plots is de iPhone geen concurrent voor de S4? Ik snap echt niets van die android psychologie. Normaal is het altijd van "Apple heeft verouderde hardware voor een veel te dure prijs" Nu blijkt dat het bij Android gewoon veel te trage hardware voor een dure prijs is is het plots geen concurrentie?

Het gaat hier over smartphones en de iPhone is de grootste concurrent en blijkbaar naast Motorola de eerlijkste.

[Kevinp]

Die concureerd op OS niet op snelheid van het apparaat.

[Mizgala28]

Je vergeet Sony, Nokia,Huawei en Nexus telefoons (komt door schone android Er wordt niks toegevoegd)

[Anoniem: 178824]

In China, Korea en Japan zijn merken als Huawei en ZTE best groot. Dat we ze in Nederland nog niet vaak tegenkomen zegt niet veel over mondiale verkoopcijfers noch het feit of je ze wel/niet kunt aanmerken als 'concurrent'.

[Anoniem: 499360]

Je hebt gelijk over Huawei daar had ik over gelezen.

[smitae]

Idd, nog erger. De nieuwe iPhone 5s heeft momenteel de beste specs, maar daar hoor je de Android fans nu even niet over. 64b en vingerscan zullen we ook snel op de android zien opduiken.... maar nu zijn deze optie's nog even onzin volgens veel Andriod supporters. Eigen mening mag natuurlijk, maar de reactie's blijven grappig.

Maar goed, on-topic;
Benchmarks zijn leuk, maar ik zie liever real-live test. Vooral omdat je dan echt vanuit de gebruiker iets meet en het speelveld dan gelijk trekt over alle OS-en.
Dus b.v. hoe snel laad een pagina, hoe lang gaat de batterij mee als ik 1 film kijk op 720p, etc, etc.
Dan meet je echt de gebruikers ervaring en dan valt er ook niet heel veel vals te spelen.

[LOTG]

Als iedereen het doet is het niet zo'n probleem.

Dat soort argumenten maakt het alleen maar erger. Kijk bijvoorbeeld naar sport, waar doping en dergelijke de boel inderdaad zo stuurt dat je bijna niet meer zonder kan.

Maar wat meten we dan nog? Wat iemand kan of wat er in de maximale situatie uit kan worden geperst zonder dat het nog enige relatie tot de werkelijkheid heeft.

Zoals in het artikel staat, je hebt helemaal niet aan die cijfers omdat de telefoon in een real life scenario er zelfs alleen maar nadeel aan zal onder vinden door de extra warmte die word gegenereerd.

[Mr.Monk]

zoals tweakers meet vind ik het erg goed,

die benchmarks intereseren mij niet veel, elke nieuwe mid range + telefoon zou alles voor android gewoon moeten kunnen draaien.

Veel mensen vinden accuduur en een goed scherm belangrijker, en deze test tweakers altijd goed

[Rey Nemaattori]

zoals tweakers meet vind ik het erg goed,

die benchmarks intereseren mij niet veel, elke nieuwe mid range + telefoon zou alles voor android gewoon moeten kunnen draaien.

Veel mensen vinden accuduur en een goed scherm belangrijker, en deze test tweakers altijd goed

Maar vergelijkt 'twel keer op keer met andere toestellen waardoor je niet geen eenduidig beeld krijgt; heb je een review, dan wordt in de accuduurtest modellen x, y, z, en een iphone s vergeleken, bij de schermtest zijn het modellen a, b, z en iphone c

Welke nu beter is? Tja geen idee, je hebt dan eigenlijk geen fatsoenlijke resultaten over de hele linie...

[-TAZZ-]

Geen probleem? Het is bewust de consument belazeren. In reclames mag je geen zaken beloven die je niet waar kan maken, dit valt wat mij betreft in dezelfde categorie.

[Rey Nemaattori]

Geen probleem? Het is bewust de consument belazeren. In reclames mag je geen zaken beloven die je niet waar kan maken, dit valt wat mij betreft in dezelfde categorie.

Ja, en elke reclame waarin ze beloven de goedkoopste, beste of snelste te zijn, is 100% waarheidsgetrouw

[Carpento]

Toch zie ik daar wel een probleem in. Als gebruiker ben je geinteresseerd in hoe een telefoon zich gedraagt tijdens regulier gebruik, niet hoe een telefoon maximaal kan presteren (wat in de praktijk niet gebeurt).

Dit is overigens weinig nieuws, dit soort optimalisaties worden bijvoorbeeld door autofabrikanten met brandstof-verbruikmetingen ook massaal gedaan.

[watercoolertje]

Als gebruiker ben je geinteresseerd in hoe een telefoon zich gedraagt tijdens regulier gebruik, niet hoe een telefoon maximaal kan presteren (wat in de praktijk niet gebeurt).

Waarom zou je als je normaal gebruik wilt weten in hemels naam een benchmark draaien? Een benchmark is ongeveer het tegenovergesteld van normaal gebruik...

Als je wilt weten hoe een toestel in de praktijk voelt zal je dat dus gewoon zelf moeten doen, of een soort automatisch script draaien wat normale handelingen uitvoert ipv 10x floatingpointberekeningen, vervoglens 10 andere berekeningen, daarna weer 10 andere....

[Reactie gewijzigd door watercoolertje op 24 juli 2024 03:27]

[Anoniem: 178824]

Carpento bedoelt natuurlijk dat een gebruiker wil weten hoe de telefoon maximaal kan presteren als hij er zelf mee werkt.

Dat een telefoon technisch 100x sneller werkt is zinloos om te meten als de gebruiker van die performance geen gebruik kan maken.

[Carpento]

Precies Ik ben werkelijk meer geïnteresseerd in hoe een toestel 'normaal' is, niet wanneer er een extra trucendoos opengaat waarover je zelf normaliter niet de beschikking hebt.

[Rey Nemaattori]

Carpento bedoelt natuurlijk dat een gebruiker wil weten hoe de telefoon maximaal kan presteren als hij er zelf mee werkt.

Dat een telefoon technisch 100x sneller werkt is zinloos om te meten als de gebruiker van die performance geen gebruik kan maken.

Anderzijds maakt het voor de gemiddelde gebruiker ook geen drol uit of een benchmark 100 zegt of 100.000.000, die getallen hebben geen waarde tenzij je technisch onderlegd bent of kennis hebt van IT en zelf dan zegt 't nog geen frack over de gebruikservaring....

[Anoniem: 178824]

Een getal zelf zegt niets. Alleen als je 2 getallen vergelijkt dan heb je het over verhoudingen. De verhouding is in enkele gevallen bepalend voor de aanschaf van een toestel. Maar om een verhouding te bepalen moet de uitkomst van de getallen wel hetzelfde zijn. Dat is in basis nu al niet het geval. Als het uitgangspunt niet betrouwbaar is heeft de test geen nut voor zowel de reguliere gebruiker als de tweaker die wel meer kennis heeft van benchmarks.

[curumir]

Dit valt me toch wel tegen van je. Het is gewoon niet netjes en eigenlijk gewoon cheaten.

In een vergelijk tussen iOS en Android maakt het nauwelijks uit, maar juist binnen de markt ontstaat er behalve een zinvolle wedloop naar een sneller apparaat ook een wedloop wie het beste kan cheaten.
Het is nu eenmaal zo dat benchmarks mede gebruikt worden om een indruk te krijgen die je in even proberen niet kunt krijgen. Andersom geredeneerd, waarom zouden die cheaters moeite, dus resources en geld stoppen in het vals spelen als het geen zin had..?

[watercoolertje]

Dit valt me toch wel tegen van je. Het is gewoon niet netjes en eigenlijk gewoon cheaten.

Wat valt er precies tegen? Ik gaf geen eens een mening over of het goed/slecht is

Ik zeg alleen als iemand wilt weten hoe iets in normaal gebruik is, je dat enkel kan zien door...... je raad het al..... NORMAAL GEBRUIK! En niet door syntetische benchmarks

Maarja blijkbaar is dat offtopic, naja ik laat jullie wel weer met rust in dit topic, want blijkbaar is mijn logica offtopic

[Reactie gewijzigd door watercoolertje op 24 juli 2024 03:27]

[ruben]

Als iedereen het doet krijg je een wedstrijd wie het beste is in benchmarksoftware optimaliseren, en daar heeft de gebruiker niets aan.

Het doel van het maken van benchmarks is niet om de software daarvoor te optimaliseren, maar om onderling te vergelijken wat een apparaat nu kan betreft snelheden van de componenten (CPU, GPU, etc) en bijvoorbeeld het opstarten van de browser en laden van een website.
Als ze dit laatste nu gaan optimaliseren, daar heeft een gebruiker tenminste wat aan.

[Inrage]

"Als iedereen het doet is het niet zo'n probleem"

Klinkt een beetje als wielrennen, niet?


Ik vind het hele benchmark gedoe toch wat overdreven. Meer dan de helft van de mensen doet niks met al die snelheid maar laat zich misschien toch beinvloeden door benchmarks tijdens de aankoop. Spijtig dat je niet kan testen welke toestellen na 1 jaar gebruik nog snappy aanvoelen... dat is voor mij het voornaamste probleem.

[Bavardia]

niet echt want dan zal de CPU zoals hierboven beschreven gaan throttelen en dan heb je weer geen natuurgetrouw beeld (je zal immers in het echt je telefoon nooit zo lang achter elkaar zo zwaar belasten)
En niet iedereen doet het (opnieuw zoals hierboven staat doet bijvoorbeeld google het niet). Ook doet niet iedereen het even veel etc.

Het toont wel hoe ongelofelijk hard de concurrentie in smartphoneland geworden is. Het kan niet snel genoeg gaan, en dat vaak ten koste van de levensduur van de smartphone (al die hitte doet echt geen deugd voor je telefoon). Ik voel dit al bij mijn nexus 4, die wordt behoorlijk heet bij het spelen van een spelletje

[Kiswum]

Tweakers draait een benchmark al diverse keren achter elkaar en haalt daarbij de laagste en hoogste scores weg.
Ik doe zelf hetzelfde, maar dan met 12 runs van elke benchmark. Daarna de hoogste en laagste scoren weghalen zodat je een gemiddelde van 10 runs kunt overhouden.

[subcultural]

Ik vind het allemaal maar een storm in een glas water. Die bedrijven zorgen ervoor dat zodra een benchmark applicatie gestart wordt de processor voor 100% gebruikt wordt en de hoogste kloksnelheid gebruikt. Die benchmarks zijn er toch om de maximale kracht van een smartphone/chipset te meten dus wat mij betreft zie ik hier geen probleem in. Als de smartphone slecht zijn cores en power schaalt, dan heb je juist enorm wisselende resultaten na 1 X de benchmark te laten lopen tegenover 10 X dezelfde benchmark vlak na elkaar te laten lopen.

IMO mag een benchmark applicatie dit zelf ook doen. Gewoon 100% cpu opeisen en alle cores en processor kracht opeisen. Dan hoeven de bedrijven niet voor elke benchmark app speciale filters in te stellen in hun schedulers en is het resultaat toch eerlijk.

Overigens, who cares? Een smartphone koop je omwille van zijn features, software, hardware en gebruiksgemak. Niet omwille van zijn monsterscore op een synthetische benchmark appje. Een gewone consument interesseert zich daar niet in. Grappig dat schijnbaar enkel Motorola en Google snappen dat software matige features zwaarder doorwegen dan die extra Mhz opdrijving. Moto X is een mooi voorbeeld van toegevoegde waarde creeëren bovenop stock android adhv handige features.

[Eswip]

Het gaat er niet om om vast te stellen hoe snel de telefoon is, maar hoe snel deze is ten opzichte van andere telefoons. Benchmarking is niks anders dan vergelijken, het houdt in dat je een 0-lijn hebt waar je de rest mee kan vergelijken. Een voorwaarde hiervoor is dat je dit testen wel in een gelijke setting doet.

Op het moment dat de ene partij zijn device gaat aanpassen specifiek voor een benchmark-app, dan kan je het niet meer gaan vergelijken. En dat is nou juist het hele punt.

Als een benchmark zelf 100% opeist, is er geen probleem. Immers zal de app dit bij alle devices doen, en kan je het dus prima vergelijken.

Het allergrootste probleem is dat je nu een data-set hebt, waarbij we (tot voor kort) niet wisten welke telefoons geoptimaliseerd waren. Men dacht dat je een eerlijke vergelijking kon maken, maar nu blijkt dat dat niet zo is.

[ToFast]

Is het niet zo dat ze eigenlijk nooit (ook niet eventjes) met gewone apps op 100% CPU draaien? Of is het zelfs zo dat ze 'overclocken'?

[mjl]

Ik dacht hetzelfde. Zie het als een feature: zo kun je de maximale en gebruiks prestaties meten. 1x met de normale app naam en 1x met een veranderde appnaam

[horizon1978]

Dus net zoals de autofabrikanten die "liegen" over het verbruik, daar wordt ook gemanipuleerd door niet normale omstandigheden te creeeren.

Wel leuk om te lezen dat de Nexus lijn van Google het zelf niet doet. Maar ik dacht dat de HTC One & S4 Play edition hoger scoorden dan de reguliere edities. Of vergis ik mij? Dat zou betekenen dat de schillen enorm... bagger zijn.

Ben benieuwd of er ook iets bij Nokia, Blackberry en Apple gevonden kan worden. Doen de HTC windows telefoons ook manipuleren? Dat is interessant om te bekijken denk ik.
Gezien de android concurrentie die niet existent is voor blackberry en apple lijkt het me daar niet nodig. Bij windows zou het wel kunnen.

[chengbondkwok]

De Nexus 4 heeft last van throttling problemen, dus die kan nooit lang werken op de hoogste kloksnelheid (zelf een Nexus 4 gebruiker).

Eerlijk gezegd maken die benchmarks mij helemaal niets uit. Leuk om er over op te scheppen, maar de gebruikservaring doet er toe. En dat vind ik bij de Nexus 4 erg goed in elkaar zitten.

[Phntm]

Op te lossen door zelf natuurlijk de throttle uit te schakelen of een custom kernel met lagere voltages waarmee de cpu niet zo vaak meer gaat throttlen.

[Reactie gewijzigd door Phntm op 24 juli 2024 03:27]

[chengbondkwok]

Zou best goed kunnen. Tijdens normaal gebruik heb ik er geen last van. Maar out of the box kan de Nexus 4 niet valsspelen.

[bstard]

Ik kan me nog een akkefietje herinneren van Ati (of nvidea?) drivers die gingen oc'en als er een benchmark draaide. Denk dat dit foppen van vergelijkingen zo oud als de wereld is: zilveren sestertiën in Rome waren op een geven moment zo zwart als roet door rommel die er doorheen gesmolten werd.

[Anoniem: 434945]

Autofabrikanten liegen niet, ze testen volgens Europees vastgestelde tests.

Dat wat mis gaat is dat de tests niet meer actueel zijn en dus vernieuwd moeten worden.

[horizon1978]

Ow, en het verwijderen van stoelen en inklappen van buitenspiegels is niet het aanpassen vd werkelijkheid?

[ToFast]

En niet te vergeten de dunste wiebeligste eco-bandjes met 0.1 % grip

[Jeanpaul145]

Als de telefoons al snel te warm worden, is het dan geen idee om ze eerst ff goed op te laten warmen voor ze te benchmarken? Een "Cheat the cheaters" aanpak, als t ware.
Als alle tech blogs dit zouden doen, zou het denk ik namelijk snel afgelopen zijn met dit soort valsspelen.

@kevinp: Nee in het artikel staat ook al aangegeven dat zelfs bij het cheaten de cpu's zich nog wel aan hun thermal profile houden, dus slopen zit er normaliter niet bij.

[Reactie gewijzigd door Jeanpaul145 op 24 juli 2024 03:27]

[Kevinp]

Het zou me afhankelijk van de hack niet verbazen wanneer je een telefoon kan slopen wanneer je benchmarks blijft draaien.

Als in de code een hogere treshold staat en je telefoon dus langer warm mag worden kan dat mis gaan.

[Rey Nemaattori]

Als de telefoons al snel te warm worden, is het dan geen idee om ze eerst ff goed op te laten warmen voor ze te benchmarken? Een "Cheat the cheaters" aanpak, als t ware.
Als alle tech blogs dit zouden doen, zou het denk ik namelijk snel afgelopen zijn met dit soort valsspelen.

@kevinp: Nee in het artikel staat ook al aangegeven dat zelfs bij het cheaten de cpu's zich nog wel aan hun thermal profile houden, dus slopen zit er normaliter niet bij.

Mja, de ene Soc kan wellicht beter tegen hitte dan andere, zo kan ik me bij een exynos octacore voorstellen dat deze met 8 cores veel meer die-oppervlak heeft om die warmte te dissiperen (aannemende dat er max 4 in gebruik zijn elke keer)
Of dat een identieke SoC op een kleiner procédé van zichzelf minder hitte genereert, maar omdat hij voorverwarmt is op de kachel op hetzelfde moment begint te throttlen etc. etc.

Beter combineer je accu en benchmark resultaten, op die manier maak je cheaten veel moeilijker: immers de SoC oppompen geeft een veeeel snellere drain, terwijl 't afknijpen weliswaar meer batterijtijd geeft, maar crappy results

[Audione0]

Achja, ik kijk er al niet meer van op. Overal word je genaaid. In de voedselbranch, automobielbranch, op je werk, door de overheid, thuis in bed . Het draait allemaal om geld.

En buiten dat, lekker belangrijk die benchmark score. Wees blij met wat je koopt, ipv zo super blij zijn dat je de hoogste score hebt met een bepaalde test.

[Reactie gewijzigd door Audione0 op 24 juli 2024 03:27]

[Anoniem: 9278]

Als ik genaaid word, moet het wel lekker zijn :-)

[Audione0]

AMEN

[Pablo]

Naar mijn idee draait het echt niet meer om benchmarks.
Het gaat erom of je toestel werkt en of je OS gebruiksvriendelijk is.

Voor ons tweakertjes is het miscchien interesant , maar de `normale` Nederlander zal er niet wakker van liggen dat hij een telefoon heeft met een core meer of minder.

[Anoniem: 530086]

precies en als het gaat om gebruiksvriendelijkheid en het altijd moet werken dan koop je nou net geen Android.
maar goed als eem verkoper zegt; de processor van de galaxy s4 is 3x zo snel als die an de iPhone of Windows iPhone, dan zullen de mensen eerder kiezen voor de "snelste" wat ook logisch is. uiteindelijk weten ze niet dat de langzame telefoon alsnog rondjes rent om de zogenaamd snellere.

[Anoniem: 530086]

klopt maar dan kies je niet voor Android neem ik aan. en voor de gemiddelde consument is het directe misleiding, verkoper: de processor van de s4 is 3x zo snel als je iPhone, hier trappen veel menen in, in praktijk is de iPhone 3x zo snel.

[Hadespuiter]

Nou is de iPhone 5S al bloedsnel en loopt in veel benchmarks rondjes om de Android concurrentie, maar het échte verschil is dus eigenlijk nog groter?

[Anoniem: 178824]

Het vlaggeschip van Apple verschilt niet eens erg veel van de vlaggeschepen van andere grote merken.

Maaruh, als bijna alle grote merken de benchmarktools misleiden, hoe groot schat je dan de kans dat Apple dat doet? Hopelijk zeg je nu niet in volledige naïviteit "0%".

[Hadespuiter]

Volgens Anand doen Apple en Motorola en de Nexus niet mee aan deze spelletjes.

[Anoniem: 178824]

Dat is wel een voorbarige conclusie. Dat het niet te ontdekken is met een zelfde methode wil nog niet zeggen dat ze het niet doen.

Alle merken hebben een R&D afdeling die de toestellen van de concurrent volledig analyseren. Als je als merk ziet dat 4 grote concurrenten ermee weg komen dan lijkt het mij niet onwaarschijnlijk dat ze het zelf ook proberen. Juist omdat geen enkel merk deze info heeft doen uitlekken lijkt me dit een "iedereen-in-de-toer-gebruikt-dus-ik-ook" gevalletje.

Nu is het aan de onderzoekers om uit te vogelen wie echt eerlijk is. Ik verwacht komende weken nog wel een paar van dit soort "ontdekkingen"

[Anoniem: 380342]

With the exception of Apple and Motorola, literally every single OEM we’ve worked with ships (or has shipped) at least one device that runs this silly CPU optimization.
http://anandtech.com/show...ing-in-android-benchmarks

Hier wordt toch echt gezegd dat Motorola en Apple geen gebruik maken van CPU optimalisaties zoals de anderen dat wel doen.

[Anoniem: 178824]

Klopt. Lance was ook heel overtuigend in 2010. Iedereen weet hoe dat enkele jaren later zich ontwikkelde...

[MC Taz Man]

Of je wil gewoon met alle macht dat Apple er ook aan meedoet.

Best kans dat zowel Apple, Google als Motorola dit soort praktijken daadwerkelijk niet ondernemen. Waarom zouden ze?

In het geval van Apple vind ik het persoonlijk juist heel geloofwaardig dat ze niet cheaten, simpelweg omdat ze het niet nodig hebben. iOS is namelijk geschreven voor een zeer beperkt aantal hardware configuraties. Daardoor kan Apple de werking ervan optimaal optimaliseren. Derhalve zal er veel minder prestatieverlies optreden. Mijn conclusie: ze hebben de cheats niet nodig, aangezien de combinatie iOS en iPhone al de beste prestatie oplevert die (op dat moment) mogelijk is van dat specifieke toestel.

Dit bovenstaande geeft mij trouwens wel aan dat Motorola uitzonderlijk goede toestellen maakt, indien zij ook hoog eindigen in de benchmark lijstjes (iets wat ik niet weet, aangezien ik daar niet naar kijk).

[Anoniem: 178824]

Mijn vermoeden is niet gericht op Apple. Dit gaat net zo goed op voor alle fabrikanten. Zolang er statistieken zijn die als marketing ingezet worden en die te beïnvloeden zijn door fabrikanten dan zullen ze dat doen. Dat is niet alleen van toepassing bij telefoontjes maar in tal van branches.

Ik vind het aannemelijker om te stellen dat een grote fabrikant wel aan deze praktijken doet (en nog niet is betrapt) dan dat een grote fabrikant hier niet aan mee doet terwijl ze weten dat anderen het wel doen.

Nogmaals, mijn vermoeden is geen anti-apple sentiment maar een mening gebaseerd op ervaringen en berichtgeving omtrent andere fraudes als die van banken, verzekeraars, ict-bubbles, wielersport, bodybuilding, verkochte voetbalwedstrijden, bouwfraude, nsa-lekken, vastgoedfraude door wethouders, et cetera....

Ik wou dat ik kon zeggen dat ik volledig vertrouwen heb in de mensheid maar dat heb ik niet.

[MC Taz Man]

Je redenering kan ik goed volgen, echter ben ik het niet met je eens . Zie mijn argument mbt de optimalisatie die Apple wel en de meeste Android fabrikanten niet uit kan/kunnen voeren.

[Reactie gewijzigd door MC Taz Man op 24 juli 2024 03:27]

[Anoniem: 178824]

Hoeft gelukkig ook niet.

De argumenten die je gebruikt zijn prima. Echter kan je de conclusie uit die argumenten ook wel weer beargumenteren. Het feit dat ze "het niet nodig hebben" zou bijvoorbeeld ook moeten opgaan met geld. Een bedrijf als Koninklijke Olie (Shell) is een van de meest winstgevende bedrijven ter wereld. Geld zat en meer geld hebben ze eigenlijk niet echt nodig. Toch streven ze winstmaximalisatie na en laten milieuschade achter (die ze met geld zouden kunnen oplossen). Onnodig maar toch werkt dat zo. Daarmee is het argument dat je aanvoert, in mijn visie, niet waterdicht. Zolang er mensen bij betrokken zijn wordt er vals gespeelt. De mate waarin, dát verschilt.