Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 110 reacties

De Chinese fabrikant Huawei, een van de grootste smartphonemakers ter wereld, speelt vals in benchmarks met zijn belangrijkste model Ascend P7, claimt Anandtech. Het toestel zet de vier processorkernen altijd op de maximale kloksnelheid in als het een benchmark detecteert.

Dankzij het standaard op de maximale kloksnelheid zetten van alle processorkernen scoort de Ascend P7 in benchmarks als GFXBench en 3D Mark een stuk hoger. Bij GFXBench constateert Anandtech een stijging van 16 procent, in 3D Mark is dat zelfs 28 procent. Tweakers heeft de score en het inschakelen van alle cores in de benchmarks zoals ze in de Play Store staan kunnen bevestigen; het lukte niet om de aangepaste versies van de benchmarks te draaien.

Anandtech heeft het verschil gemeten door de benchmark uit te voeren onder een andere naam, waardoor de software de benchmark niet meer herkende en dus de optimalisatie niet uitvoerde. Huawei zegt in een reactie dat de processor verschillend reageert op verschillende situaties en claimt dat het gedrag bij 'de meeste toestellen op de markt' voorkomt.

De optimalisaties maken niet veel verschil. De combinatie van de op 1,8GHz geklokte Cortex A9-quadcore en de relatief oude Mali 450-gpu maakt dat de Ascend P7 zelfs met de optimalisaties in beide benchmarks een stuk minder scoort dan toestellen van andere fabrikanten.

Vorig jaar bleek dat veel smartphonemakers zich met deze praktijk bezighielden, maar inmiddels zijn vrijwel alle fabrikanten daarmee gestopt volgens Anandtech.

Ascend P7

Moderatie-faq Wijzig weergave

Reacties (110)

Tijd voor andere benchmarks dan maar... Benchmarks zouden eigenlijk real-world usage moeten tonen, niet ruwe specs.
Een benchmark zou ze alle twee moeten testen. Weten hoeveel kracht je werkelijk hebt, en wat je onder normale omstandigheden kunt gebruiken kan alle twee nuttig zijn.
Wat hebben benchmarks dan nog voor nut ? Voor doorsnee real-world gebruik maakt die 0.2 Ghz nauwelijks uit ... maar toch kopen mensen om die reden ...
Juist. Overigens ook interssant te weten dat Chinese clone bouwers nagenoeg exacte kopieen maken van toptoestellen die slechts te zijn herkennen onder de motorkap. Ze kunnen zelfs benchmarktesten faken waardoor het toestel echt lijkt. Antutu schijnt dus bijzonder makkelijk te omzeilen te zijn met wat software trucs.
De grote Chinese A merk fabrikant Xiaomi (ook populair bij de Chinese kloonbouwers) heeft zelfs een speciale app uitgebracht waarmee je kunt zien of je een echt toestel hebt of een kloon, juist omdat de klonen exacte delfde benchmarks geven als de echte.

Linkje naar Xiaomi test app:
http://en.miui.com/thread-29652-1-1.html
Je product op maximale snelheid laten lopen is vals spelen?
Wel als je het niet vermeld en het alleen gebeurt bij hele spcifieke situaties zoals het alleen doen in 2 applicaties. Je wilt met benchmarks weten wat wat het toestel doet bij normaal gebruik.

Dit is hetzelfde als dat bijvoorbeeld BMW zijn auto speciaal aanpast zodat het alleen zuinig is op de testbank maar in dagelijks gebruik veel slechter doet. Helemaal wanneer andere auto fabrikanten dit niet doen. Dan creer je een scheef beeld wat de indruk wekt dat hij zuinig is.
Ik wil met een benchmark weten wat het toestel kan, niet wat het onder normaal gebruik doet. Eigenlijk je naast een score voor prestaties, ook een score voor gebruikte energie moeten zien.
Redelijk offtopic, maar de waarden die in Nederland zijn toegestaan om te gebruiken in folders voor auto's zijn in "gecontroleerde omgevingen" en binnen tot stand gekomen. Dus rijwind en andere natuurlijke weerstand wordt niet meegenomen.
Maar dat maakt ze alsnog wel vergelijkbaar onderling want die gecontroleerde omgevingen gelden voor alle auto's die die test ondergaan, en dat is hier dus niet gedaan. Voor het "eerlijk" testen moet je de condities voor allemaal gelijk houden, anders zegt de benchmark niets meer en is het meer een populariteits wedstrijd geworden.

Want als alle fabrikanten het doen dan zijn de zuinige auto's nog zuiniger. Maar nu doe je alsof je zuinig bent maar je bent het niet, je maakt alleen de condities zo dat het lijk alsof je zuinig bent.
JUIST!, en alle telefoons zouden dus op 100% moeten draaien net als deze Hauwei, want dat is wat er normaalgesproken gebeurt als iets gebenchmarkt wordt, en ZO wil IK het zien, niet andersom.
wel als het alleen op een benchmark gebeurt.
want bij andere toepassingen gebeurt het niet.
Benchmark = ijkpunt = meestal de maximale meetpunt. Dus ik weet niet waarom iedereen de benchmark van verschillende telefoons niet eerlijk noemt. Ik vind het juist goed dat fabrikanten dat doen, zo weet je wat de maximale prestaties zijn van een toestel. Eigenlijk moeten alle fabrikanten dat doen.
Maar het zijn maximale prestaties waar je als gebruiker niets aan hebt omdat ze in het dagelijks gebruik niet haalbaar zijn, want dan ligt de focus ineens op batterij gebruik.

Want wat je krijgt is dan:

- cpu test: overclocken cpu, batterij niet relevant
- gpu test zelfde
- batterij test, alles naar beneden halen zodat je 40 uur batterij gebruik haalt.

Volgens jou zou dit dan de ideale telefoon zijn, extreem lang batterij verbruik en beste performance.
mensen begrijpen jou nog steeds niet. >.<
heel simple maximaal is iets wat je ook gaat halen toch?
de maximaal is iets wat je 100% haalt wanneer je spelletjes speelt of wat dan ook.
wat huawei dus doet is een soort 110% maken wat ALLEEN gebeurt met BENCHMARK maar verder dus ook niet,
dus wat heb je aan die 110% als het NOOIT gehaald woord?

lees vooral de grote letters maakt het alleen maar duidelijk...

trouwens samsung was een tijdje om deze reden ook bestraft bij hun!!
bron:http://tweakers.net/nieuw...g-en-htc-smartphones.html

[Reactie gewijzigd door raro007 op 21 augustus 2014 17:11]

Een processor kan *NOOIT* op 110% draaien. Harder dan het maximale kan niet. Fysiek onmogelijk. Processors worden door de fabrikanten altijd getest want niet elke soc behaalt hetzelfde vermogen. De QualComm 801 is beschikbaar in verschillende snelheden..

Maar een benchmark is bedoelt om het maximale uit jouw configuratie te halen. Het heeft immers geen zin een Porsche te gaan testen in de file. Dus ik hou de telefoon aan de opladen (dus verbruik is geen issue meer) en ik wil gewoon dat de software op mijn toestel op dat moment gewoon het maximale kunnen halen. Blijkbaar kan dat standaard niet.. (want anders zou deze truc niet werken)..

Dus bij Huawai gaat de processor niet van 100 naar 110, maar juist van 90 naar 100%. Mijn ultrabook is (standaard profiel) aangesloten op het lichtnet sneller dan wanneer deze puur op de accu draait. Logisch, want dat is energiebeheer belangrijk. Maar tijdens benchmarken zorg je ervoor dat alle energie besparen functies uitstaan, want je weten wat het maximale vermogen is. Dat je die snelheid in de praktijk niet haalt is een heel andere discussie. Mijn auto haalt volgens fabrieksopgave ook 250+km/u. Maar die snelheid heb ik in de dagelijkse praktijk (in Nederland) nooit gehaald.

Een benchmark is gewoon plankgas kijken hoe hard je kan. Als je kijkt naar overklok wedstrijden is dat ook daar gewoon het doel. Er zijn zelfs verschillende forums waarin gebruikers hun toestel overklokken.

De vraag is alleen of de standaard lagere snelheid vanuit Android komt, of door een toevoeging van de fabrikant aan android. Als het laatste het geval, is wel 100% toestaan bij een benchmark valsspelen. Is de standaard underclocking een Android Feature dan noem ik dat minder snel vals spelen..
Harder dan het maximale kan niet. Fysiek onmogelijk.

Dat heet overklokken.

CPU's hebben geen maximale kloksnelheid. Kwestie van het kristal en voltage wat oppompen, en de CPU loopt harder. Dat is gewoon harde fysica.

Uiteraard zal die dan op termijn stuk gaan of vastlopen, en dat is het probleem hier dan ook.

Vgl met een automotor. Meeste moderne mototmangements schakelen zodra je qua toeren in het rood komt de brandstof automatisch uit als bescherming van het motorblok. Huawei doet dat echter nu bij de benchmark even niet en weet daardoor nťt een paar pk meer te scoren.
GFXBench en 3D Mark zijn geen benchmarks die het dagelijks gebruik meten. 3DMark meet vanaf begin af aan op de eerste PC versie de maximale GPU kracht van een videokaart. Dus waarom zou het op een mobieltje opeens anders moeten? Je hebt genoeg benchmarks die dagelijks gebruik van een mobiel simuleren daar zijn GFXBench en 3DMark gťťn van. Dus niet zo raar dat fabrikanten bij specifieke 3Dbenchmarks waarbij de hoogste score de "benchmark" is de toestellen als het ware voor een paar minuten overclocken.
3DMark meet vanaf begin af aan op de eerste PC versie de maximale GPU kracht van een videokaart.
Ja, maar je PC gaat zichzelf niet eerst overclocken om betere resultaten te bekomen. Wat je wel kunt met de GPU en CPU in je PC, is een knoert van een koeler schroeven en de boel overclocken zodat hogere benchmark resultaten effectief (langdurig) haalbaar zijn. Probeer dat maar eens met je smartphone... Het heeft dus totaal geen zin om CPU/GPU op 110% te klokken gedurende de test omdat die waarden in werkelijkheid nooit haalbaar zijn. Al weten we hier natuurlijk niet of ze effectief op 110% gezet worden, maar als reguliere apps die 'maximale' kloksnelheid niet kunnen aanspreken komt het op hetzelfde neer.

[Reactie gewijzigd door dimitrimissinne op 21 augustus 2014 16:51]

Kennelijk is het dus wel mogelijk om tijdelijk even op 110% te draaien dus. Dat lijkt mij een pluspuntje. Mocht de kracht nodig zijn, dan kan het toestel zich tijdelijk (tot enkele minuten) overklokken. Valt wel wat voor te zeggen toch?

Maar om even te reageren op de rest. Wat is het probleem? Iedere pc benchmark meet bij 100% dus waarom is dat op een mobiel platform ineens anders/raar?
Het probleem is dat bij moderne CPU's er geen 100% vaste grens is maar een flexibele grens afhankelijk van temperatuur. De kernen van deze CPU's kunnen niet permanent op hoogste snelheid draaien.

Er is een grens afgesteld door de fabrikant waarbij er een optimum tussen prestaties en levensduur is. Lang op hoge snelheden/temperatuur draaien kan vaak leiden tot schade aan de CPU of randcomponenten.

En verschillende fabrikanten hebben hier verschillen qua bouw van de telefoon, gebruikte voltages, verschillende CPU's, etc etc. Fabrikant A kan wellicht heel lang op 2,8GHz draaien, terwijl fabrikant B maar kort op 3GHz. Daardoor zal bij een echte zware game bijvoorbeeld fabrikant A toch beter framerates etc halen.

Door echter tijdens de benchmark dus de zaak gewoon te forceren op 3GHz lijkt het opeens als B sneller is. Dat is het oneerlijke.

Bij benchmarks hanteert men hier dus een andere grenswaarde dan bij de rest van je applicaties. Dus deze "100%" bovengrens is een andere "100%" dan die jij ooit in echte applicaties krijgt.
Hoezo is dat oneerlijk? Een normale PC CPU doet dat exact hetzelfde. ik zie dus niet in wat er dan precies vals is. Mijn i7 macbook met alu behuizing kan ook veel langer stabiel met turboboost draaien terwijl de standaard clock lager ligt als die van een zelfde i7 voor het windows platform. Mijn benchmark scores liggen echter wel vele malen hoger. En ik vind dit geen oneerlijke vergelijking.
Het probleem is dat bij moderne CPU's er geen 100% vaste grens is maar een flexibele grens afhankelijk van temperatuur. De kernen van deze CPU's kunnen niet permanent op hoogste snelheid draaien.
Tsja dat heeft iedere CPU/GPU niet alleen die van een soc.
Een normale PC CPU doet dat exact hetzelfde

Nee, een Intel/AMD CPU gaat niet boven zijn voorgeprogrameerde termale limieten. Als de temperatuur te hoog wordt wordt er getrottled.

Je namelijk mist wat Huawei hier doet ...

Mijn i7 macbook met alu behuizing kan ook veel langer stabiel met turboboost draaien terwijl de standaard clock lager ligt als die van een zelfde i7 voor het windows platform. Mijn benchmark scores liggen echter wel vele malen hoger. En ik vind dit geen oneerlijke vergelijking.

Exact, maar wat hier dus gebeurd is dat die i7 voor Windows zo afgesteld wordt dat die voor de benchmark, maar enkel voor de benchmark, dus hogere snelheid dan jouw i7 Mac gaat draaien.

Dus jouw voorbeeld als basis nemen, in de benchmark komt de Windows i7 boven de Mac, maar bij normaal zwaar gebruik niet, juist omdat bij echt wereld gebruik jouw Mac hogere termale limieten heeft ingesteld (vanwege betere bouwkwaliteit, koeling, etc).
Waarom zouden ze in het dagelijkse leven niet haalbaar zijn? Lijkt mij dat als een app die processorkracht echt nodig heeft, dat het deze ook kan krijgen. Wat is anders het nut van zo een krachte soc in je telefoon te steken?

Een CPU/GPU moet terugklokken op het moment je de resources niet nodig hebt om batterij te sparen, maar moet omhoogklokken wanneer er voldoende kracht nodig is. In principe zou een benchmark alle situaties moeten testen: zowel real world als syntetish zodat een gebruiker een beter beeld kan vormen.
Eigenlijk zou het juiste van de benchmark netter zijn als die zijn metingen altijd op de hoogste kloksnelheid doet in plaats van dat hij het stukje opwarmen meerekent. En dat is voor benchmarks ook nog eens een supermakkelijke manier om dit "valsspelen" tegen te gaan.
Nee natuurlijk niet, je wilt benchmark die overeenkomt met echte snelheid in de praktijk niet eentje die kunstmatig even hoog word gezet maar in praktijk niet zo gebruikt kan worden. Je wilt gewoon cijfers die overeenkomen met de werkelijkheid.
Nee, je wil een vergelijking of referentiepunt. Dat is letterlijk wat het woord 'benchmark' betekent. Alsof de absolute score van 1 'benchmark'-score ook maar iets zegt over de performance van je toestel. Het enige wat je aan een benchmark-score hebt is dat je kan relateren met andere toestellen. Als het relatieve verschil in de benchmark (ongeacht of bij alle toestellen de cores op 110% gezet worden of juist niet) niet terug te zien is in het dagelijkse gebruik, dan is de benchmarksoftware gewoonweg fout.

Ik ga hier even, heel slecht, weer een auto-analogie boven water toveren.
Als BMW reclame maakt met een zelfverzonnen metric: 'De zuinigste auto, want hij gebruikt maar 2,3 dinosaurus per vierkante ozonmolecuul' dan zal het je aan je reet roesten, want je hebt er niks aan. Als dan Mercedes komt met 'WIj gebruiken maar 1,3 dinosaurus per vierkante ozonmolecuul' dan kan je die rare metric in perspectief plaatsen. Als vervolgens blijkt dat jij met normaal weggebruik 3x zo veel benzine tankt met de Mercedes is of de metric bagger, of Mercedes heeft gelogen.

[Reactie gewijzigd door armageddon_2k1 op 21 augustus 2014 15:29]

Volgens mij spreek je jezelf tegen. In je analogie geef je al aan dat Mercedes gelogen kan hebben, maar hoe zou mercedes dat hebben gedaan? Omdat ze met een gps hebben bepaalt dat ze op een plek zijn waar gemeten wordt?

Het gaat er niet om of je nu kiest voor de hoogste klok of voor normale klok, het gaat erom dat je allemaal dezelfde test omstandhedigen gebruikt. Dat kan zijn de hoogste klok, maar dat kan ook zijn normale instelling, zolang iedereen maar hetzelfde handhaaft.

Om in je auto-analogie te spreken; Er wordt vaak geklaagd dat de verbruik cijfers van autos niet kloppen. Dat komt omdat deze cijfers onder exact gedefineerde omstandhedigen zijn bepaald welke niet geheel met de werkelijkheid overeen komen. Dat wil zeggen, men praat vaak over stadsgebruik, gemiddeld gebruik en snelweg gebruik. Toch is dat gebruik niet overkomstig met hoe iedere autogebruiker hem gebruikt. Maar de cijfers zeggen ten opzichte van elkaar wel wat. Hadden ze nou maar dinosaures per vierkante ozonmolecuul gebruikt dan hadden we niet zo geklaagd, want nu hebben we een bepaalde verwachting door de naam die we er wel aan hebben gegeven.

En persoonlijk denk ik dat een benchmark (uitgedrukt in welke eenheid dan ook) het beste bepaald kan worden op een systeem dat zich niet heeft aangepast speciaal voor de test.
Volgens mij spreek ik mezelf niet tegen. Ik weet niet helemaal waar jou GPS opeens vandaan komt, maar ik bedoelde te zeggen dat als Mercedes volgens precies dezelfde manier meet als BMW en lager rapporteert (wat voor hun gunstig zou zijn), maar dat in werkelijkheid niet is kan het zijn dat ze hun rapportage iets aangepast hebben, of de test gewoon kolder is. Ik gebruik deze analogie om aan te geven aan mad_max234 dat een synthetische test niet veel zegt over de daadwerkelijke prestaties. Het is puur een referentiekader.

Met jouw 3e alinea zeg je precies wat ik ook bedoel. De verbruik-cijfers zijn totaal niet realistisch, maar geven een referentiekader aan. Je kan er wel degelijk uithalen dat een BMW X5 minder zuinig is dan een Toyota Prius.

De gesuggereerde 6+ uur test hierboven is wellicht een veel betere test.
Maar daarom net is het belangrijk dat de cpu zich normaal gedraagt tijdens een benchmark ipv altijd op 100% te draaien. Er zijn namelijk verschillende effecten die ervoor kunnen zorgen dat de ene telefoon al wat sneller moet terugklokken dan de andere, zoals verschil in hitte-spreiding van de behuizing en optimalisatie van het cpu-throttling algoritme. Deze effecten wil je (imho) ook terugzien in een benchmark.
Heel eerlijk, ik vind het ook maar vreemd dit, nou ben ik ook niet zo'n telefoon liefhebber, maar wel een tweaker en ik begrijp hier niets van, natuurlijk wil je bij een benchmark je maximaal mogelijke prestaties zien, dat is immers een referentiepunt en zo kan je de hardware goed vergelijken. Waarom heeft de benchmark zelf niet een optie dan om de energie zuinige modus ook te testen, naast een 100% power benchmark. Ik wil mijn pc alleen maar testen op 100%. En tjah dat is ook verder niet erg boeiend en geeft geen beeld van de werkelijkheid, maar het is wel een refentiepunt voor overclocken of vergelijkingen met andere systemen. Mensen die het nut van een benchmark niet begrijpen en alleen maar "real-world" scores willen snappen denk ik niet helemaal waar een benchmark eigenlijk goed voor is, aan gezien een benchmark sowieso niet een juist beeld geeft van het toestel bij dagelijks gebruik, geld ook voor PC's. Laat ze dan een andere benchmark maken die de zuinigheid of efficientie van je toestel test oid... dat lijkt me nog wel logisch, maar een grafische benchmark, of CPU performance bench MOET gewoon 100% eruit halen wat eruit te halen valt, lijkt me vrij simpel... Ik wil ook als eindgebruiken zelf de mogelijkheid hebben hoe een telefoon met zijn energie omgaat, en als ik alles aan wil hebben moet ie dat ook doen... En deze P7 doet dat dus eigenlijk nooit... alleen bij een benchmark... whatever... mobieltjes.. pff zal er altijd een hekel aan blijven houden.

[Reactie gewijzigd door BruT@LysT op 21 augustus 2014 17:13]

De fout is dan ook te spreken over 100%. Het probleem is niet dat Huawei de CPU op 100% laat draaien, maar overklokt tot snelheden die indien ze in dagelijks gebruik toegepast werden tot schade aan de CPU leiden.

Een van de problemen die CPU's hadden in de steeds verdere race naar hogere kloksnelheden is dat ze heet werden. Dan liepen ze vast of erger gingen gewoon kapot na verloop van tijd.

Daarom hebben CPU's tegenwoordig flexibele kloksnelheden die de CPU zeg maar naast de gewone verhouding batterij vs snelheid, ook rekening houden met de temperatuur waarbij de zaak schade oploopt. Je mag niet te lang op te hoge temperaturen draaien.

Wat Huawei doet is deze tijdens de benchmark andere limieten toepassen dan tijdens gewoon gebruik. Dus zou jij een zware game spelen zou jij minder CPU beschikbaar hebben, dan in deze benchmark.

Dat is het oneerlijke hier.
Tja, dat ligt er maar aan. Als de ene telefoon begint terug te clocken op 100% omdat ie te warm wordt en de ander niet, dan is dat iets wat ik graag wil zien.

Als de benchmark de CPU op 50% laat draaien en alles is perfect, maar je draait er, in normaal gebruik, 1 game die 50% pakt en een paar apps ernaast die ook 50% pakken dan gaat het al volledig mank en ben je teleurgesteld omdat ie opeens terug begint te clocken.

Een stress-test geeft IMHO meer informatie dan een normaal gebruik test. Een combinatie is altijd beter, omdat je dan die effecten juist mooi ziet.

[Reactie gewijzigd door armageddon_2k1 op 21 augustus 2014 16:47]

vaag verhaal, maar het komt er op neer dat in dit geval de benchmark software niet bepaald hoe je CPU draait (en dat ook niet kan), maar gewoon net zoals alle andere software de op dat moment actieve instellingen gebruikt (cpu governer etc).

Als er dan enkele fabrikanten -alleen voor benchmarks- andere instelligen pakken, dan kan je natuurlijk nooit een eerlijke vergelijking maken.

Een (normale) app kan helaas niet afdwingen welke governer er op dat moment wordt gebruikt, dan zou dit probleem kunnen voorkomen (tenzij dit nog eens extra overruled wordt in de firmware).

helaas kan de benchmarksoftware dus niet aangepast worden om dit te voorkomen. Je kan dus niet zeggen dat de benchmark software fout is.

Dus om eerlijk te kunnen vergelijken moet iedereen het wel of niet doen, en dan liever niet, want dan heb je als extra voordeel dat het meer overeenkomt met de werkelijkheid, zoals mad_max234 ook aangeeft
Ik geef ook aan dat of alle telefoons het wel doen of niet, omdat je anders inderdaad slechte samples er tussen hebt zitten. Mijn reactie op mad_max234 is dan ook op de indruk die hij wekt dat hij cijfers wil die overeenkomen met de werkelijkheid. Dat suggereert dat je met die test 1 telefoon kan testen zonder vergelijk en je dan weet hoe ie in de werkelijkheid performed. Daar is zo'n test niet geschikt voor, omdat het een synthetische benchmark is.
Ik ben het dus volledig met je eens.
Misschien wordt het dan tijd om een benchmark-batterijtest te doen: laat de benchmark ~6 uur draaien (totdat de telefoon het begeefd) en neem dat mee in de testscore. Dan houden die fabrikanten hier snel genoeg mee op :)

Maarja, niemand heeft zin om 6 uur op een benchmark te wachten, helemaal niet als je telefoon daarnaa leeg is.
Hoezo niet? Van een professioneel telefoon tester mag je dat toch best verwachten. Het is een bijzonder zinvolle test case.
Er is meer dan soc alleen wat stroom trekt, welke deel ga je toekennen aan de soc en verwerken in de prestaties van die soc?

En 6 uur benchmarken is toch niks, leg ding neer en gaat iets anders doen, desnoods schrijf je even script zodat je het kan aansturen zonder dat je erbij bent.
Wat is er mis mee om rekenkracht aan te passen op de toepassing? Het gaat uiteindelijk toch om de ervaring? Je wilt de gebruiker en vlotte UI laten zien, tegen een zo laag mogelijk verbruik.

Logisch dat je alle registers optrekt als het gaat om benchmarken, veelal een stress test waarbij je toch geÔntersseerd bent in de peak performance.
Of ben ik dat nou..?
Precies mijn gedachten. Het probleem hier is alleen dat de telefoon zich helemaal naar de top gooit voor deze benchmark, terwijl een andere telefoon dat niet doet, wat weer een oneerlijk beeld geeft (dat deze telefoon in theorie sneller is dan een andere maar in werkelijkheid niet).

Het is of alle telefoons of geen telefoon.
meningen verschillen, maar als ik 3D mark draai clocked mijn i7 en R9 290 ook ineens naar de maximum speeds. Vals spelen is (naar mijn mening) als je de 3D berekenen aanpast zodat ze minder zwaar berekend worden en dus meer frame kunnen uitpersen.

Maar voor mobiel schijnen er dus andere richtlijnen te gelden
Nee, als je het op die manier zegt niet. In dit geval is het valsspelen, omdat er blijkbaar in de code staat geschreven dat als specifieke benchmarks gaan draaien, alle processorkernen op 100% geschakeld moeten worden. Het zou fabrikanten sieren als ze dit soort functionaliteit beter beheersen door bijvoorbeeld te detecteren of er veel CPU of GPU kracht nodig is en dat dan naar behoren opschroeven. (En dus niet selecteren op applicatienaam o.i.d.)

[Reactie gewijzigd door skaars op 21 augustus 2014 14:58]

De test zelf zit verkeerd. Het doel is de maximum performance te meten, maar de test is zo kort dat als de processor begint in energiebesparende modus, dit een meetbaar effect heeft op de "topprestaties".

Huawei speelt niet zozeer vals maar zorgt ervoor dat de weergegeven cijfers wel degelijk de maximumprestaties weergeven die het toestel levert terwijl de concurrenten in meer of mindere mate gehinderd worden door hun eigen powersavingfeatures.
Dat is ťťn manier om het te bekijken, maar als je een wagen koopt die 120 moet kunnen rijden, en hij doet maar 60, tenzij je op circuit rijdt dan weet ik wel wie er een verdraait beeld geeft.
Hij doet helemaal geen 60 buiten een circuit. Huawei kan een processor niet krachtiger maken in een benchmark dan-'ie is, en omgekeerd gaan ze hem buiten benchmarks niet met opzet minder krachtig maken dan hij aankan.

Dus zeg liever: je koopt een wagen die 120 moet halen, en die wagen haalt inderdaad 120, maar het testcircuit van AutoWeek is te krap om de topsnelheid te halen en dus gebruikt de wagen GPS om het testcircuit te detecteren en de gear ratios aan te passen ten koste van het verbruik om zo de topsnelheid van 120 te halen voor het einde van de baan.

Eerlijk tegenover de concurrentie? Neen, maar het probleem is dat de test niet meet wat hij moet meten en negatief wordt beÔnvloed door de aanwezigheid van een andere (gewenste) feature. Fix de test of laat toe dat de concurrentie hetzelfde doet en moge de snelste CPU winnen - toch wel de bedoeling van een CPU-benchmark.


Edit: volgens het gelinkte artikel (maar niet terug te vinden in het artikel van Tweakers) zou Huawei daarnaast ook overklokken. Da's natuurlijk wel valsspelen.


Edit: WAAROM DE FUCK IS DIT SPAM

[Reactie gewijzigd door Enai op 21 augustus 2014 16:04]

Het is zoals je zelf aangeeft niet 100% of 50% maar 120% of 90%. Door te overclocken nemen ze risico's om beter eruit te komen dan ze maximaal kunnen pushen. Als je echt eerlijk wil zijn, maak er dan een optie voor. OC als optie, fair enough, en tweakers zullen je toestel kussen.
Niet helemaal waar, zoals in het gelinkte artikel te zien is wordt de GPU voor 10% over geclockt wat volgens hun in echte applicaties nooit behaald wordt. En alle 4 de cores worden standaard aangezet bij een benchmark. In tegenstelling tot de 3 cores die maximaal gebruikt worden bij een omzeilde versie van de benchmark.
Dit houdt dus in dat er 1 extra core, voor een totaal van 4 cores, gebruikt wordt tijdens de test terwijl bij normale benchmark hij niet meer dan 3 cores gebruikt. Dit is wel degelijk valsspelen in mijn ogen!
Ik heb het artikel inderdaad niet gelezen omdat ik er vanuit ging dat Tweakers een kwalitatief nieuwsmedium was en dus alle belangrijke informatie zelf zou brengen.

8-)

Nu, als Huawei overklokt dan is dit inderdaad valsspelen. Maar het feit dat alle cores op topsnelheid draaien - overigens was dit ook waar het vorig schandaal over ging - is volgens mij geen enkel probleem en wellicht was de reden waarom Anandtech hier zo tegen tekeer ging het feit dat hun testmethode als inadequaat werd ontmaskerd.
Dat van die cores is inderdaad geen probleem, mits deze voor andere applicaties en in de normale benchmark waar niet op "valsgespeeld" wordt ook zou gebeuren. Nu is er een verschil van 1 hele core te bespeuren wat toch duid dat er ergens in de programmeren van de cores ingesteld staat dat hij bij zware applicaties er 1 niet gebruikt.

Op zichzelf niet gek als er 1 core gereserveerd zou zijn voor het OS, maar als deze core toch stiekem door de benchmark gebruik wordt tijdens het valsspelen kan ik tot prestatieverschillen leiden.... Niet helamaal netjes toch :9
Mijn eerste gedachte ook. Als Azie nu standaad deze methode gebruikt voor het 'e-peen' gehalte (sorry, maar het is maar een cijfer, maar mensen geilen blijkbaar op zulke cijfers), zie ik het probleem niet echt.

Maar is er geen stukje android software die dit zelf ook kan? Ik had zelfs op Windows Mobile al een programma die mijn CPU snelheid kon aanpassen.

[Reactie gewijzigd door SinergyX op 21 augustus 2014 15:21]

ik dacht altijd dat een benchmark je toestel moest testen op wat het toestel maximaal aankan of zit ik nou verkeerd :?
Als ne dat doet bij de cpu, gpu en batterij heb je wel de ideale telefoon, beste performance van alle toestellen en de beste batterij duur van alle toestellen. In het dagelijks gebruik merk je alleen dat het niet het beste toestel is en dat de gemeten waarden nooit gehaald zullen worden. Dat maakt zo'n test waardeloos.
aah dus de benchmarks zijn eigenlijk prestatie test onder dagelijkse omstandigheden zonder overclocking enz.
danku
Nee, een benchmark heeft een bepaald doel voor ogen, zo kan je benchmarks hebben die gebruikt worden om bijvoorbeeld overclock prestaties te meten. Maar dan moet je die gemeten waarden niet gaan vergelijken met een benchmark die de hardware onder normale condities meten. Elke benchmark heeft een bepaald doel voor ogen en zet daar de condities voor neer, je moet je wel houden aan de condities.
hartelijk dank voor de verheldering _/-\o_
Precies! En dat ongeacht de batterijduur.
ik dacht altijd dat een benchmark je toestel moest testen op wat het toestel maximaal aankan of zit ik nou verkeerd :?
Precies en daarom is het valspelen want het toestel kan natuurlijk niet constant zijn 4 kernen op volle kracht laten draaien. Dat is dus valspelen.
Huawai schaart zich dus in het (aziatische) rijtje van:
  • -Samsung
  • -HTC
  • -LG
  • -Asus.
Die eerder valsspeelden.

Eerder in een review bleek ook al, dat de kirin soc ook al -10dB minder bereik heeft dan qualcomms.

Ik blijf liever bij westerse merken.
(al maken die ook gebruik van oosterse componenten)

[Reactie gewijzigd door nul07 op 21 augustus 2014 15:01]

Westerse merken? Of verwijs je alleen naar je iPhone :p
Je hebt Nokia, Blackberry, Motorola, Apple, Vertu, Porsche Design, Google en anderen die allen in Europa of Noord Amerika gevestigd zijn.
Blackberry zie je niet echt in de benchmarks meer en heeft ook nooit gemikt op high performance.
Maar Nokia was ik totaal vergeten en Motorola begint inderdaad ook terug op te komen.

Blijft een beetje een dom zinnetje in zijn comment: "ik blijf liever bij westerse merken"
Zoals de Amerikanen die bij hun merken zweren voor auto's en dat zijn redelijk crappy auto's :p
Blackberry mikt op een suprieure gebruikservaring. En niet op specs natuurlijk.

Wel is het zo, dat de nieuwste Snapdragon, of een nieuwste eigen ontwikkelde chip (zoals apple doet) niet in Blackberries vlaggenschepen te vinden zijn. Dit door de focus of veiligheid, betrouwbaarheid en software.

Maar in het segment onder de 200 euro,
Is de Z10 samen met de sony xperia SP, praktisch de enige telefoon die met zijn prestaties 30% meer cpu kracht biedt dan de vele snapdragon400 telefoons.

Ook Motorola, biedt een paar bijzonder fijne toestellen, met meerwaarde boven de gemiddelde smartphones. De G biedt redelijke prestaties voor weinig. De X heeft buitengewoon goede softwarefuncties, en de maxx is van goede materialen en is zuinig en heeft daarnaast een goede batterij.

Ook bieden Lumnia's gewoon een goede kwaliteitservaring met hun windows phone, hebben ze toestellen met onderscheidende functies. en produceerde nokia tot voor kort in de EU.

Ik denk dat je van alle genoemde merken kan zeggen dat ze met aandacht, kwaliteits producten leveren. Die vaak meerwaarde bieden boven een willekeurige generiek android toestel.

Ook Apple,Porsche Design, vertu design. Bieden goed afgewerkte telefoons.

Wat mij betreft is het dan ook moeilijk om hard te maken dat westerse telefoons te vergelijken zijn met 'crappy' auto's.
Volkomen gelijk. Ik wou ook geen vergelijking maken van westerse gsm met crappy auto's. Gewoon dat de uitspraak me aan de amerikanen doet denken en met bij hun eigen producten blijven zelfs al zijn het minder goede producten, zoals bij de auto's :p
Beetje kort door de bocht zo een opmerking ;-).
Niet omdat ze iets met de software doen voor betere benchmarks te krijgen dat ze minder goede telefoons maken. Zelfs hardware is zelfde hardware.
En vermits Japanse en Z-Koreaanse merken normaal een goede kwaliteit hebben.

Doe dat zinnetje weg en je krijgt ook de +2 van mij :p
Of lumia :). Maar je hebt gelijk, westerse merken zijn schaars
foutje, reactie op verkeerde :P

[Reactie gewijzigd door SinergyX op 21 augustus 2014 15:20]

Jouw goed recht om Westers te blijven, als je je zo drukt maakt op een paar cijfers. Vraag me ook af of je zulke ~10% verschillen in maximale benchmarks ooit in de praktijk zult merken.
10% benchmark verschil maakt niet zoveel verschil.
Het operating systeem maakt meer uit in de gebruikerservaring. Ook daarin bieden westerse bedrijven meer diversiteit dan de aziaten.

Ook zie je bij veel westerse merken, dat zij vaker met meer zorg voor natuur en mensenlevens produceren*, of duurzamere keuzes maken in materiaalkeuze en software ondersteuning van hun toestellen.

Ik maak me niet zo druk om die cijfers, ik heb liever apparaten die een goede gebruikservaring geven, dan een merk dat moet manipuleren om haar 'prestaties' wat te laten lijken.

*
• Apple produceerd benzeenvrij, beschermt werknemers, odersteund zijn toestellen ~4 jaar lang met updates, gebruikt in het komende toestel duurzaam saffier glas.
• Nokia produceert in de EU, in hongarije, dus onder nette arbeidsvoorwaarde en zonder gebruik zware chemicaliŽn.
• Blackberry ontwikkeld in Noord Amerika, produceert in mexico, of lokaal.
• Vertu ontwerpt en bouwt in het VK onder zeer goede arbeids omstandigheden.

[Reactie gewijzigd door nul07 op 21 augustus 2014 16:10]

Apple produceerd pas sinds kort benzeenvrij! Nadat ze zovaak in het nieuws zijn gekomen en dit geldt alleen bij de eindassemblage. Wanneer de telefoons in principe al gereed zijn en nog maar gepoetst hoeft te worden met chemicaliŽn om ze vervolgens in doosjes te stoppen.

Nokia, Blackberry etc. outsourcen net als alle andere merken hun productie (gedeeltelijk of geheel) naar AziŽ, correct me if I am wrong maar Nokia heeft geen enkele fabriek meer in Europa (http://www.theverge.com/2...ly-asia-european-job-cuts). Vertu is een vreemde eend zij verkopen toestellen voor een paar duizend euro's dan is het niet zo gek dat ze gewoon in de VK kunnen produceren.

En tot slot noem je Porsche Design, zij doen slechts het "uiterlijk met premium merkwaarde" verkopen aan BlackBerry, in principe zijn ze dus geen officiŽle telefoonfabrikant of merk.

[Reactie gewijzigd door YaniSuN op 21 augustus 2014 20:01]

Apple's zorg voor mens en natuur zit hem niet alleen in de assemblage, maar in het gehele proces bij apple. Apple komt daardoor vaak als beste uit diverse 'faire' benchmarks, of als beste na het Nederlandse fairphone.

Voor zowel Nokia en Blackberry wil ik je best corrigeren. Ook na je bericht van 2012 heeft nokia diverse toestellen gemaakt in hongarije(EU) zoals de nokia-x

Blackberry, maakt haar high end toestellen allemaal in Mexico, de Z10,Q10,Z30 en passport zijn in mexico gemaakt. Alleen het budget toestel voor de Indonesische markt wordt daar lokaal gemaakt.

Maar ook voor alle westerse merken, geldt dat er altijd wel diverse zaken zijn die beter kunnen in de productie.
Dit is niks nieuws, heel veel android toestellen doen dit..
maar erg netjes staat t ook niet

[Reactie gewijzigd door makkie88 op 21 augustus 2014 14:48]

Precies, als iedere telefoon dit doet in de benchmarks is er uiteindelijk toch geen verschil. Het is alleen dat je in de praktijk die performance nooit gaat krijgen.
Ik snap de commotie niet echt... Is het doel van een benchmark niet juist te testen wat het maximaal haalbare is uit een stukje hardware? Als ik 3dmark op de PC draai... dan draait mijn nvidia videokaart ook op full throttle om een zo hoog mogelijke FPS te genereren? Dat is toch juist heel het idee achter een "benchmark"??

Maar aan de andere kant snap ik het probleem ook wel weer. smartphones worden i.v.m. warmte en accu verbruik terug geschaald om binnen een bepaald verbruik te blijven. hierdoor zullen ze dus tijdens normaal gebruik nooit deze performance halen.

Ik vraag me echter wel af wat je aan 4 cores hebt... als deze bij een niet te herkennen benchmark niet eens worden ingeschakeld als het wel gevraagd wordt. Dat betekend dus dat je er weinig aan hebt en deze cores dus nooit allemaal gebruikt worden tijdens dagelijks gebruik

[Reactie gewijzigd door sygys op 21 augustus 2014 16:00]

Volgens mij zijn er 'real life' benchmarks waarin bijv de CPU niet op 100% draait om de accuduur te verlengen. Hier wordt dan in vals gespeeld.

"Dat betekend dus dat je er weinig aan hebt en deze cores dus nooit allemaal gebruikt worden tijdens dagelijks gebruik."

Je zult ze niet gebruiken bij dagelijks gebruik, wel bij intersieve taken. Maar de benchmarks waar vaak in vals gespeeld wordt zijn dagelijks gebruik benchmarks, niet de intensieve taken (waar ze toch al op 100% draaien).

[Reactie gewijzigd door Daan87423 op 21 augustus 2014 16:10]

Maar als het goed is zou de telefoon bij zware belasting toch wel op (bijna) 100% moeten draaien. Anders kun jij bepaalde software (vooral games dus) niet draaien als je altijd op 25% zit.
Juist niet, het maximaal haalbare wordt juist niet getest omdat in de praktijk niet alle 4 de cores op max zullen draaien.
Het toestel zet de vier processorkernen altijd op de maximale kloksnelheid in als het een benchmark detecteert.
EHhh is dat niet logies dan, het is toch de bedoeling dat je het meeste uit je Apparaat krijght, en dat kan alleen als de CPU de vier processorkernen op de maximale kloksnelheid zet als je een Benchmark draait.

En bij genoeg Android Apparaat kan je in de Settings de Prestaties op Energiebesparend of Gebalanceerd of Prestatie zetten, en dat kan gewoon op alle Huawei telefoons en ook op de OnePlus One en veel andere telefoons.

[Reactie gewijzigd door AmigaWolf op 21 augustus 2014 17:36]

Niet per se. Als er bij huawei eventueel niet zo goed geoptimaliseerd is wanneer de soc harder moet gaan lopen en wanneer deze rustig terug geklokt kan worden dan kan dat negatieve effecten hebben op de reallife performance van het apparaat. Omdat het apparaat echter als deze een benchmark detecteert ineens op volle toeren gaat draaien dan merk je dat niet op, het heeft dan ook weinig meer te maken met reallife performance.
Sinds wanneer zijn die Android benchmarkscores uberhaupt een goede representatie van de real life performance? Voor zo ver ik weet is het enige doel van die benchmarks het vergelijken van de kracht van de CPU's en GPU's (en daarnaast soms ook nog de snelheid van het flashgeheugen en de SD kaart) van Android telefoons. Goed vergelijken zal toch nooit mogelijk zijn, aangezien de telefoons ook weer allemaal met verschillende skins en andere troep die standaard is geinstalleerd komen.
Wanneer worden dit soort oplichterspraktijken nou eens aangepakt. Maar bovendien vetwacht je dat na eerdere gevallen een fanrikant niet meer zo stom zou zijn. Je weet immers dat het uitkomt, en dat is geen goede reclame.
Dit is niks nieuws, heel veel android toestellen doen dit..
maar erg netjes staat t ook niet
IMO ligt het probleem ook niet bij de fabrikant maar bij de benchmark testers.
De benchmark resultaten zijn IMO zinloos zeker omdat er meestal maar een applicatie loopt. I.p.v. vele op een standaard toestel, daarom zal een device met weinig RAM in een benchmark nog snel zijn maar in de praktijk niet.

Zie bijvoorbeeld superPI etc op CPU of single core waardes IMO helemaal zinloos. Je hebt buiten idle nooit maar een core aktief.
Zo is het.

En wat hebben we eigenlijk aan benchmarks die weinig zeggen over de snelheid in dagelijks gebruik? Niet geoptimaliseerde software n bloatware is imho vel vervelender dan een iets verouderde SoC/CPU

Mijn vrouw heeft een p7 en voor 'normaal' smartphone gebruik is het ding gewoon snel. Gamen doe tze niet. Sterker nog, ik vind het een retefijne telefoon, strak, snel, alles ok. Alleen de batterij is wat snel leeg, verder niets mis mee.

Ik vind dat tweakers toch ook eens zou moeten kijken naar de waarde van benchmarks. de snelheid van de cpu in deze aparaten begint zo langzamerhand weinig belangrijk te worden, net zoiets als een smartphone met UHD... dat is overkill en kost alleen maar batterijtijd.

Waar een paar jaar geleden de snelheid van SoC's nog een issue was, zou ik de reviews willen zien mee-evolueren met de hardware en software van deze apparaten. Oftewel: is het scherm overal afleesbaar in plaats van de ppi's, want niemand ziet nog verschil. Of gaat de accu lang mee. Zitten er nuttige, handige en slimme apps op, of is het irritante bloatware? Hoe snel kun je een foto nemen, lukt dat ook van bewegende objecten? Hoe goed is de antenne, kun je een beetje normaal op internet als je geen wifi hebt ergens in een gebouw?

Nouja. Dat soort zaken en allerlei mogelijk zaken die je als eindgebruiker daadwerkelijk gaat merken in het gebruik.
Volgens mijn is het meer deden het? Volgens mijn doen meeste het niet meer en deden ze het maar zeer kort, enkele firmware en volgende update was het vaak alweer weggehaald. Omdat meer kwaad deed dan goed voor de marketing. Mensen die benchmarks opzoeken komen deze berichten ook tegen en denk dat vooral die mensen hekel hebben aan misleidende benchmarks, die zijn juist opzoek naar echte cijfers.
Klopt maar het verschil is wel dat de grote merken er nu net mee gestopt zijn. De nieuwste telefoons cheaten niet of amper.
In mijn ogen is het nooit goed om dit soort optimalisaties door te voeren. Dus moet je dit nooit goed praten welk merk het ook doet. Dat geeft gewoon een vertekend beeld van de werkelijkheid.
Ik word er blij van als hardware fabrikanten zo slim zijn dit te doen.
Als ze de hardware zich constant laten aanpassen om zo maximale prestaties en maximale accuduur in hetzelfde apparaat.

Nvidia heeft ook profiles per applicatie voor je 3D instellingen.

Het kan dus alles te maken hebben met reallife performance als ze ook profiles maken voor zware applicaties.
En dan nog slechte accuresultaten halen ;)

Die hele telefoon is gewoon een grote teleurstelling.

[Reactie gewijzigd door computerjunky op 21 augustus 2014 15:19]

Ik heb deze telefoon een paar dagen in bezit gehad en inderdaad, dit is gewoon een heel matig toestel. Bij het scrollen in de browser is een merkbare lag aanwezig, de kijkhoeken van het scherm zijn ronduit slecht, en het toestel houdt niet lekker vast. Batterijduur heb ik niet uitgebreid getest maar leek inderdaad niet veel soeps.
Dat ik kon ook al uit Tweaker's review van de P7 van een tijdje geleden opmaken. De batterijduur was matig, het scherm matig, het bereik zeer matig (toch de belangrijkste functie van een mobiele telefoon), zelfs WiFi is waarschijnijk matig. Daarom vondt ik ook heel merkwaardig dat het review toch op een of andere manier tot een positief eindoordeel kwam...

Huawei is een zeer trots bedrijf maar heeft nog relatief weinig ervaring met chips voor mobiele telefoons. Toch willen ze, vooral voor hun "flagship" modellen, vooral alleen eigen chips gebruiken. Aan het gebruik van onzuinige Cortex-A9 cores (die al een aantal jaren niet meer in competitieve smartphone SoC gebruikt worden) kon je al zien dan er iets niet klopte. Voor dusdanig slechte mobiel netwerk performance/bereik zouden zelfs de meeste andere Chinese fabrikanten terugdeinzen, maar niet Huawei.

Een opmerking over de Mali-450 GPU: die is helemaal niet zo oud en wel een stuk sneller dan de oude Mali-400 GPU die nog in veel goedkope (maar efficiente/zuinige) chips voor smartphones en tablets gebruikt wordt. Het is alleen zo dat hij geen OpenGL 3.x ondersteunt, wat de nieuwste GPUs wel kunnen.

Overigens zijn veel andere modellen van Huawei wel redelijk goed, waaronder veel goedkopere, veel daarvan gebuiken zuinige MediaTek (overigens een Taiwanees, niet een Chinees bedrijf) chips waar weinig mis mee is.
Als ze het allemaal doen? Dan is het toch geen probleem?

Om Syndrome uit Disney's The Incredibles te quoten:
And when everyone's super... no one will be.
Tja maar gelukkig doen ze het niet allemaal en dus is het niet netjes, men creŽert bewust een vals beeld richting de consument. Een andere reden is er simpelweg niet.
in het artikel staat anders het volgende:
Vorig jaar bleek dat veel smartphonemakers zich met deze praktijk bezighielden, maar inmiddels zijn vrijwel alle fabrikanten daarmee gestopt volgens Anandtech.
Dus het zijn allemaal geen lieverdjes geweest. Dus om er nu zo'n ophef over te maken dat Huawei het nog steeds doet vind ik beetje flauw. Noem dan de namen van alle cheaters ;)
Hmm net de honor 6 gekocht zullen ze dit ook wel geflikt hebben ...

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True