Oppo zegt te stoppen met detecteren benchmarks voor hogere resultaten

De Chinese smartphonemaker Oppo stopt met het detecteren van benchmarks om die app vervolgens zo snel mogelijk te laten draaien. Ook krijgt de software een optie om een Performance Mode aan of uit te zetten.

Oppo zegt in een statement tegen Tweakers dat het niet de bedoeling was om vals te spelen in benchmarks, maar om een score te simuleren die overeenkomt met wat in games gebeurt. Omdat gebruikers daar het scherm veel aanraken, geeft de software de game prioriteit om zo een hogere framerate te halen. Dat gebeurt in benchmarks standaard niet, omdat gebruikers het scherm niet aanraken.

De fabrikant claimt dat de detectie van benchmarks nodig was, omdat het anders mogelijk zou zijn voor kwaadwillende software om veel systeemresources te gebruiken zonder dat de gebruiker iets met die app doet. Volgens Oppo bepaalt de software op basis van tikken op het touchscreen, hitte van het apparaat en netwerkactiviteit hoe snel een game of app mag draaien en hoeveel systeemresources het toegewezen krijgt.

In een toekomstige update krijgen Oppo-telefoons bovendien een optie voor een Performance Mode, zodat gebruikers zelf de modus om optimale prestaties te halen kunnen aan- of uitzetten. De maatregelen lijken op wat Huawei heeft beloofd, nadat het betrapt werd op valsspelen bij benchmarks.

Oppo gaf vorige week toe dat het benchmarks had gedetecteerd en de software daarop had aangepast. Tweakers besloot daarop de benchmarkresultaten weg te laten uit de Find X-review die maandag online ging.

Benchmark met interne Oppo Monitor-app

Reacties (36)

Wat boeien benchmarks nog tegenwoordig? Ja het geeft een leuke indicatie, waar is deze chipset toe in staat, maar dat is ook alles. Het gebruikte geheugen, en de software zijn veel belangrijker naar mijn mening. Er is ook echt wel verschil in snapdragon 845 toestellen bijvoorbeeld, een oneplus 6 is sneller als de galaxy s9 met dezelfde soc. In benchmark resultaten zie je dit vrijwel niet terug.

En dan heb je nog crossplatform benchmarks, die helemaal niets zeggen. Weer de oneplus als voorbeeld, op veel vlakken sneller als de iphone x, echter sloopt de iphone x de oneplus in geekbench, vooral op single core. Wat heb je dan aan die geekbench, als je wilt kijken hoe snel je telefoon is?

Je bedoeld die zogenaamde speedtests van youtubers?

Dat is helemaal niet hoe een telefoon gebruikt word en vind t ook raar dat mensen dit soort tests echt bekijken of als real life benchmark zien.

Ik vind dat Gary heel goed uitlegt waarom die zogenaamde speedtests zo vreselijk flawed zijn.

https://m.youtube.com/watch?v=W68nuVxOXaE

[Reactie gewijzigd door RomeSDS op 25 oktober 2018 11:30]

Die speedtests vind ik vaak ook debiel. Heb je filmpje nog niet bekeken, maar ga er van uit dat het ook gaat over de 4k video editing die ze vaak doen in speedtests. Niemand doet dat op zijn telefoon. Echt niemand.

Nee ik heb het meer over, open instagram / whatsapp / cnn.com 10 keer, kijk naar de gemiddelde tijd die het kost. Dat zijn echt reallife testen. Veel youtubers openen echter 12 games en gaan daar conclusies aan ophangen ja.

Ik ben t verder wel met je eens dat benchmarks vooral voor normale consumenten geen donder uitmaken. Snap ook niet waarom fabrikanten hier zo vreselijk op inhameren.

Wat betref de speedtest zelf en dat is ook wat gary uitlegt. wanneer jij bijvoorbeeld je telefoon gebruikt en je opent Facebook. De rede waarom dat je hem opent is om er wat op te doen neem ik aan? Dat is dus de achilleshiel van die speedtests. Ze openen alleen apps zonder er überhaupt iets mee te doen en dat is geen real life gebruik. Als ze dit echt willen testen zouden ze dus app moeten openen, de app ook gebruiken en dan terug naar homeacreen en dan weer een andere app openen en die weer gebruiken. Dat zou een real life benchmark kunnen zijn.

Toch is het openen van WhatsApp ook geen echte benchmark aangezien de applicatie door twee verschillende teams op twee verschillende platforms ontwikkeld wordt. Als de Android app routine X als boot sequence gebruikt en iOS routine Y dan kan iOS sneller lijken terwijl het een software optimalisatie issue is. Bijvoorbeeld de ene app laadt een klein rijtje met de laatste tien chats direct in en de andere die trekt het iedere keer over het netwerk of uit een grote database. Opslaan en restoren van views kan onder iOS, maar kan het onder Android ook? En zo ja is het dan wel of niet geïmplementeerd?

Ook gebruikt Facebook enorme libraries om de meest simpele dingen te doen. Ik ontwijk hun libraries dan ook als het even kan omdat het gewoon te zwaar is. Wil je echt tientallen MB's aan code inladen bij iedere app start alleen voor Facebook authenticatie? Ik gooi dat tegenwoordig maar in een webview aangezien je het maar één keer nodig hebt en de ervaring met de native FB libraries ook echt een totale break is met je eigen applicatie.

Als je één keer onder iOS gebenchmarkt hebt wat je applicatie starttijden zijn en wat de oorzaken zijn dan blijf je echt weg van het onnodig inladen van onnodig grote libraries.

[Reactie gewijzigd door BikkelZ op 25 oktober 2018 13:38]

Toch ben ik van mening dat deze er in moeten blijven, Zo zijn er vast wel youtubers die vloggen met de smartphone en het hier ook op editten omdat ze er misschien niet veel poespas ana toevoegen om dat het een ding is naast de main content. zo ken ik er sowieso al 1 die het zo doet. Deze persoon doet het dna wel in 1080P en geen 4K, maar het gebeurt dus wel.

Het zou dus wle handig zijn hier wat nummers van te laten zien.

Daarnaast vind ik speed test ook ronduit achterlijk. Het gaat mij er echt niet om of mijn SD 650 5 seconde sneller is dan de SD 650 in een andere telefoon. Een telefoon word doorgaans niet gebruikt als een workhorse, dus reviews die alles benoemen waar een telefoonvoor gebruikt word, en hun ervaring en mening er overdelen, en misschie nene klein segment gebruikt om de performance te bespreken is het prima.

Daarnaast zal de Razerphone altijd sneller voelen door het 90 a 120hz scherm.

Als je met een bak ijs onder je telefoon de prestaties kan verbeteren zijn die benchmark lijstjes inderdaad geen reflectie meer van de prestaties voor de normale gebruiker.

Alleen al het feit dat die benchmarks met wat software-aanpassingen misleid kunnen worden geeft iets aan over zowel het produkt als de benchmarksoftware ervoor. Waarom niet de maximale performance per onderdeel benchmarken en aangeven wat fysiek haalbaar is? Dit lijkt meer op de boel doelgericht vertroebelen dan bruikbare informatie verschaffen. (Voor zover het benchmarken van een compleet ecosysteem met onderliggende hardware samen niet per definitie wazige resultaten oplevert waar in de praktijk niemand wat aan heeft)

[Reactie gewijzigd door blorf op 25 oktober 2018 11:55]

Dat is ook omdat de chip evensnel is, maar de skin van samsung zwaarder is dan die van oneplus, waardoor deze sneller aanvoelt. Bovendien in europa heb je de exynos die in benchmarks sneller is en in praktijk, vond ik in elk geval de ervaring wel redelijk gelijk trok met de one plus van een maat van me.

En daar tegen over staat de Pocophone F1 die weer sneller is dan de exynos Galaxy S9. Bron is te vinden in de Pocofone F1 benchmark. TOegegeven is deze niet in elk segment sneller maar wel in de meeste.

Alleen jammer van vrijwel elk ander aspect van de poco natuurlijk...

Om eerlijk te zijn vind ik het best een respectabele telefoon. Ik zit te overwegen deze te nemen als vervanger als mijn huidige Xperia X onverhoops het loodje legt. Helemaal voor ~€350

Als je de xz3 bij Vodafone neemt betaal je er met abbonement +- 500 voor vs sim only en krijg je er nu nog een koptelefoon van 380€ bij.

De pocophone krijgt teveel hype voor wat het is. Uiteindelijk is het een matige telefoon met slechte bouwkwaliteit waar een goede SoC in is gezet.

350 vind ik ook veel te duur. Ik kan me namelijk echt niet voorstellen dat de f1 het 2 jaar gaat redden bij normaal gebruik.

Ik zou eerder de mi 8 se nemen eigenlijk.

tja.. de 350 euro komt door Nederland. In de US is ie 260 dollar.. wat een veel betere prijs is.

En inderdaad, het leuke aan die actie is, je kan de koptelefoon ook later nog aanvragen als je de telefoon vóór de actie heb genomen.. deed een neef van mij ook, kreeg de koptelefoon gewoon toegestuurd. Over het algemeen ben ik zo'n persoon die op het moment dat het nodig is pas gaat kijken wat er zoal is. Daarnaast kan ik bijna mijn T-mobile Go Simonly abbo gebruiken waarbij, als het toch nodig is, je op een later tijdstip alsnog een toestal bij nemen.

Ik zag net nog dat deze koptelefoon actie vna sony ook bij T-mobile loopt.

260 zonder btw in de VS. Met btw zit je alsnog rond de 300.

Deze keer kun je de koptelefoon maar aanvragen tot 2 weken nadat de actie afloopt. En het toestel moet vóór 3 November gekocht zijn geloof ik.

Ik had toch een nieuwe koptelefoon nodig en ik had o.a. deze op het oog. Dus eigenlijk kun je zeggen dat ik de koptelefoon heb gekocht en 150€ bij heb betaald voor de XZ3

Naar mijn idee geeft dit bericht juist cruciale informatie over de software. Informatie die voor mij genoeg is om te weten dat ik het niet wil gebruiken.

Ik ben blij met mijn S9 die watervlug is trouwens

De performance/ prestatie modus van de Huawei Mate 20 Pro komt overeen met wat ik bij de Xiaomi Mi2 zag ruim 5 jaar geleden.

Met een schuifje kun je aangeven of de telefoon harder aan de slag moet. Ik heb dit getest bij twee benchmarks (Vellamo en PCmark). Bij de ene benchmark gaan de scores met zo'n 2% omhoog en bij de andere benchmark gaat de score met zo'n 15% omhoog.
Is zoiets eerlijk? Ja op deze manier wel. Je maakt namelijk inzichtelijk dat je een turbo modus inschakelt. Als je die scores bij benchmarks gebruikt, vind ik dat je verplicht moet aangegeven dat je die modus hebt ingeschakelt om scheve scores tegen te gaan.

Screenshot van de instelling:
https://tweakers.net/ext/f/3b3NA9RTf32LWpQ0gtOjStiS/full.jpg

huawai intruduceert nu GPU Turbo, die beslist zelf op basis van ai (lekker vaag) wanneer de telefoon ietjes overklokt wordt. ook leuk voor de benchmarks...

Dat klopt. De Kirin 980 heeft een soort ingebouwde boostmode. Bij de presentatie in Berlijn werd dat aangegeven. Toen gaven ze ook aan dat ze dankzij die modus op alle gebieden sneller zijn dan de Snapdragon 845. Momenteel liggen de scores soms net onder, maar ook een aantal keren ver boven de scores van de 845 (zonder de boostmodus softwarematig in te schakelen).

Meer info over die Kirin processor is hier te lezen:
nieuws: Huawei kondigt 7nm-soc Kirin 980 aan en onthult Mate 20 op 16 oktober

Is er bekend bij welke toestellen Oppo dit deed? Klaarblijkelijk waren het dus meerdere.

On October 18, UL published a press release on its website detailing its decision to discontinue benchmarking OPPO Find X and OPPO F7.

Dus het gaat om minimaal 2 toestellen waarvan ze het hebben toegegeven, maar mogelijk meer.

Ja dit is net zoals de sjoemelsoftware-affaire. Volkswagen wordt als éérste betrapt, maar je kunt er gif op innemen dat de meeste fabrikanten wel zo werken natuurlijk.

Mwa oppo is natuurlijk niet de eerste. Dit waren Samsung en HTC die hun Socs wanneer er een benchmark was gedetecteerd dik naar boven clockte.

Verder zie ik t probleem eigenlijk niet. Het is niet alsof gemiddelde consumenten überhaupt benchmark resultaten bekijkt of überhaupt snapt.

Disclaimer.

Ik zeg miet dat gemiddelde consumenten dom zijn natuurlijk maar meer dat het ze totaal niet interesseert.

Dat is te verwachten als hogerop de natuurlijk aanwezige mogelijke performanceverbeteringen van het produkt kunstmatig aan banden zijn gelegd. Valsspelen bij gebrek aan andere opties. De performance echt verbeteren is ongewenst en mag niet.

[Reactie gewijzigd door blorf op 25 oktober 2018 12:10]

Dat haal ik niet uit de tekst.

Maar dit houdt dus in dat ze niet 'valsspeelde' maar slechts ervoor zorgde dat de benchmark dezelfde recources gebruikt als games in een echte situatie.

Uiteraard niet netjes dat ze dit niet van tevoren hebben gezegd maar dan lijkt het mij dus geen valsspelen.
Edit: Als de software bij benchmarks 'meer' preformance weet te halen dan bij games is het uiteraard wel valsspelen.

[Reactie gewijzigd door Jeshua9 op 25 oktober 2018 11:15]

Met een goed verhaal is alles te verkopen natuurlijk. Ik moet eerlijk zeggen dat het nog plausibel klinkt ook nog, maar het kwam ze óók wel heel goed uit

Ze konden ook gewoon zeggen van: "als je gaat benchmarken duw dan veel op het scherm want zo gaat het sneller".

Ik lees hier eigenlijk meer "Oppo stopt met detecteerbare benchmarkfraude".

Het lijkt echt op : " Het spijt ons dat we gesnapt zijn, we beloven beter ons best te gaan doen om niet gesnapt te worden."

Zo hoort het toch ook?

Grappig, ik zag al wat onwerkelijke prestaties in AnTuTu een tijdje terug. Die zullen binnenkort ook wel weer verdwijnen dan?

Dat ligt eerder aan die benchmarktool. Als je een benchmark goed kunt manipuleren, dan is het AnTuTu wel. 1 applicatie open op de achtergrond kan ervoor zorgen dat de scores nogal worden beïnvloed. Hetzelfde geldt voor de score die je ziet als je die app opent en als je na 10 min dezelfde test doet, dan is de score totaal anders. Bij de 3e en 4e poging kan de score weer een stuk hoger of lager liggen. Daarnaast heb je niets aan de scores van voorgaande versies (major releases). Een benchmark op dezelfde telefoon kan in een keer een verschil van 30.000 geven. Het kan zijn dat het nu (2 jaar later) het verschil nog groter is en dat het verschil wellicht 100.000 kan zijn.

OPPO moet ook stoppen met het niet updaten en niet software bugs oplossen

Ook al vinden mensen het minder interessant is het nog wel goed dat er naar gekeken wordt. Anders gaan bedrijven alleen maar door met zulke praktijken.