XDA heeft ontdekt dat OnePlus benchmarks manipuleert met zijn OnePlus 3- en 3T-smartphones. Dat is het geval sinds de samenvoeging van Hydrogen OS en Oxygen OS. Het valsspelen levert enkele procentpunten winst op. OnePlus belooft te stoppen met de manipulatie.
XDA ontdekte de manipulatie tijdens het testen van de Snapdragon 821-soc op verschillende toestellen. Daarbij viel op dat de chip in de OnePlus 3T op een hogere kloksnelheid blijft draaien na het openen van bepaalde apps. De snelle cores van de soc blijven na het openen van de benchmarkapps op minimaal 1,29GHz draaien en de zuinige cores gaan niet lager dan 0,98GHz. Dat is ook zo op het moment dat de soc in zijn geheel niet wordt belast. De Xiaomi Mi Note 2 en Google Pixel XL, die dezelfde soc hebben, vertoonden dat gedrag niet.
Na verder onderzoek ontdekte XDA dat het OnePlus-toestel bij het starten van specifieke software dit gedrag vertoont. Uit een rom-dump konden de ontwikkelaars opmaken dat de manipulatie wordt uitgevoerd in Geekbench, AnTuTu, Androbench, Quadrant, Vellamo en GFXBench.
Met medewerking van Geekbench-ontwikkelaar Primate Labs kon XDA een test doen om te vergelijken wat het valsspelen oplevert. Primate Labs maakte een alternatieve versie van Geekbench 4, met de naam 'Bob's Mini Golf Putt'. Door de app op een aantal punten te wijzigen herkent de software op de OnePlus-telefoon deze niet meer als de benchmark. Als deze app wordt gebruikt op de OnePlus 3T, dan klokt de soc terug naar 0,31GHz als er geen processorbelasting is.
De winst die OnePlus behaalt met het valsspelen is maximaal vijf procent in Geekbench en dat is enkel zichtbaar als er tal van runs achter elkaar worden uitgevoerd. Na zeventien runs scoort de OnePlus 3T met manipulatie 4244 punten. Zonder manipulatie is dat 4034 punten.
Volgens XDA wordt het manipuleren al langere tijd in Hydrogen OS gedaan en speelt OnePlus vals met de OP3 en OP3T sinds de samenvoeging van dat besturingssysteem met Oxygen OS. Die samenvoeging vond plaats in september. Community-builds die daarna verschenen en de Nougat-release voor de OnePlus-toestellen bevatten dus de aanpassingen die de scores kunstmatig verhogen.
XDA heeft OnePlus geconfronteerd met de manipulatie en de smartphonefabrikant heeft daarop gezegd het mechanisme uit te schakelen in toekomstige OxygenOS-builds. Volgens de fabrikant is het een functie die ook wordt toegepast bij bepaalde games, om die beter te laten draaien. Daaraan zal OnePlus niets veranderen, omdat dit volgens de fabrikant ten goede komt van de gebruiker.
Op die oplossing heeft XDA kritiek, omdat OnePlus zijn smartphones daarmee optimaliseert voor specifieke apps, in plaats van in zijn geheel. Het is mogelijk dat door de functionaliteit huidige games beter draaien, maar als er nieuwe games uitkomen, waar OnePlus geen aanpassingen voor maakt, vervalt dat voordeel. Dat resulteert volgens XDA in inconsistente prestaties van de telefoons.
XDA heeft ook verschillende andere smartphones getest met de 'Mini Golf'-versie van Geekbench, om te kijken of meerdere smartphonefabrikanten valsspelen met de benchmark. Dat bleek niet het geval bij toestellen van onder andere HTC, Xiaomi, Huawei, Honor, Google en Sony.
Wel zegt XDA aanwijzingen gevonden te hebben voor manipulatie in smartphones van 'een aantal andere merken'. De ontwikkelaars doen nog verder onderzoek om dat te kunnen bewijzen. In ieder geval de Meizu Pro 6 Plus, met Exynos 8890-soc van Samsung, vertoont zeer verdacht gedrag.
In 2013 ontstond ophef nadat bleek dat verschillende grote fabrikanten van Android-smartphones benchmarks manipuleerden. Die bal kwam aan het rollen nadat bleek dat Samsung de kloksnelheid van de Galaxy S4 aanpaste in benchmarks.