Exact DIT!
Dat is ook het eerste waar ik aan moest denken, diesel gate.
Maar terug naar je voorbeeld Stiello:
Oke.. we hebben een fiets getest met trapondersteuning, maar we weten niet hoe hard hij gaat zonder die ondersteuning. Daarom verklaren wij de test onbetrouwbaar, omdat we niet weten of de trapondersteuning altijd betrouwbaar is.
Je MIST HET PUNT!
In jou voorbeeld zou het moeten zijn:
We hebben een fiets die heeft trapondersteuning, maar we weten niet hoe hard hij gaat zonder die ondersteuning
want we kunnen niet zien of hij aan of uit staat. Daarom verklaren wij de test onbetrouwbaar,
omdat we niet weten of de trapondersteuning altijd betrouwbaar is en belangrijker nog; we de resultaten niet valideren met andere fietsen die deze optimalisatie niet hebben en onder welke omstandigheden deze optimalisatie wel of niet werkt. Zelfs als de fiets, hetzelfde is in: gewicht, wiel diameter, banden type, accu vermogen, maximaal vermogen van de trap ondersteuning.
In je trap ondersteuning voorbeeld; we kunnen niet uitsluiten dat het stopt met werken zodra het te warm of koud is, als de luchdruk met 15 millibar valt binnen een uur, als we over een hobbelig pat rijden, als je 10 kg meer op het zadel zet dan waar het voor getest is.
WANT al die variabelen worden NIET gedeeld. DAT is het probleem.
We vertrouwen de benchmark niet, want deze SYNTHETISCHE benchmarks, die alleen onder de meeste ideale omstandigheden proberen zo veel mogelijk dezelfde berekeningen / opdrachten uit te voeren, zodat je een idee hebt HOE SNEL een CPU kan presteren, WANT Intel doet IETS wat ze niet 100% transparant uitleggen, aan EXECUTION code wat in sommige gevallen wel of niet positief is voor prestaties en we niet weten WAT HET NOG MEER DOET buiten sneller draaien op deze CPU.
HEL, wel kunnen NIET EENS een AB test uitvoeren op hetzelfde processor, om te valideren of execution onder omstandigheden bit voor bit hetzelfde is.
Dus in je fiets voorbeeld; we kunnen niet eens garanderen dat als je normaal instaat bent om 2 uur te fietsen met wind stil zonder ondersteuning, kan het nu 3 uur of veel minder zijn, want we kunnen niet zien of de trap ondersteuning wel aan staat EN belangrijker WAT HIJ DOET. De fabrikant zegt "we optimaliseren hoe jij fietst" dus passen iets aan over de manier hoe jij trapt, nadat jij al de trapper naar beneden gedrukt hebt, maar zeggen je niet of we dat op dit moment doen, waarom we het nu op deze manier doen, of het resultaat hetzelfde is, zoals bijvoorbeeld:
100 Newton aan rotatie in resulteerd in 15km/h in de 3e versnelling,
want dat ligt dan in dit voorbeeld aan alle onbekende omgevings variabelen en wat die optimalisatie doet.
Bonus, wat dus anders is als een instructie set, wat als volgt werkt in je trap ondersteuning voorbeeld:
"Vanaf 8 graden omgevingstemperatuur en lager moet de accu op temperatuur gehouden worden om beter te presteren, de opgebruikte energie aan verwarmen, zorgt netto voor meer kilo watt uur die je uit de accu kunt trekken, tenopzichte van niet verwarmen. Dit verschil kun je meten want: model A met 55 kwh accu, heeft die modus niet, ten opzichte van model B, ook met 55 kwh en produceert 5000 rotaties met een weerstand van 100 netwon tot de accu leeg is.
Dus als fietsen gaan testen, MET deze functie en dezelfde accu vermogen, dan doen deze EXACT hetzelfde als de accu verwarming uit staat.
Maar scoort 20% beter bij 0 graden, 30% beter bij -5 graden etc, als de accu verwarming aan staat, ten opzichte van de controle groep."
Om een kort verhaal lang te maken;
Het is belangrijk, om appels met appels te kunen vergelijken, maar Intel stopt soms suiker in de hap appel die je in je mond stopt en jij kunt als normale sterveling of zelfs als techneut niet zien wanneer deze suiker is toegevoegd en hoeveel beter die hap appel nu smaakt en opzichte van iets anders, want ze zeggen niet wanneer ze het doen, wat testen onmogelijk maakt.
[Reactie gewijzigd door NEO256 op 25 maart 2026 13:04]