Nieuwe Octane-benchmark van Google meet ook webapp-code

Google heeft een nieuwe javascript-benchmarksuite uitgebracht onder de naam Octane. Bovenop de bestaande statische benchmarks uit de V8-suite voegt Octane simulaties toe van webapplicaties die op javascript draaien.

Een van de onderdelen van Octane is Box2DWeb, een 3d physics-engine die in webgames en simulaties wordt gebruikt. Ook de Mandreel-engine wordt in online games gebruikt en maakt onderdeel uit van de javascript-benchmarksuite. Verder heeft Google de keuze laten vallen op Pdf.js, gebaseerd op Mozilla's pdf-reader, evenals GB Emulator, een emulator van de bekende Nintendo-handheld, en CodeLoad, een test waarbij wordt gemeten hoe snel een javascript engine aanvullende libraries kan inladen en benutten.

Octane heeft ten opzichte van zijn voorganger V8 ook een nieuwe interface gekregen die gebruikers vooral betere leesbaarheid moet bieden. Bovendien schaalt de pagina zich automatisch op basis van de beschikbare resolutie, waardoor de benchmarktool ook bruikbaar is op smartphones en tablets.

Stefano Cazzulani, projectleider van het V8-team, laat aan Cnet weten dat Octane is ontwikkeld omdat webapplicaties en -games de afgelopen jaren enorme progressie hebben geboekt. Doordat Octane nu ook benchmarks meeneemt van javascriptcode die wordt toegepast in veelgebruikte webapplicaties, zouden de resultaten een realistischer beeld moeten opleveren. De broncode van Octane is als opensource beschikbaar, maar opvallend genoeg zijn een aanzienlijk aantal browsers nog niet compatibel met Googles nieuwe benchmarksuite; zo kan IE9 de tests niet draaien, evenals diverse mobiele browsers, waaronder de Android-stockbrowser op sommige hardware.

Reacties (27)

[Umbrah]

Opmerkelijk eigenlijk, mijn Dell XPS15 (dual core i5 Sandy Bridge, Windows 7 op dual-SSD) krijgt een score van 11313 in power-saving mode, mijn Galaxy SIII (out of the box, met Chrome) behaalt 1550 punten. Interresant om zo de PPW wat vorm zien te krijgen tussen ARM/X86 en OS-en!

Mijn werk laptop (gare toshiba met een iets sterkere CPU dan m'n prive laptop) doet het iets beter dan m'n privé laptop, wat me doet vermoeden dat dit puur en alleen een CPU test is: 12637 punten. En dat voor het verschil tussen een Core i5-2410M voor m'n privé laptop (2,3GHz), en een i5 2520M (2,5GHz). Beiden dual-core. Het enige andere verschil is dat de privé laptop een 64-bit OS draait en de werk laptop zit vast aan 32-bit.

Arme quad-core ARM-beestje in m'n telefoon. Vernietigd door dikke vette power laptops.

[Reactie gewijzigd door Umbrah op 22 juli 2024 23:04]

[watercoolertje]

En je telefoon gebruikt maar 1.5 tot 2 van de 4 cores in de browser dus de kracht is (ruim) het dubbele maar wordt (nog?) niet gebruikt

[Reactie gewijzigd door watercoolertje op 22 juli 2024 23:04]

[Umbrah]

Ach ja, natuurlijk! Maar even zo goed is dit leuk om te zien hoe je steeds meer "frameworked" code krijgt (niet alleen javascript/web, maar ook Java, .Net en Dalvik), en dit kunt gaan benchen op meerdere platforms. Je hebt nu ook als een behoorlijke stapel (goedkope) MIPS Android hardware, en straks heb je ook Windows zelf op twee platformen.

Het grappige is dat zowel IE10 en Chrome dus behoorlijk multi-architecture zijn voor een gelijkwaardige codebase. Windows 8 zal wel Metro-benches krijgen, maar V8 is voor een hoop gebieden ook erg interresant, zeker als je het op dezelfde browser uitvoert: IE10 Windows RT, IE10 Windows X86; Chrome X86, Chrome ARM-Droid, Chrome MIPS-Droid, etc.

Ja: het blijft Javascript, maar tot op zekere hoogte zul je wel uitspraken kunnen gaan doen over de PPW. Mijn onderbuik gevoel zegt dat wat sommige mensen die roepen: "X86 eindelijk weg! Yay ARM!" het nog wel eens fout kunnen hebben. Zeker nu je steeds vaker ARM ook in het stopcontact zonder accu ziet, waardoor "low power" niet noodzakelijk altijd meer het streven is, en je dus ook erg vaak high-TDP ARM configuraties ziet. En X86 natuurlijk ook in telefoontjes waar juist weer PPW nodig is.

Tweakers: jullie doen erg goeie smartphone tests, maar ga eens een PC op die manier testen! Want de use-cases (website laden, app installeren) zijn voor dagelijks gebruik erg boeiend! Benieuwd hoe een dikke i7 zich gedraagt als smartphone met Windows 8. Use-case driven tests zijn sowieso erg geinig, zeker als je ook op den duur richting uitspraken over PPW/architectuur kunt gaan!

[Sando]

je telefoon gebruikt maar 1.5 tot 2 van de 4 cores in de browser

Mijn laptop gebruikt anders ook maar één van de vier cores bij de test, wat mij ook verrast maar ik zie het in de process manager.

Cubuntu 64 bit.

[watercoolertje]

Hier ook maar 1 van de 2 cores, eignelijk nooit over na gedacht ging er wel van uit dat de browser ondertussen wel goed met meer cores overweg kon, blijkbaar niet dus...

[NESFreak]

Altijd mooi als een browserbouwer zijn eigen benchmarksuite uitbrengt. Lijkt me een typisch gevalletje wij van WC eend...

[Grootstyr]

We kunnen er in ieder geval zeker van zijn dat Google hoog of hoogst scoort in deze benchmark. En er zal geen enkele test zijn die niet draait op Chrome...

Ik vraag me bij dit soort benchmarks wel eens af of er gezocht wordt naar dingen die de eigen browser wel kan en andere browsers niet. Of dat ze eerst de benchmark bouwen en er daarna achter komen dat bepaalde browsers het niet aan kunnen.

En als de eigen browser dan de gene is die de benchmark niet kan draaien, wordt ie dan uitgebracht, of wordt er gewacht tot een versie van de eigen browser die de benchmark wel kan draaien?

Maar misschien ben ik te achterdochtig en heb ik te weinig vertrouwen in de benchmark bedrijven.

@ADQ, deels waar. Maar wilde google de Android browser niet vervangen door Chrome? En zou de benchmark dan nog steeds niet werken? Chrome zou in ieder geval de logische opvolger zijn voor Android.

[Reactie gewijzigd door Grootstyr op 22 juli 2024 23:04]

[Loller1]

Ik zal het even voor je uitrekenen...

Internet Explorer 10 RTM -> 1744
Google Chrome 22 dev -> 6296
Mozilla Nightly 17 (2012-08-21) -> 4110
Opera Next 12.50 internal -> 2899

Dus ja, Google is en blijft Google . Het viel me op dat de grijze kaders zowel in IE als in Nightly (Firefox) geen afgeronde hoeken hadden, vreemd, want beide ondersteunen border-radius toch?

[henry906]

IE faalt soms op de border-radius als datzelfde element ook sommige andere eigenschappen krijgt toebedeeld (bijvoorbeeld bij een gradient background)

[codebeat]

IE faalt wel bij meer dingen. IE9/IE10 ondersteund geen gradient background. Heb daar nu een mooi php script voor dat de gradients automatisch omzet in een svg background. Ik heb ghet gemaakt voor een site waarbij ik geen plaatjes wilde gebruiken. Wel weer jammer dat het voor IE weer anders moet en zie je meteen dat IE de ontwikkeling op het net tegenhoud!
Lang leve IE! (die soon pleaz)

[Reactie gewijzigd door codebeat op 22 juli 2024 23:04]

[Loller1]

Dan heb je toch wel iets gemist: http://blogs.msdn.com/b/i...s3-gradients-in-ie10.aspx

IE10 heeft trouwens de beste ondersteuning voor CSS, tegenover iedere browser.

[Reactie gewijzigd door Loller1 op 22 juli 2024 23:04]

[codebeat]

Inderdaad, heb ik iets gemist. Bedankt voor de info. In ieder geval is het wel zo dat in IE9 dit niet werkt. Ik heb IE10 nog niet getest maar had gelezen dat het niet zou komen in IE10. Vandaar.

Of IE10 de beste ondersteuning voor CSS biedt kan zo zijn maar hoe staat het met de bugs?

[Loller1]

IE10 is de enige met 9x%: http://caniuse.com/#cats=CSS

Hoeveel bugs er zijn kan ik niet zeggen, zou het eigenlijk ook niet weten...

[NESFreak]

Allen hebben idd ondersteuning voor border-radius. Er zijn voor border radius echter wel 3 verschillende tags in omloop:

-webkit-border-radius: ?px;
-moz-border-radius: ?px;
border-radius: ?px;

Vandaar dat je je sites dus ook nog altijd met honderd miljoen miljard verschillende browsers en setups moet testen.

[Loller1]

Ja, dat weet ik ook, maar hoeveel moeite is het om border-radius: ?px; er bij te zetten?

[NicoJuicy]

Kijk eens naar de site, toch wel.
Het lukt niet met Chrome op de iOS (oudere versie van WebKit wegens iOS restricties) en de default browser op Android lukt het ook niet helemaal (= door de webkit, aangezien safari op iOS er ook last van heeft)

[lvmeijer]

Chrome v21 een Octane score van 13225
IE10 op Win8 RTM, een Octane score van 3714
(Windows Experience Index van 6.5)

Chrome komt er inderdaad veel beter uit. In MSFT-tests komt IE10 er weer beter uit.

[Verwijderd]

Dit klopt daar niet echt mee:

zo kan IE9 de tests niet draaien, evenals diverse mobiele browsers, waaronder de Android-stockbrowser op sommige hardware.

[Loller1]

Mja, da's wel waar, hoewel sommige benchmarks van browserbouwers toch wel voor serieus te nemen zijn, ik neem Kraken van Mozilla en IEFishTank (dat niet eens bedoeld was als benchmark, maar als demo) van Microsoft en ook nog V8 van Google toch wel voor serieus. Octana lijkt me toch weer een ander geval.

Heb indertijd nog een test gedaan met FishBowl (de opvolger van IEFishTank) en toen zag de score er zo uit: http://www.imgdumper.nl/u...07/4f84398d30c14-IE-3.PNG. Firefox kan IE dus toch een tijdje bijhouden. Vreemd genoeg is het in test van Mozilla/Google helemaal nooit het geval en eindigt IE altijd als laatste (en vaak samen met Safari en Opera). Zie de benchmarks in deze productreview: productreview: Internet Explorer review door Loller1

[Reactie gewijzigd door Loller1 op 22 juli 2024 23:04]

[watercoolertje]

Ik haal met Chrome (telefoon) anders maar 1615 punten en met de Samsung browser (gebasseerd op de stock Android browser) 1769 punten dus Chrome is slechter daar

[ZesPak]

De oude netbook krijgt er 1832 uit chrome, en maar 488 uit IE10.

Inderdaad, niet echt betrouwbaar een browserbouwer die dan maar de benchmark maakt.

[Loller1]

Hier werkt het gewoon vloeiend, heb het ook getest onder IE10, niks op aan te merken... En ik had op het moment van de benchmark 37 tabs open staan (en man wat een zooi heb je dan )

[Reactie gewijzigd door Loller1 op 22 juli 2024 23:04]

[sfranken]

IE10 != IE9

[Loller1]

Excuseer, foutje

Trouwens, is het nog iemand opgevallen dat IE9 niet ondersteund wordt MAAR de pagina stuurt in IE10 wel door dat Internet Explorer 9 het beste werkt (compatibliteits modus). Mmm, Google?

[Reactie gewijzigd door Loller1 op 22 juli 2024 23:04]

[Sando]

Het valt me wel op dat bij die test maar één core wordt benut, ik dacht dat Javascript, en dan vooral V8 van Chrome, en dan vooral zaken die ook door games gebruikt worden, al flink multithreaded en geoptimaliseerd waren.

Zo komt dat gaming nooit goed uit de kluiten als je altijd op een kwart of achtste van je computer moet werken.

[SKiLLa]

Moet je JS code-path ook wel 'multi-threaded' zijn (denk Web-workers). Ouderwetse single CPU apps worden op een multi-core ook niet automagisch multi-core

Daarnaast is het een JS browser-benchmark, niet een JS PC-benchmark; m.a.w. primair bedoeld om verschillende JS engines te testen en te kunnen vergelijken, niet zozeer om verschillende PCs onderling te vergelijken.

[Reactie gewijzigd door SKiLLa op 22 juli 2024 23:04]