Facebook brengt mobiele browsertest uit

Facebook heeft de mobiele browsertest Ringmark uitgebracht, samen met Bocoup. Facebook wil dat ook mobiele webbrowsers standaardtesten moeten doorstaan, net zoals desktopbrowsers. De codebase wordt binnenkort opensource gemaakt.

Facebook begon samen met technologiebedrijf Bocoup aan de ontwikkeling van het project omdat zij, naar eigen zeggen, zelf behoefte hadden aan een degelijke browsertest. Ontwikkelaars moeten volgens hen weten welke browsers wel of niet met een functionaliteit kunnen omgaan. Ook moeten de browsers aan een inspectieronde worden onderworpen om te kijken of de webstandaarden worden gevolgd.

Binnenkort zal de Ringmark-test opensource worden door publicatie op GitHub en de codebase wordt gedoneerd aan de W3C-organisatie. De test werkt in drie fasen, door Facebook 'ringen' genoemd. De eerste fase gaat over basisfunctionaliteiten voor ontwikkelaars. Elke ring verder wordt een stuk geavanceerder, maar om die te halen moet de voorgaande ring wel volledig gehaald worden. In totaal zijn er vierhonderd tests, maar de ontwikkelaars hopen nog meer tests aan de Ringmark-suite toe te voegen.

Reacties (50)

[Verwijderd]

Wat een vreemde testmethode met die ringen.
Als je in de eerste ring iets niet haalt dan kun je de resultaten voor de volgende ring niet zien.
Niet erg handig want het kan best dat een browserbouwer prioriteitn heeft gelegd bij allerlei specificaties uit een hogere ring maar dat blijft dan onzichtbaar.

Hiermee legt Facebook weer een soort arbitraire prioriteit bij een beperkte set tests om hoger te scoren in een kunstmatige benchmark net zoals ACID tests dat deden.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 22:03]

[Soldaatje]

Ik vind het duidelijk.
Je moet eerst de binnenste hele ring halen voordat je aan de volgende mag beginnen.
Dat zorgt ervoor dat alle browsers eerst goed de basis in orde moeten hebben voordat ze allemaal fancy features gaan toevoegen.

[Verwijderd]

Ik vind het niks.
In de eerste ring zitten bijvoorbeeld prompt windows.

Als er iets is wat je op een mobiel device niet wilt dan zijn het toch wel prompt dialoogboxjes. En waarom zou een gebrek aan ondersteuning voor zo'n item alle vervolgtests moeten tegenhouden. Ook van vervolgtests die daar niks mee te maken hebben.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 22:03]

[efari]

natuurlijk wil je geen dialoogboxjes, maar toch zijn er sites die op hun mobiele versie (als die er al is) gebruiken.
als je dan als browsermaker kan zorgen dat die opgevangen worden en mooi worden getoont, dan krijgt dit uiteraard punten!

[BlackOwl]

offtopic: Is er een manier om die dialoogboxjes compleet uit te schakelen in Firefox of Safari.
Het is toch bijna alleen maar gezeur van sites of je wel zeker weet dat je weg wilt.
Vaak wordt er na aanklikken nog een andere ongewenste site geopend ook.

[Reactie gewijzigd door BlackOwl op 22 juli 2024 22:03]

[dcm360]

Het idee daarachter is leuk, maar de praktijk valt wat dat betreft een beetje tegen. Ik heb net even gekeken hoever mn telefoon erin komt, en wat er zon beetje getest wordt. In de eerste ring komen al dingen voor als CSS-animaties, wat ik eerlijk gezegd toch echt geen basisfunctionaliteit vind.

[ZpAz]

Voor mobiele browsers is het zeker basisfunctionaliteit. Mobiele browsers ontwikkelen zich veel sneller dan hun desktop tegenhangers. Zo had mobile Safari in 2007 al CSS animaties terwijl de meeste desktop browsers dit niet ondersteunden.

[Keypunchie]

Je moet eerst de binnenste hele ring halen voordat je aan de volgende mag beginnen.
Dat zorgt ervoor dat alle browsers eerst goed de basis in orde moeten hebben voordat ze allemaal fancy features gaan toevoegen.

Dus als je 99% in de eerste ring goed hebt, en de volgende ring 100% geimplementeerd ben je een slechtere browser dan wanneer de eerste ring 100% is, en de volgende ring 5%?

Helemaal als je kijkt naar wat voor halfgare dingen er in die eerste ring zitten. Facebook heeft dit niet geschreven om de techniek van browsers vooruit te helpen, maar eerder om controle over de browsers zelf te kunnen krijgen.

Ze vinden het nogal vervelend als een browser een bepaald facebook-trucje niet ondersteunt. De Acid-tests gingen tenminste nog om standard-compliancy.

[Zethiel]

Inderdaad, lijkt me een erg goed systeem zoals ik dat nu lees.

[jip_86]

Helemaal niet. Als je een huis bouwt zorg je ook eerst dat het wind/waterdicht is voordat je binnen aan de slag gaat. Als je binnen klaar bent ga je het inrichten.

[Verwijderd]

Helemaal niet. Als je een huis bouwt zorg je ook eerst dat het wind/waterdicht is voordat je binnen aan de slag gaat. Als je binnen klaar bent ga je het inrichten.

Maar het completeren van die eerste ring geeft helemaal geen garantie dat het huis waterdicht is.
Het is juist een volstrekt arbitraire set aan tests.

[OddesE]

Nou nou, volstrekt arbitrair? Ik neem aan van niet. Mij lijkt het dat ze bij Facebook wel verstand van zaken hebben en dat de toekenning van tests aan de ringen niet op willekeur berust maar dat daar logica achter zit.

Ik vind hem wel goed. Bij HTML4 zie je dat een browser dan bijv. 99 procent kon scoren op Acid3. Klinkt heel goed maar als die ene procent toevallig bassale functionaliteit is die veel gebruikt wordt dan geeft het een vertekend beeld.

[Verwijderd]

Mij lijkt het dat ze bij Facebook wel verstand van zaken hebben en dat de toekenning van tests aan de ringen niet op willekeur berust maar dat daar logica achter zit.

Er is weinig reden om dat aan te nemen.
De ACID tests bijvoorbeeld waren ook gemaakt door allerlei experts op het gebied van webstandaarden maar zaten juist vol met heel obscure testsituaties.
Sommige browserbouwers hebben daar enorm veel effort ingestoken om ondersteuning te bouwen terwijl uiteindelijk zelfs gewoon een aantal test uit ACID3 volledig geschrapt zijn omdat de geteste features volstrekt overbodig waren.

Er zijn ook zat voorbeelden van test die alleen maar de ondersteuning voor een tag testen en dan ondersteuning aangeven maar de correcte werking niet testen en daardoor incorrect werkende ondersteuning toch als valide aanmerken (of daar punten voor geven).

[Verwijderd]

Ik vind (als JavaScript dev) de test goed in elkaar zitten. Ze hebben in ring 0 de apis gedaan die zeer belangrijk zijn voor moderne web apps, vervolgens hebben ze in ring 1 de wat obscuurdere of minder van belang zijnde elementen gedaan. Ik heb geen idee wat er in ring 2 zit, omdat ik in mijn testsuite nog geen browser heb kunnen vinden die ring 1 haalde.

[OddesE]

ACid had een ander doel, namelijk het promoten van betere ondersteuning van de bestaande standaarden. Browser makers zeiden: Wij hebben CSS 2.1 geïmplementeerd en daarmee was voor hun de kous dan af, terwijl er aantoonbaar heel veel bugs in zaten.

De jongens van Acid hebben toen gewoon alle bekende bugs van alle browsers bij elkaar in een test suite gegooid met als achterliggende gedachte dat als alle browsers slagen voor die suite dat dan al die vervelende bugs in elk geval opgelost zijn. Op zich waren de tests wel degelijk uit de praktijk geboren want het waren bugs waar men in de praktijk tegenaan was gelopen.

Het klopt dat er uiteindelijk een paar tests verwijderd zijn maar als geheel genomen beschouw ik als web developer de Acid tests toch als bijzonder geslaagd omdat het de browser makers met de neus op de feiten drukte en hen dwong om de bestaande bugs eindelijk eens op te lossen in plaats van alleen met nieuwe feutures bezig te zijn. Iedereen wilde toch 'acid-compliant' zijn en dat alleen al was heel erg fijn!

[watercoolertje]

Alleen wordt hier geen huis gebouwd maar gewoon een huis wat af is (in fases opgebouwd of niet is dan totaal niet boeiend) getest

[YopY]

Nouja, lijkt me wel logisch - waarom zou je bijv. Javascript testen als je geneens clickable elementen kunt renderen op je browser? Waarom zou je de 2D Javascript libraries testen als je browser geeneens de Canvas tag ondersteunt?

[Verwijderd]

Waarom zou je de 2D Javascript libraries testen als je browser geeneens de Canvas tag ondersteunt?

Maar door deze starre constructie van een complete ring voltooien worden misschien de 2D Javascript libraries voor canvas tests niet uitgevoerd omdat er geen support is voor een bepaalde totaal ongerelateerde prompt dialog terwijl er in de browser juist wel support is voor Canvas en voor die 2D JS libraries uit de volgende ring.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 22:03]

[paoper]

Zoals Soldaatje hier ook al zegt, werkt dat juist heel duidelijk. Ook de (meeste) tests voor reguliere browsers gebeurt op min of meer zo'n manier. Bij dit soort tests gaat het ook niet om hoe snel, of hoeveel fps hij haalt of verzin het maar. Het gaat hier om de technische functionaliteiten die hij heeft en kan, en om te testen met welke functionaliteiten hij precies om kan gaan.
Doordat je zo'n test linear moet doorlopen, is voor developers heel simpel te vinden waar het fout gaat bij een browser, wat het uitstekend geschikt maakt voor dit doeleinde.

[Verwijderd]

400 testen en ze willen er nog meer toevoegen 400 is in mijn ogen wel genoeg hoor maarja weet hier niet zo veel vanaf

[Verwijderd]

Voor Javascript alleen is er al een officiele standaard testsuite met meer dan 10.000 tests en nog steeds is niet alles 100% afgedekt.
http://test262.ecmascript.org/

[YopY]

Ligt eraan wat er getest wordt - maar je geeft zelf eigenlijk al aan dat je ook niet echt weet wat er allemaal getest moet worden.

[Verwijderd]

Hoeveel is genoeg dan? En welke tests?

[Truss]

Ik ben wel benieuwd wat voor een andere functionaliteit hiermee getest wordt ten opzichte van de acid testen.
Eerste bevindingen:
IE: ring0 6 failed
Chrome: ring1 52 failed
Android browser: ring1 129 failed
Opera mobile: ring0 3 failed
Wel grappig dat de desktopbrowsers het beter doen in een test voor mobiele browsers.

[Verwijderd]

Ook raar dat een browser als chrome niet door de 2e ring komt, welke browser moet er dan wel doorheen komen? Of zijn die er simpelweg nog niet.

[Verwijderd]

Er is inderdaad nog geen desktop of mobiele browser die door de 2de ring komt.
Het zou natuurlijk niet veel aan zijn als sommige browsers alle tests doorstaan.

Edit: @rwaldron (developer ringmark) bevestigd dat geen enkele browser ring 1 passeert. https://twitter.com/rwaldron/statuses/174568229304418304

Chrome is trouwens al een tijdje niet meer de beste browser wat betreft standards compliance. Daarbij houdt Firefox nu de kroon.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 22:03]

[Verwijderd]

Dat komt wellicht omdat de apis op de desktop grotendeels al werken en dat de mobiele browsers soms ver achter liggen op de desktop browsers?

Op android 4.0.3 komt trouwens eruit:

Stock: 0: passed, 1: 85 failed
Opera 12: 0: 3 failed
Firefox 10: 0: passed, 1: 85 failed (+ de ringen renderen niet correct)
Chrome Beta: 0: passed, 1: 44 failed (maar laat de ringen niet zien)

Chrome haalt dus wel de meeste tests, maar faalt compleet om de graphics van de ringen te renderen.

[Reactie gewijzigd door Verwijderd op 22 juli 2024 22:03]

[dcm360]

Ik ben wel benieuwd wat voor een andere functionaliteit hiermee getest wordt ten opzichte van de acid testen.
Eerste bevindingen:
IE: ring0 6 failed
Chrome: ring1 52 failed
Android browser: ring1 129 failed
Opera mobile: ring0 3 failed
Wel grappig dat de desktopbrowsers het beter doen in een test voor mobiele browsers.

Ligt eraan wat je gebruikt... Op mijn telefoon komt 1/2e van de browsers tot ring1, en op mn 'desktop' (laptop, maargoed) komt geen enkele browser uit ring0. Dat zijn dan op mn mobiel Opera/Android, en op mn laptop Opera/FireFox/IE/Safari.

[Stevie-P]

Het is toch goed voor te stellen dat desktopbrowsers voor lopen in hun ontwikkeling? Zij hebben immers veel meer gebruikers. Daarnaast zouden veel mensen het erger vinden als een functie niet wordt ondersteund op hun desktop dan op hun mobiel (lijkt mij).
Volgens mij gebruik jij trouwens een oude android browser, ik heb maar 85 fails in ring1.

[Verwijderd]

FF nightly: Ring 1, 82 failed, 240 passed.
Dan vraag ik me toch af of ze niet doorslaan met testen. Willen ze teveel?

Trouwens IE op de Lumia 800: Ring 0, 7 failed, 70 passed,

[JAT1M]

@Soldaatje
het is inderdaad zoals je zegt, eerst een goede basis daarna pas je fancy stuff.

maar ik vind het wel een beetje vaag dat mijn IE9 (desktop browser) op Ring 0 6fails heeft, en dan mijn iPhone (safari mobile) Ring 0 100% heeft en Ring 1 77fails..

normaal zou toch de desktop browsers verder ontwikkeld moeten zijn ??

[Verwijderd]

IE9 ligt alweer hopeloos ver achter met standards compliance.
Note: IE10 ligt dan weer voorop met standards compliance.

[paoper]

Mobiele browsers gebruiken wellicht andere manieren voor bepaalde functionaliteiten. Ook omdat een mobieltje nou eenmaal (vooral vroeger) anders in elkaar stak qua hardware(structuur) dan een pc. Dus geheel onlogisch is het niet. Er is niet voor niets een reden dat je op je mobiel een andere browser gebruikt dan op je desktop

[Roland684]

Het voelt alsof Facebook een manier zoekt om niet te hoeven zorgen dat hun website onder browser X werkt.

Als ze vinden dat ze obscure feature Y nodig hebben op hun site, zetten ze de test daarvoor toch gewoon in ring 1. En als je browser niet door die test komt, mag je niet op de site of gaan ze je pesten met een half scherm waarschuwing bovenaan elke pagina.

[Verwijderd]

Dit is niet waar, als je jezelf wat gaat verdiepen in hoe Facebook werkt, dan zul je zien dat ze veel waarde hechten aan cross-browser compatible apps.

Daarom brengen ze ook deze app uit en zijn de in de coremob cwg gedoken om uit te zoeken welke apis die devs op het mobile platform het hardst nodig hebben en die als standards naar voren te pushen.

[DeTeraarist]

Door smerige marketingmethodes lijkt Facebook al snel erg ev0l te zijn en in sommige opzichten zijn ze dat ook. Aan een heel andere kant is Facebook dat juist niet en zijn ze bijzonder innoverend bezig, ook voor de open source community. Zie bijvoorbeeld de github pagina van facebook. Laten we er vooralsnog dus maar van uitgaan dat ze zich hier van de goede kant laten zien

En eigenlijk is dit wel waar de mobiele browsers op zaten te wachten. Op dit moment is het een grote rommel wat betreft browsers op mobiele apparaten.

[Keypunchie]

Op dit moment is het een grote rommel wat betreft browsers op mobiele apparaten.

Grote rommel? Het is 90+% webkit!

nieuws: W3C waarschuwt voor dominantie WebKit

Ja, dat gaat over desktop, maar met Mobile Safari + Android browser en straks mobiele versie van Chrome, is het ook allemaal webkit. Blackberry heeft ook gekozen voor WebKit.

Blijft van de grote platformen alleen Windows Phone over met een afwijkende browser.

[ZpAz]

Indedaad, veel beter wordt het niet

[Verwijderd]

Wrong: hooguit 50-60% is webkit, waarvan de smaakjes van webkit behoorlijk divers zijn.
Webkit op Blackberry, webkit op Android, webkit op iOs werken alledrie net weer iets anders. Er zit ook nog aardig wat verschil tussen verschillende versies van Android.

[DeTeraarist]

90% webkit is prima hoor, 't is lekker snel en rendert doorgaans goed, 't is alleen dat er maar zo weinig van geimplementeerd is

[Hertog6]

Net uiteraard zelf ook even getest,

Macbook (Chrome 17.0.963.56) Ring 1 54 failed
Macbook (Safari 5.1.3) Ring 1 81 failed
iPhone 3G (iOS 4.2.1, Safari) Ring 1 113 failed
iPhone 3G (Opera Mini) Ring 0 27 failed

Vind het uiteraard wel knap dat de safari browser van mijn iPhone 3G, verder komt kwa score dan Opera Mini, terwijl de Opera Mini versie die ik heb draaien nieuwer is dan de ingebouwde Safari browser.

[Hiub]

Dat vebaast mij juist niets. Opera Mini heeft nogal een bijzondere manier van renderen (is vooral server-side).

[Señor Sjon]

Zouden ze niet eens hun app controleren op het via een U-bocht installeren van malware?
http://www.nu.nl/gadgets/...dt-zich-via-facebook.html

Nu zijn er wel wat haken en ogen aan, dus de standaard consument zal er niet snel last van hebben, maar als je externe marketbronnen aan hebt staan, dan ben je wel de klos.

[Diablow]

Ik had ring1 54 failed met chrome 18.0.1025.39 beta-m.

[MeltedForest]

Galaxy S II met 2.3.3, stock browser:
http://dl.dropbox.com/u/11908310/SC20120228-183151.jpeg

[Joep63]

Ik heb ook even wat testjes gedaan met http:\\rng.io\

De winnaar is: BlackBerry Playbook OS 2.0 = 0/50
Samsung Galaxy Tab (standaard browser) = 0/102
Samsung Galaxy Tab (Opera mini 12) 3/--
BlackBerry Curve 9300 (standaard browser) 0/102
BlackBerry Curve 9300 (Opera mini 6.1) 27/--
HTC ChaCha = 0/122
Ter vergelijking op de laptop:
Google Chrome 17.0.963.56 op W7 = 0/51
IE 9.08 op W7 = 6/--

Blijkbaar bij fails in ring 0 geen ring 1 meting (--)

edit: cijfertje weggevallen.

[Reactie gewijzigd door Joep63 op 22 juli 2024 22:03]