Alle onderdelen van Acid3 zijn gedocumenteerd, je kan zelfs na de test op het resultaat klikken en dan krijg je al een vrij precieze specificatie van wat er is fout gegaan. Volgens mij moet je je eens wat dieper in de test verdiepen, want het werkt niet zoals jij volgens mij denkt.
Ik begrijp heel goed hoe de tests werken, maar ik ben het totaal niet eens met de denkwijze die erachter zit. Wat er exact wél en níét getest wordt lijkt een beetje willekeurig, en de uitgangssituatie vind ik onzinnig. Dit is gewoon niet hoe je in mijn ogen tests moet uitvoeren. Het resultaat van een test moet concreet zijn. Je moet er iets mee kunnen zeggen. Met het resultaat van deze test kun je alleen zeggen dat een browser voor de Acid3 test slaagt of niet. Whooptyfuckingdoo! Marketingkolder.
Sorry, maar ik vind die vergelijking waardeloos. In de css/html/dom/javascript specs ligt een enorme berg aan functionaliteit vast die een browser zou kunnen ondersteunen. Dat je nu misschien 90% van de meer exotische functionaliteit (of manier om die te gebruiken) niet dagelijks op sites tegenkomt wil nog niet zeggen dat het daarom totaal oninteressant is om te supporten en te testen.
Inderdaad. Er moet absoluut getest worden. Maar dan alsjeblieft met heel concrete losstaande tests, zodat je daadwerkelijk een oordeel aan het resultaat van een test kunt hangen.
Is het niet voor die sites die er expres of bij toeval wél van gebruik maken, dan wel voor mogelijk gebruik in de toekomst. In die zin is Acid3 *juist* zinvol, bugs in veelgebruikte functionaliteit kan je met user testing ook al snel vinden.
Browsermakers zullen sowieso zelf de boel goed moeten testen. Als de makers van Acid3 nou voor een bruikbare set tests hadden gezorgd, had dat ook heel wat kunnen schelen. Ze kozen er echter voor om een of ander vaag kunstwerk te maken waarmee een heel zichtbaar resultaat behaald kan worden, maar eigenlijk kun je niet veel met het resultaat. Ja je kunt zeggen dat Internet Explorer een kutbrowser is, maar ondertussen is het internet met Internet Explorer goed te besurfen. Ik denk toch dat de browserbouwers meer hebben aan een vrachtwagenlading losstaande concrete voorbeelden van hoe iets geïmplementeerd moet zijn, en unit tests om te controleren of dat ook zo is. Dat ziet er alleen niet zo spannend uit als Acid3. Het doet me een beetje denken aan "The Great Global Warming Swindle".
Acid3 is geen officiele test of standaard, het is slechts wat het is: een test suite. Ik begrijp uit jouw redenering dat jij een test suite alleen maar zinvol vindt als de test de volledige specificatie dekt en 100% gegarandeerd correct is, maar in de praktijk werkt dat nou eenmaal niet zo.
In de praktijk moet het zo zijn dat elk afzonderlijk voorgeschreven kenmerk van een standaard
afzonderlijk getest wordt. Daarbovenop kun je een set tests doen van combinaties van die kenmerken en te verwachten problemen. In de praktijk zou software aan de hand van
zulke tests ontwikkeld zou moeten worden.
Het een sluit het ander niet uit, ik snap nog steeds niet wat je probleem is. Je kan uit _geen enkele_ test ter wereld afleiden of een browser alles doet wat belangrijk is. Unit tests op functieniveau vangen alleen lokale fouten, user tests alleen overduidelijke fouten en usability fouten, en integratie test suites kunnen onmogelijk compleet dekkend zijn. Als dat het argument tegen Acid3 is, dan kan je net zo goed alle test suites afschaffen en de specificaties allemaal weer ruim gaan interpreteren.
Nee hoor. Je hoeft alleen maar de Acid3 test te negeren en een betere set tests te maken om je browser goed te laten functioneren. Overigens zou die de Acid3 test dan wel met vlag en wimpel moeten slagen natuurlijk, en anders is je eigen set met tests niet goed.
Het exacte doel van de Acid3 test is mij compleet onduidelijk. Ik zou daar weleens een duidelijke definitie van willen zien.
Jij noemt het zinloze functionaliteit die de Acid3 test dekt, ik noem het exotische functionaliteit die blijkbaar niet triviaal of voor de hand liggend is om in 1x goed te implementeren, gezien de moeite die browsers er mee hebben. Hoe groter ze Acid3 maken hoe beter, elke functionaliteit of soort gebruik dat eenvoudig testbaar in alle browsers werkend te maken is, is een verbetering van browsers in zijn algemeenheid.
Hoe groter de test, hoe minder concreet het resultaat wordt. Het is dan overigens niet veel anders. Je kunt op basis van het resultaat aangeven dat een browser wel of niet slaagt voor de Acid3 test, maar je kunt niet aangeven of een browser zich aan de standaarden houdt of niet.