Rond maandag 13 september heeft een grootschalige A/B-test plaatsgevonden op de Tweakers-frontpage, waarbij een deel van de bezoekers versie A van de frontpage te zien kreeg en het andere deel versie B. Deze test draaide ongeveer dertig uur en hierop kwam veel feedback in het bijbehorende topic: op het design, de testmethode en de communicatie. In deze .plan willen we jullie informeren over wat we willen bereiken, wat we geleerd hebben van de test, wat we hebben gedaan met jullie feedback, wat de vervolgstappen zijn en hoe we dit in de toekomst beter willen doen.
Het doel
De huidige frontendset-up van Tweakers is verouderd en moet toekomstvast gemaakt worden. De frontend die we voor ogen hebben, vormt een moderne, op componenten gebaseerde interface, die de ontwikkeling van nieuwe functies versnelt en verschillende thema’s mogelijk maakt. Deze vernieuwing kunnen we op twee manieren aanpakken:
- meer dan drie jaar achter de schermen werken om Tweakers helemaal aan te passen aan de nieuwe frontendset-up;
- beginnen met een gedeelte van de website en de wijzigingen geleidelijk uitrollen.
We hebben ervoor gekozen om te beginnen met een gedeelte van de website. Zo kunnen we de website stapsgewijs aanpassen aan een nieuwe lay-out en de opgedane kennis meenemen naar het volgende deel. Als startonderdeel hebben we de frontpage van Tweakers gekozen; daar willen we de ervaring op een aantal gebieden verbeteren. Het belangrijkste is dat we van de frontpage het best mogelijke toegangspunt voor de verschillende onderdelen van Tweakers maken. Deze pagina heeft het grootste bereik en is de ‘etalage’ voor de andere onderdelen van de website. Daarnaast is er, na de uitbreiding van de reviewredactie vorig jaar september en met de komst van Tweakers Plus, meer uitgebreide content. Deze content willen we beter zichtbaar maken voor de eindgebruiker. De huidige frontpage biedt weinig mogelijkheden om deze artikelen uit te lichten.
De route tot de A/B-test
In december 2020 zijn we begonnen met kleine designverbeteringen om te kijken of we meer uitgelichte artikelen bovenaan de frontpage konden krijgen en later ook of we dit konden combineren met nieuwsberichten bovenin.
We constateerden dat, terwijl we het ene probleem aan het oplossen waren, tegelijk nieuwe problemen creëerden. Terwijl het verkeer naar de ankeilerartikelen toenam ('ankeiler' is de term voor een artikelaankondiging met een afbeelding, zoals voor een review of een achtergrondartikel), zagen we een daling in het algehele gebruik van de voorpagina, vooral als het ging om verkeer naar nieuws. Dit was aanleiding om te beginnen met een meer omvattende verandering, een facelift van de frontpage. Met deze uitdagingen zijn we in januari begonnen de wensen te verwerken in een nieuw ontwerp. Dit ontwerp hebben we met een usabilitytest voorgelegd aan een panel frontpagegebruikers, waarna we de verkregen inzichten en feedback hebben verwerkt in vier verschillende ontwerpen.
Wat is een usabilitytest?
Tijdens een usabilitytest wordt een prototype voorgelegd aan de doelgroep. De gebruiker krijgt een scenario en loopt daarmee door het prototype heen. Bij het doorlopen moet de gebruiker hardop denken en zijn gedachten delen. Hierdoor wordt duidelijk of bepaalde functionaliteiten wel of niet werken.
Deze vier varianten hebben we eind maart via een voorkeurstest voorgelegd aan onze gebruikers. Bij deze test kon iedereen aangeven welk van de vier ontwerpen hij of zij prefereerde en waarom. Twee varianten wonnen met een flinke meerderheid. Deze zijn verder verbeterd aan de hand van de gegeven reacties in de voorkeurstest en de .plan waarin dit was aangekondigd. Daaropvolgend is het developmentteam aan de slag gegaan met het daadwerkelijk bouwen van de twee winnende ontwerpen. Het was een flinke klus om de frontpage elementair op te zetten in een nieuw gridlay-out.
De A/B-test
Na het ontwikkelen van de beide winnaars en het oplossen van de ‘kinderziektes’ was het tijd om de A/B-test live te zetten en de kwalitatieve en kwantitatieve feedback te verzamelen. Het is, naast het horen van de mening van een groep over het design, belangrijk om het gedrag erbij mee te wegen, gebruikers kunnen zich immers anders gedragen dan ze tijdens het gebruik denken te doen. We hadden ons voorgenomen om deze test minimaal drie weken te laten draaien, zodat iedereen eraan kon wennen en we geen seizoensgebonden invloed zouden ervaren. Vanwege te grote verschillen in wat we wilden bereiken, wat we verwachtten en wat we zagen in de test, hebben we besloten om de test te stoppen, de feedback te verzamelen en te verwerken, en een nieuw testplan te maken.
Tijdens de test is veel kwalitatieve en kwantitatieve feedback binnengekomen. Van deze feedback hebben we dankbaar gebruikgemaakt en we hebben hem gebundeld rond de volgende onderwerpen: ontwerp, testmethodiek en communicatie. Deze onderwerpen bespreken we hieronder.
Ontwerp
Feedback op het ontwerp gaat in bijna alle gevallen van links naar rechts. Het is natuurlijk grotendeels een kwestie van smaak en smaken verschillen. Daarbij komt dat de frontpage dagelijks veel gebruikers heeft. Omdat het onbegonnen werk is om een ontwerp te maken dat aan de wensen van al die gebruikers voldoet, zoeken we naar een goede balans voor deze pagina. Tijdens de test zagen we op bepaalde onderdelen veel feedback binnenkomen, waaronder:
- De informatiedichtheid is lager dan bij de huidige frontpage.
- De letters van de nieuwsitems zijn te groot.
- Het openklappen van de tracker heeft tot gevolg dat de frontpage slechts deels zichtbaar is; de rest verdwijnt achter een scroll.
We hebben deze aandachtspunten verwerkt in een nieuwe versie van de frontpage. Hieronder is een kleine sneakpreview te zien van het nieuwe ontwerp op basis van de feedback die tijdens de test is opgedaan.
In de sneakpreview is te zien dat de nieuwslijst hoger op de pagina staat. Waar we op de huidige frontpage maar drie nieuwsartikelen krijgen, zijn dat er in het nieuwe ontwerp vijf. Ook is het aantal uitgelichte posities opgehoogd van één naar vier. De informatiedichtheid is dus toegenomen.
Testmethodiek
Na afloop van de A/B-test hebben we in het productteam, bestaande uit product owners en user experience designers, gesproken over de testmethoden en jullie feedback op de test verwerkt. De feedback kan in onderstaande vier hoofdpunten worden samengevat.
Er zaten veel bugs in de varianten. In aanloop naar de livegang van de A/B-test hebben we met een intern groepje de varianten getest op bugs. Die groep was, helaas, niet groot genoeg om verschillende edge cases te ontdekken. Hierop hebben we besloten om vanaf heden, voorafgaand aan grote lay-outwijzigingen alfatests te gaan houden. Bij deze testsoort volgen we het principe ‘eat your own dogfood’. Dit houdt in dat we het design zelf bedrijfsbreed (Tweakers HQ en crew) testen voordat we het aan de gebruikers voorschotelen. Door het bedrijfsbreed te gaan testen hebben we een grote variatie in omstandigheden: collega’s die met een 1080p-scherm werken, onderweg in de trein op mobiel zitten of redactieleden die een 4k-monitor aan het testen zijn.
Als tweede hoofdpunt is er de wens voor een opt-out bij A/B-tests. In het feedbacktopic zagen we feedback binnenstromen over de verplichte deelname aan A/B-tests. A/B-tests ontlenen hun kracht aan een willekeurige selectie van een zo groot mogelijk aantal deelnemers. Met deze ingrediënten kunnen we ieders ‘ervaring’ meenemen in de analyse en de uiteindelijke keuze voor een winnaar. De bedoeling van een test is ervan te leren en het design aan te passen aan degenen die het gebruiken. Tests met alleen bezoekers die enthousiast worden van tests en daarna de keuze vastleggen, geven een vertekend beeld en resulteren sneller in ‘rooskleurige resultaten’. Zonder de brede A/B-test onder alle bezoekers hadden we de huidige feedback niet gehad. Daarom blijven we bij ons uitgangspunt om A/B-tests niet optioneel te maken. Wel waren we het erover eens dat voor een frontpagewijziging intern testen direct gevolgd door een A/B-test niet genoeg is. Deze ontwerpverbeteringen willen we eerst aan jullie voorleggen via een publieke opt-in-bètatest.
Het derde hoofdpunt betreft de bètatest. Die begint zodra de alfatest is afgerond. We zullen deze test zoveel mogelijk onder de aandacht brengen om een zo groot mogelijke samplesize te krijgen. Als zoveel mogelijk gebruikers hun mening kunnen geven over de frontpage, wordt voor ons het beeld duidelijker. Toegang tot de bèta kun je krijgen door het aan te zetten in je profielinstellingen. Tijdens de bètatest zullen we het ontwerp bijschaven en als de variant grote gebreken heeft, waar we niet van uitgaan vanwege de alfatest, kan hij weer uitgezet worden. Doordat de deelname aan de bètatest in je profiel is opgeslagen, kun je op elk apparaat meehelpen. Zolang je bent ingelogd, kun je met elk device testen.
Het vierde hoofdpunt betreft de te radicale verandering tussen varianten. Tijdens de bètatest zal duidelijk worden hoe goed het ontwerp aansluit bij de wensen van de gebruikers. Tegen die tijd besluiten we of we het design nog met A/B-tests gaan valideren bij de community en wat de aanpak zal zijn. We nemen ons voor om de tests in kleine stukjes op te hakken om de impact van elke wijziging te kunnen meten. Dit zal een uitdaging zijn, omdat alleen het verbreden van de gridlay-out niet los te testen is. Maar die uitdaging gaan we aan.
Communicatie
Wat de communicatie betreft was er één punt van feedback en dat is, in onze ogen, meer een algemeen punt dan voor de frontpage alleen, namelijk: jullie willen op de hoogte gehouden worden van komende grote wijzigingen.
Wij bedanken iedereen voor de gegeven feedback en vertrouwen erop met de nieuwe opzet en communicatie op de goede weg te zijn. Voor de vervolgstappen, de bètatest en A/B-tests, is het belangrijk om op een constructieve manier met elkaar in gesprek te blijven. Dat doen we door actief te reageren en modereren in het forumtopic en in de reacties op de .plans die verschijnen bij het starten van de bètatest. Door de mogelijkheid van de opt-in-bètatests kunnen we jullie eerder en actiever betrekken bij het designproces. Op deze manier kunnen we ook de communicatie onderling versterken. Waar relevant gaan we dit in het vervolg doen.
Er is nog geen releasedatum bekend waarop de bètatest van start gaat. Als je een seintje wilt ontvangen als de test live gaat, kun je je aanmelden via de poll hieronder of stel je dit in via je profielinstellingen.