Gebruikersreviews verbeteren: bevindingen en conclusies usabilitytest

Na de survey over de gebruikersreviews op Tweakers hebben we een usabilitytest gedaan met een nieuw ontwerp van het productreviewformulier. We informeren jullie graag over onze bevindingen en de beoogde richting waarin we de productreviews willen doorontwikkelen.

Bevindingen van de survey

In maart hebben we een survey gehouden om te achterhalen wat jullie wensen en behoeften zijn als het gaat om de gebruikersreviews op Tweakers. De uitkomsten van de survey hebben we eerder gedeeld in een .plan. Uit de resultaten bleek dat jullie veel belang hechten aan de gebruikersreviews. Belangrijke speerpunten zijn de onafhankelijkheid van de reviews en de behoefte aan veel reviews van verschillende gebruikers. Een goede scanbaarheid van de review door plus- en minpunten, een samenvatting en beoordelingen op specifieke criteria worden ook belangrijk gevonden.

Als grootste obstakels bij het schrijven van een review werden gebrek aan tijd en de te hoge verwachtingen van lezers genoemd.

Concept

We zijn aan de slag gegaan met deze inzichten en hebben een nieuw ontwerp gemaakt van het reviewformulier met als doel om het schrijven van reviews laagdrempeliger te maken. In de usabilitytest hebben we een werkend prototype van dit formulier getest, waarin de volgende veranderingen zijn gedaan:

• Op desktop wordt het formulier weergegeven in een slide-inoverlay, zodat het formulier getoond kan worden binnen de context van de omgeving waar je op de button voor het schrijven van een review klikte. Je kunt bijvoorbeeld vanuit je inventaris vlug even wat reviews schrijven van producten die in je bezit zijn of een review schrijven op de reviewtab van een product, terwijl je in de achtergrond kunt spieken wat anderen in hun review hebben geschreven.
• De velden voor een korte en een uitgebreide toelichting zijn samengevoegd zodat er geen harde grens meer is tussen een korte en uitgebreide review. Jij bepaalt hoe lang of kort je review wordt. We hopen dat het hiermee laagdrempeliger wordt om een beknopte review te schrijven.
• De eindscore en beoordeling van losse beoordelingscriteria, zoals beeldkwaliteit en accuduur, bepaal je door sterren aan te klikken in plaats van sliders te bewegen. Deze weergave is overzichtelijker en verlaagt de visuele load.
• De koppeling met gerelateerde producten is verwijderd.
• Jij maakt de keuze tussen een beknopte en uitgebreide review. Met een keuze voor een uitgebreide review maak je het voor anderen mogelijk om te reageren op je review.

In de weergave van de reviews op de reviewtab hebben we ook wat onderdelen gewijzigd:

• In de feedback op de survey gaven veel mensen aan dat zij een 0- of +1-moderatie voor een beknopte review demotiverend vinden. In het prototype hebben we het 0/+1/+2/+3-systeem waarmee je reviews van anderen kunt waarderen daarom vervangen door een simpele thumbs-up.
• De toelichting van een review kan uitgeklapt worden als deze langer is dan drie regels.

Resultaten

De usabilitytest werd uitgevoerd onder zes respondenten in de leeftijd van 18 tot 39 jaar. Alle respondenten waren regelmatige bezoekers en twee van hen hadden eerdere ervaring met het schrijven van reviews.

De respondenten gaven aan dat ze veel waarde hechten aan reviews op Tweakers, met name vanwege de kwaliteit en het kennisniveau van de schrijvers. Tegelijkertijd werd de hoge kwaliteit van de gebruikersreviews als reden aangedragen om zelf geen reviews te schrijven. Diverse respondenten hadden het gevoel dat hun eigen review weinig toegevoegde waarde zou hebben of dat het te veel tijd en moeite zou kosten om een review te schrijven die van een ‘waardig’ niveau zou zijn. Tegelijkertijd gaven de respondenten aan zowel lange als beknopte reviews nuttig te vinden. In de reacties op het .plan en forumtopic over de survey hoorden we vergelijkbare geluiden.

Wat gebruikservaring betreft vormde het reviewformulier geen belemmering bij het schrijven van een review. Sterren werden wat prettiger gevonden dan sliders voor het beoordelen van het product. Ook was er een lichte voorkeur voor een thumbs-up boven een 0/+1/+2/+3-moderatie van reviews vanwege de eenvoud van een thumbs-up.

De belangrijkste uitkomst voor ons was dat mentale barrières de grootste belemmeringen vormen bij het schrijven van reviews. Vooral hoge verwachtingen zorgen ervoor dat mensen niet aan het schrijven van een review toekomen. Wat verder werd aangegeven, is dat bezoekers op Tweakers onvoldoende worden verleid en aangemoedigd om een review te schrijven, bijvoorbeeld vanuit een wenslijst, inventaris of prijsalert.

Vervolg

Ons voornemen is om de verbeteringen van het formulier binnenkort in te plannen in een developmentsprint om daarna onze aandacht te kunnen verleggen naar oplossingen om het schrijven van reviews (kort, uitgebreid en alles ertussenin) te stimuleren. Hierover brengen we jullie uiteraard graag weer op de hoogte als het moment daar is.

Laat je mening weten

We horen graag wat jij vindt van de voorgestelde wijzigingen. We krijgen ook graag feedback over de vraag of je het prettig vindt om zelf te kunnen bepalen of het mogelijk is om te reageren op jouw review. Onze aanname is dat dit de schroom om een beknopte review te schrijven uit angst voor kritische reacties zou kunnen wegnemen. Laat het weten via de onderstaande poll.

Wil jij zelf bepalen of anderen kunnen reageren op je review?

Nee, reageren moet altijd mogelijk zijn

75,0%

Ja graag

25,0%

Aantal stemmen: 547. Deelname gesloten op 24-05-2022 15:38. Stemmen is niet meer mogelijk.

Reacties (22)

In de opening wordt ook gemeld dat mensen de onafhankelijkheid van reviews belangrijk vinden. Daar wordt verder niet meer op terugkomen in dit artikel. Komen er ook aanpassingen die ervoor zorgen dat bijvoorbeeld mensen die hun account registreren gelijk een review kunnen plaatsen?

De schrijver van een review wordt al gevraagd hoe het product verkregen is. Bij reviews van nieuwe gebruikers wordt een newbies-label getoond. Met die informatie kun je als lezer beoordelen of je een review waardevol vindt. Er is verder geen reden om aan te nemen dat nieuwe gebruikers per definitie slechte intenties hebben of minder onafhankelijk in hun oordeel zijn dan users die langer geregistreerd zijn.

Ik denk dat hij bedoelt, wat je nog al eens ziet bij nieuw gelanceerde producten, dat de eigenaar van het product allemaal positieve nepreviews laat schrijven. En dat zijn meestal nieuw geregistreerde accounts speciaal voor dat doel aangemaakt. Betekent niet dat alle reviews van nieuw geregistreerde reviewers minder goed zijn, maar zou wel een indicatie kunnen zijn van bovenstaande.

Dus iets van bijv. een karmascore of aantal jaren lid, geeft wel aan of het een gelegenheidsreview betreft of niet.

Edit: typo's

[Reactie gewijzigd door bed76 op 5 mei 2022 14:58]

Gezien de hoeveelheid one hit wonders op Tweakers is die aanleiding er wel. Jullie lezers vinden dat ook, gezien de uitkomsten. Ik wil namelijk ook op jullie sterrensysteem kunnen vertrouwen. Zodat ik in 1 oogopslag kan zien wat de stand is, zonder dat ik op zoek moet gaan naar iedere individuele review op zich om te beoordelen of dat een legitieme review is. Dan zou je de sterren ook weg kunnen laten en mensen adviseren om alle reviews door te nemen.

Er is verder geen reden om aan te nemen dat nieuwe gebruikers per definitie slechte intenties hebben of minder onafhankelijk in hun oordeel zijn dan users die langer geregistreerd zijn.

Dat niet, maar toch hecht ik meer waarde aan een review van een ervaren tweaker dan van een newbie, al was het alleen maar omdat de verdenking van valse intenties bij de ervaren tweaker er helemaal niet zijn.

Ik vermoed dat je doelt op dit soort acties waarbij veel "newbies", de mogelijkheid kregen om een product via bijvoorbeeld The Insiders en Reviewclub te mogen testen:
pricewatch: Samsung The Freestyle LSP3B
https://tweakers.net/voedingen/msi/mpg_p1193600/reviews/
pricewatch: HP Envy 6020
https://tweakers.net/smar...in-44mm_p1310468/reviews/
https://tweakers.net/televisies/lg/g1_p1237654/reviews/

Klopt het dat je hiervoor een hogere drempel zou willen zien?

Wat is Tweakers zonder reacties? Dat is de vraag die in mij op kwam toen ik de laatste alinea en poll zag staan. Hoewel vaak niet spannend, zijn er toch best gevallen dat een review meer waard is geworden door de reacties eronder.

In de reacties kan je een specifieke vraag stellen, met betrekking tot het product, aan iemand waarvan je zeker weet dat hij het product heeft. Het antwoord zal dus altijd meerwaarde hebben.
De reviewer houdt altijd de keuze wel of niet te antwoorden.

Een reactie kan meerwaarde hebben, maar dat is niet altijd het geval.

Het vermoeden dat ik bij de poll heb is dat het vragen of reacties uit kunnen gerelateerd is aan de mentale barriere dat er te hoge verwachtingen zouden blijken uit reacties.

Als dat het uitgangspunt is, dan hoort eerst duidelijk te zijn waarom die reacties een mentale barriere opleveren en hoe dat redelijk is vergeleken met waar kunnen reageren voor bedoeld is.

Reacties over verwachtingen zijn niet altijd relevant voor de review en dus ook niet om er een barriere in te gaan zien. De manier van schrijven is niet altijd opbouwend, maar dat maakt de boodschap niet zomaar overbodig.

Het is nu eenmaal zo dat je hoe dan ook als schrijver reacties kan ontvangen die je om welke redenen dan ook zelf niet bevalt. Maar het is bij een review ook geen verplichting om naar die reacties te kijken of dan ook nog te gaan reageren. Daarbij zijn die reacties er hoe dan ook voor meer personen dan alleen de reviewer (of wie dat wil zijn).

Ik kan me zeker in deze stelling vinden, wat mij heeft weerhouden op het schrijven/plaatsen van een product review. De mogelijk op het krijgen van kritiek, is een hoge drempel.

Echter, deze kritiek lijkt me ook juist het vangnet om de nodige valse/gekochte product reviews van Tweakers te weren.

idem, vooral een 'discussie' of 'provocerende' blog maken, en dan comments uitschakelen

Al herken ik me wel deels in de "hoge verwachtingen" die leven bij reviews, als ik zelf aan het rondkijken ben waardeer ik ook zeker de korte beschrijvingen waarbij simpelweg een samenvatting wordt gegeven. Natuurlijk wil ik soms een diepte review, maar vaak heb ik ook voldoende aan een gegeven dat meerdere mensen een product hebben gekocht en hoe in algemene zin de ervaring is.

De thumbs-up vind ik wel een mindere vorm, dat wijst meer op een populaire review dan een goede. Een review met +3 was over het algemeen echt top, nu kun je een run krijgen op mensen die de eerste willen zijn met een review puur voor views en thumbs up.

De side-scroll vind ik wel fijn. Ook ik ben schuldig aan een fors aantal producten te hebben gekocht, maar niet even kort iets te hebben geschreven over de ervaringen. Als dat zo tussendoor kan vind ik dat zeker een positieve toevoeging.
Wat ik hier wel heel graag zou zien is welk stuk van de tekst terug komt als de korte samenvatting, zoals die er nu is. Daar wil je mogelijk wat anders schrijven dan je inleiding.

De thumbs-up vind ik wel een mindere vorm, dat wijst meer op een populaire review dan een goede. Een review met +3 was over het algemeen echt top, nu kun je een run krijgen op mensen die de eerste willen zijn met een review puur voor views en thumbs up.

Verder is een thumbs up niets waard zonder een thumbs down. Je weet niet of een review populair of goed is.

'+1 is demotiverend' en daarop gebaseerd het volledige reviewwaarderingssysteem wijzigen voelt ook een beetje als overkill aan. Misschien is het al voldoende om voor degene die een score geeft te verduidelijken waar de verschillende scores voor staan.

[Reactie gewijzigd door The Zep Man op 5 mei 2022 17:02]

Die thumbs up, kan ook verkeerd uitpakken. want je kunt de uitgebreide en supergoede reviews niet meer de credits geven die ze wel verdienen. En misschien gaan die het juist minder vaak doen nu...

Veel duimpjes is niet veelzeggend imo. Want populair is niet meteen kwalitatief heel goed.

De thumbs-up vind ik wel een mindere vorm, dat wijst meer op een populaire review dan een goede. Een review met +3 was over het algemeen echt top, nu kun je een run krijgen op mensen die de eerste willen zijn met een review puur voor views en thumbs up.

Dit dus. Soms wil je echt een uitgebreide review lezen en soms heb je aan een puntsgewijze beoordeling genoeg. Een thumbs-up versus een +3 laat dat onderscheid verdwijnen.

Is het nog een idee om daar juist wél een splitsing in aan te brengen, maar bij de beknopte beoordeling geen vrije tekst toe te staan, maar alleen beoordelingen op een aantal vaste punten? Het zou dan net zo kunnen gaan als de beoordelingen van medetweakers in V&A waar je 0-5 sterren kan geven op 3 onderdelen.

Op deze manier kan ik een snelle indruk krijgen als ik dat wil en langere review lezen als ik al bijna mijn keuze gemaakt heb

Beslist meer woorden kunnen gebruiken dan 50 voor een kleine review

Het voorstel is om de korte en uitgebreide toelichting samen te voegen zodat je niet meer gebonden bent aan maximaal 50 woorden voor een korte review en minimaal 100 worden voor een uitgebreide review. Je mag 'm zo kort of lang maken als je zelf wil.

De vraag hierbij is nog wel of elke review een detailpagina heeft met een reactiemogelijkheden of dat we dit doen op basis van lengte of een keuze die door de schrijver van de review wordt gemaakt.

Wat verder werd aangegeven, is dat bezoekers op Tweakers onvoldoende worden verleid en aangemoedigd om een review te schrijven, bijvoorbeeld vanuit een wenslijst, inventaris of prijsalert.

Dat aanmoedigen zou dus niet zitten in een wens om de mentale barriere voor te hoge verwachtingen te doorbreken? Waarop is die barriere dan gebaseerd?

Onze aanname is dat dit de schroom om een beknopte review te schrijven uit angst voor kritische reacties zou kunnen wegnemen.

Ik heb het omgekeerde: reacties op mijn beknopte review zouden mij kunnen motiveren de review uit te breiden. Van veel producten zou ik best een uitgebreide(re) review willen schrijven, maar ik heb geen idee of men daar op zit te wachten.

Als de +0/+3 vervangen gaat worden.. dan zou het evt wel een overweging kunnen zijn om er op zijn minst een soort extra optie bij te geven om de echt goede reviews een extra quality seal (vinkje/sterretje ofzo) te kunnen geven.
Zou wel fijn zijn om alsnog de soort van +2 en +3 reviews er snel eruit te kunnen vissen voor diegene die wat meer diepgang zoeken.

0/+1/+2/+3-systeem Is wat mij betreft veel beter dan een thumbs up.

Er zijn zoveel nietszeggende reviews, dat ik me soms afvraag waarom doe je nog de moeite. Vaak doen mensen het ook alleen maar in de hoop dat ze een prijs winnen van de zogenoemde Webshop waar ze het product gekocht hebben.

Geef mij maar de +2 en +3 reviews van producten die ik interessant vind, die neem ik met liefde door.

Ik heb laatste maanden eens een aantal reviews geschreven die helemaal niet technisch waren. Ik krijg daarop verschillende type reacties. Van alleen maar een fotoshow, review voor dummies en ook zeer positieve reacties. Je ziet dit ook terug in de vragen bij de reacties. Er is dus een breed publiek dat de reviews leest met wel of niet waardering voor geen of juist wel techniek (diepte/detail). Ik heb het idee dat "vroeger" de reviews meer technisch waren en dat de lezersgroep zich de laatste 10jr verbreed heeft nu de digitale wereld letterlijk in bijna iedereen zijn hand ligt.
Ik zet bovenin dan ook hoe lang de review is en hoe technisch (volgens mij ) .
Misschien is het een goed idee de lengte van de review automatisch te tellen en er bij te plaatsen (zoals ook een aantal kranten doen).
Misschien is het opnemen van een "moeilijkheidsgraad/technisch-gehalte (diepte/detail))" indicatie een goed idee voor uitgebreide reviews (iets visueel geen tekst).
Wat ik bij de Wikipedia handig vind is dat ik op "begrippen/onderwerpen" kan klikken (link) voor uitleg. Dit zou met name handig zijn voor het gebruik van voor begrippen/afkortingen van IT/technologische aard in de review . Een link of popup zou hiervan dan een korte krachtige omschrijving/uitleg kunnen geven (hoeft niet lang). Dus Tweakers leg zo'n lijst aan en geef de mogelijkheid aan de reviewer een link of popup-tekst hiernaar/van te gebruiken.

Ik schrijf (bijna) nooit "uitgebreide" reviews over producten waaraan ik een negatieve (eind)oordeel geef. In dat geval schrijf ik alleen het korte stukje en de plus-/min-punten opsomming in de review. Ik zie het nut er niet van in (bijna nooit!) om mijn tijd te steken in een "uitgebreide" review over een slecht tot "waardeloos" product. Zeker niet als ik vind dat de 'minpunt(en)' voldoende aanknoping biedt om zo'n product niet te kopen (=negatief eindoordeel). Deze korte reviews over "slechte producten" zouden echter ook een waardering van de lezer moeten kunnen krijgen. Misschien is iedereen het wel oneens met mijn minpunten, dus krijg ik alleen maar '0" waarderingen van de lezers. Of omgekeerd en krijg ik alleen maar "+3" waarderingen van de lezers voor mijn korte review.
Ik ben het er dus ook niet mee eens dat korte reviews niet zinvol zijn en zie hiervoor dus graag ook een waarderingsmogelijkheid door de lezer.
Ik zie niets in "duimpje omhoog" of "omlaag", maar meer in uitbreiding van "0" t/m "+3" naar een verdere verfijning van "0" t/m "+5".

[Reactie gewijzigd door Antonio di op 8 mei 2022 22:34]