Productreviews uitgebreid met sterwaarderingen

In de afgelopen weken zijn de devvers druk bezig geweest met het aanbrengen van een groot aantal verbeteringen in de Productreviews. De aanpassingen hebben enerzijds tot doel om het plaatsen van kwalitatief hoogwaardige reviews te stimuleren en beter te belonen. Anderzijds hebben we de drempel voor het plaatsen van reviews willen verlagen door eenvoudige reviews toe te staan. De lijst van verbeteringen bestaat onder andere uit een nieuw compact productreviewformulier, de mogelijkheid om eenvoudige reviews zonder onderbouwing te plaatsen, de introductie van een waarderingssysteem voor reviews en het invoeren van een waarderingsafhankelijke karmabeloning en weging van productbeoordelingen in de gemiddelde score van het product.

Het compacte reviewformulier werd reeds in de vorige .plan van 11 februari aangekondigd. Het nieuwe formulier is in de vorm van een overlay direct oproepbaar vanuit productpagina's in de Pricewatch en productkoppelingen bij nieuwsberichten en reviews. In het compacte formulier kun je snel de beoordelingen van het product vaststellen. Na het submitten van het formulier heb je een eenvoudige review zonder onderbouwing geproduceerd. De review kun je vervolgens via het vertrouwde volledige formulier uitbreiden met onder andere een onderbouwing, foto's en een opsomming van positieve en negatieve eigenschappen. Eenvoudige reviews worden onderaan gesorteerd op de overzichtspagina van het product, zodat de reviews waar meer moeite in is gestopt als eerste zichtbaar zijn.

Om het schrijven van kwalitatief hoogwaardige reviews te stimuleren is het sinds vrijdag mogelijk om reviews te waarderen op een schaal van één tot en met vijf sterren. Robert heeft hiervoor een mooie ajax-interface gebouwd. Het waarderen van reviews is alleen beschikbaar voor ingelogde gebruikers en is vanzelfsprekend niet mogelijk in eigen reviews. Simpele reviews zonder onderbouwing kunnen niet gewaardeerd worden. De waardering van de productreview heeft invloed op de volgorde van weergave op de reviewoverzichtspagina van het product. De hoogst gewaardeerde reviews worden als eerste getoond, zodat de beste reviews de meeste views krijgen. Ook neemt de weging van de score in het gemiddelde van het product exponentieel toe met de stijging van de waardering. Hooggewaardeerde reviews hebben daardoor veel invloed op de gemiddelde productscore. Eenvoudige productreviews zonder beoordeling hebben weinig invloed op het gemiddelde als het product hoger gewaardeerde reviews heeft. Een hoge waardering zorgt bovendien voor een karmaboost.

Op de indexpagina van de Productreviews is de samenstelling van de populaire productreviews gewijzigd. In het verleden werden de reviews in deze lijst gesorteerd op aantallen views. Dit is gewijzigd in een combinatie van views en waardering. De lijst is beperkt tot reviews die in de afgelopen twee weken werden geplaatst.

De vijf waarderingsniveaus hebben de volgende betekenissen:

• Zeer slordige en onvolledige review met gebrekkige onderbouwing
• Matige review met onvolledige beargumentatie
• Korte en bondige review met degelijke beargumentatie en een nette layout
• Goed verzorgde review, goede onderbouwing en uitgebreid omschreven ervaringen
• De krenten in de pap. Bijzonder uitgebreide reviews van zeer hoog niveau.

In verband met de wijziging van de karmatelling voor de productreviews is recentelijk alle uit de productreviews verkregen karma opnieuw berekend. Hierbij is een bugje verwijderd die onbedoeld karmapunten aan gebruikers uitdeelde. Door de wijziging van de telling zijn sommige users fors in karma achteruit gegaan. Dit verlies zal grotendeels gecompenseerd worden zodra de hoogwaardige reviews van deze gebruikers een juiste waardering hebben gekregen. In het Pricewatch-forum is een topic geopend waar onjuiste waarderingen van productreviews aangekaart kunnen worden, zodat gebruikers deze met hun verenigde stemkracht kunnen corrigeren.

Een andere wijziging in de Productreviews is de toevoeging van een lijstje met recente of populaire andere reviews van de gebruiker in de rechterkolom van de reviewpagina. De lijst bevat maximaal vijf items en bevat de nieuwste (uitgebreide) productreviews als de gebruiker vijf of minder reviews heeft geschreven en toont de populairste reviews als de user meer dan vijf andere reviews heeft geproduceerd. De populariteit wordt ook hier vastgesteld door een vermenigvuldiging van de views en de waardering van de reviews.

De hierboven genoemde verbeteringen hebben inmiddels geresulteerd in een toename van het aantal nieuw geplaatste reviews. Ook wordt er gretig gebruikgemaakt van de mogelijkheid om reviews te waarderen. Wij hopen uiteraard dat deze toegenomen vlijtigheid blijft aanhouden .

Reacties (39)

Viel mij ook al op bij mijn review, heel leuk. Echter, nadeel is dat wanneer er weinig mensen stemmen, je geen goed gemiddelde ziet. Stel men is het gewoon oneens met de inhoud en geeft daarvoor 1 ster, is niet de bedoeling, maar dat haal je er alleen maar uit door meer mensen te laten stemmen (minimaal 10 ofzo). Is het niet mogelijk een kleine notitie te zetten bij de sterren, wanneer deze nog onder dit aantal zit?
Het blijft natuurlijk wel een probleem met dit soort "democratie", net als het modden, bij reviews over Microsoft of Apple krijg je al de duidelijke problemen.

[Reactie gewijzigd door vgroenewold op 28 februari 2008 22:56]

Voor dat soort mening-modden is er al een topic op GoT geopend. Daarnaast staat er onder de beoordeling hoeveel mensen er gestemd hebben, als er een goede review een ster heeft gekregen door een enkele stem weet je wel hoe laat het is. Dan kan je het altijd komen melden.

Mooi ook om te zien dat het nieuwe ratingsysteem heeft geleid tot een toename in het aantal reviews, in ieder geval is de stimulans om een goede review te schrijven nu groter. Het lijstje met 'best gewaardeerde reviews' waar eerder om gevraagd is, bestaat al: aanschouw! .

Ik ben nog steeds geen grote voorstander van het plaatsen van reviews zonder onderbouwing, ook al tellen ze niet voor heel erg veel mee. Er komen zo wel meer reviews bij, maar als er een product is met alleen maar zo'n review weet je nog niets. Het was juist altijd de kracht van de Productreviews dat het over het algemeen zeer hoogwaardige reviews waren. En wat heb je sowieso aan een beoordeling als er geen argumentatie bijstaat? Als je wil weten wat mensen van een bepaalde muis vinden denk ik niet dat je veel verder komt met een ingevuld formulier dat inhoudt 'kvindumslecht', 'mwah' of 'kvindemgoe'.

[Reactie gewijzigd door Groever op 28 februari 2008 23:12]

Kun je daar niet beter een modbot voor inzetten, die kijkt of de waardering niet teveel afwijkt van het gemiddelde?
Daarna een PM of whatever, lijkt me beter, want de drempel om een topic te openen is toch wat groter dan automagisch.

Vraagje: op de productreview pagina staan nu 2 lijstjes:
- de nieuwste reviews
- de best bekeken reviews

Komt er nu ook een lijstje met "de best gewaardeerde reviews"???

De all time meest gewaardeerde reviews kun je opvragen door de reviewlijst (te vinden via het linkje van het aantal reviews op de Productreviews-index) te sorteren op waardering.

Het heeft niet zoveel zin om een dergelijke lijst op de indexpagina weer te geven omdat de inhoud zo goed als statisch zal zijn. Om te zorgen voor dynamiek is de lijst van de populaire reviews beperkt tot nieuwe reviews van de afgelopen twee weken. De populariteit wordt hier dus bepaald door views en waardering te vermenigvuldigen.

dat heeft wel als risico dat reviews die daarin terecht komen er haast niet meer vanaf gaan omdat ze relatief gezien meer gelezen worden. Natuurlijk is het aan de andere kant zo dat producten nu eenmaal niet eeuwig "houdbaar" blijven en dat de review dan vanzelf van de kaart verdwijnt.
Een gewogen meting met een minimaal aantal stemmen?

dat heeft wel als risico dat reviews die daarin terecht komen er haast niet meer vanaf gaan omdat ze relatief gezien meer gelezen worden.

Daarom worden alleen de populairste reviews van de afgelopen twee weken getoond.

[Reactie gewijzigd door Femme op 2 maart 2008 13:02]

Of dat je in plaats van een aparte lijst van beste waarderingen, de waarderingen in die lijstjes meteen aangeeft, zodat mensen meteen een indruk hebben. Een extra kolom dus. Het is maar een ideetje...

Als dit technisch haalbaar is natuurlijk.

[Reactie gewijzigd door Smithers.83 op 29 februari 2008 12:03]

Het is alleen wel jammer dat hoogwaardige reviews van verouderde producten op deze manier weinig stemmen krijgen. Er zullen namelijk weinig mensen geinterreseerd zijn in een review van een 40GB HDD. Hierdoor raaken die gebruikers een hoop karmapunten kwijt.

Ik schrok mezelf rot toen ik mijn karma ging checken vlak na de invoering van dit nieuwe systeem en zag dat ik een paar honderd punten kwijt was. Gelukkig werd er snel gestemd waardoor ik er inneens veel meer bij kreeg.
Maar ik moet zeggen dat het wel een erg mooi nieuw systeem is!

@Full_hyperion, Ik miste inderdaad ook een getalletje. Het aantal gegeven stemmen zou nog een leuke toevoeging zijn. Zie dat dit inmiddels is opgelost

[Reactie gewijzigd door Who Am I? op 29 februari 2008 11:52]

Dat sommige mensen karma kwijtraakten kwam vooral doordat er een bug uit de karmaberekening is gehaald. Door een foute telling werd er onterecht veel karma gegeven voor o.a. foto's, platform- en productkoppelingen en productexemplaren. De users die er op achteruit zijn gegaan hadden dus onterecht veel karma.

Reviews met een hoge waardering krijgen meer karma dan reviews in het verleden kregen. Op die manier kun je weer wat puntjes terug verdienen. Er is op GoT een topic waar je anderen kunt vragen om je hoge kwaliteit reviews te waarderen.

Nog een klein vraagje, gaat er in het reviewoverzicht ook rekening gehouden worden met het aantal gegeven stemmen? Zodat 5 ster reviews met 100 stemmen hoger komen te staan dan die met 2 stemmen.
En als ik dan toch bezig ben, misschien kan er op de gallery pagina een (optioneel) tellertje komen met het gemiddelde aantal sterren voor de reviews. Net als met de reacties nu ook gebeurd.

[Reactie gewijzigd door Who Am I? op 29 februari 2008 12:13]

ziet er goed uit, op deze manier gaat de kwaliteit denk ik wel omhoog

de kwaliteit van de reviews verandert natuurlijk niet door het toepassen van een rating-systeem......

Volgens mij was de kwaliteit over het algemeen al vrij redelijk tot goed, dus ik zie je punt niet.

Jammer alleen dat het me zoveel karma koste, deze wijziging. Ik begin het nu weer langzaam terug te verdienen.

Edit: Krijg je trouwens ook per waardering er karma punten bij?

[Reactie gewijzigd door Swelson op 29 februari 2008 09:05]

Krijg je trouwens ook per waardering er karma punten bij

Je krijgt één puntje voor het uitbrengen van een stem.

De gemiddelde waardering heeft invloed op de hoeveelheid karma die er voor de review wordt gegeven. Het aantal stemmen helpt ook iets (vijf sterren uit tien stemmen levert meer op dan vijf sterren uit één stem).

Ok, dat tweedebedoelde ik. Zo kun je er uiteindelijk dus nog best veel karma mee krijgen.

Dan moet je wel als een idioot alle reviews gaan beoordelen. Dat alleen om een beetje karma te verdienen. In die tijd kun je beter 1 goede review maken, of ergens een uitgebreide onderbouwde posts plaatsen, die krijgt veel meer karma.

De kwaliteit van de reviews verandert waarschijnlijk niet. Het voordeel met dit waarderingssysteem is dat als er meerdere reviews zijn van een product je de beste reviews eruit kan pikken.

De kwaliteit van de reviews zou beter kunnen worden door dit systeem, want als je weet dat je review gewaardeerd wordt met sterren, dan wordt er wellicht wat meer moeite in de review gestoken.

Waarom wordt er voor deze waardering sterren gebruikt, en voor reacties op de voorpagina een balkje met kleurcodering...
... consistentie is handig bij dezelfde feature: waardering van gebruikersinvoer.

Edit, reactie Femme: Ik neem mijn commentaar terug.

[Reactie gewijzigd door frankvdtillaart op 29 februari 2008 14:35]

Omdat de moderatiebalkjes veel te klein om op te vallen op een reviewpagina en omdat de betekenis van de vier moderatieniveaus ander is dat de vijf waarderingsniveaus in de Productreviews. Het waarderen van productreviews is niet hetzelfde als het modereren van reacties en zou niet met elkaar verward moeten worden.

In de toekomst willen we de sterwaarderingen ook elders gebruiken, bijvoorbeeld in de Meuktracker om een meukupdate te waarderen. Ook in dit geval heeft het niets met moderatie te maken.

[Reactie gewijzigd door Femme op 29 februari 2008 13:27]

De tooltips van het aantal sterren op de reviewlijst (http://tweakers.net/productreview/reviewlist) laat het aantal stemmen alleen niet zien.
Er staat alleen "Waardering: 5 sterren, Aantal stemmen: " en dan geen getal.

Dit probleempje is inmiddels opgelost.

Komt zoiets ook voor de Shopreviews?

Kleine opmerking over de sortering op sterrenwaardering van reviews: Ik heb nu een oude review (2005) bovenaan staan, met 5 sterren. Nu is dat 2005 al vervelend (als ik iets ga kopen is het het meest waarschijnlijk dat ik een product van 2008/2007 wil), maar wat ik eigenlijk zou willen aanraden is het bovenaan plaatsen van de waardering met de meeste stemmen (want; die is het meest betrouwbaar!).

Dit is wel een prettige aanvulling op het review gebeuren!

Hopelijk stimuleerd het de mensen ook er een nette review van te maken, en voorkomt het onnodig veel commentaar dmv reacties. Men kan nu makkelijk een of twee sterren geven, waarmee de review vanzelf verdwijnt.

Dit is idd een mooie stap. Ik vond dat jullie al een mooie stap hadden gemaakt met het nieuwe formulier (dat in de andere .plan stond) maar moet zeggen dat het er goed uitziet met de huidige waarderingen. Ik denk ook dat dit weer iets is dat voor meer betrokkenheid bij de reviews zorgt.

Zit de notificatie bij een reactie op de review, die ik in de vorige .plan aankaartte, er trouwens ook al in?