Onderzoekers: bewijs dat Google zoekresultaten manipuleert

Onderzoekers die in opdracht van Yelp opereerden, beweren dat Google zijn zoekresultaten manipuleert om zijn eigen diensten voor te trekken. Google zegt zelf dat het gebruikers enkel de beste resultaten wil voorschotelen.

Uit het onderzoek blijkt dat Google-gebruikers 45 procent vaker doorklikten in een kaart met geografisch geplaatste zoekresultaten als die zogenoemde 'organische' zoekresultaten bevatte, in plaats van zoekresultaten van Google+. Ook waren de zoekresultaten completer wanneer Google+ niet werd 'voorgetrokken'; in één voorbeeld worden 719 recensies vertoond in de organische resultaten, tegen 31 recensies in Googles versie.

De onderzoekers, die door recensiesite Yelp werden betaald en samenwerkten met het data-onderzoeksteam van Yelp, onderzochten de resultaten van een browser-plug-in die Yelp samen met een aantal andere Google-concurrenten ontwikkelde. Daarin werd de zogenoemde OneBox vervangen door een eigen implementatie, die bepaalde diensten niet zou voortrekken. De OneBox is een lijst met geografische zoekresultaten, die bijvoorbeeld wordt getoond als een gebruiker op een restaurant of café zoekt.

Een van de onderzoekers, Tim Wu, zegt tegenover Recode ondanks de financiële vergoeding van Yelp wel onafhankelijk onderzoek te hebben gedaan. Volgens de onderzoekers bewijzen de uitkomsten van het onderzoek dat Google zijn eigen diensten wel degelijk voortrekt, en niet de resultaten toont die het best zijn voor de gebruiker, zoals Google zelf beweert. In dat geval hadden gebruikers wel vaker doorgeklikt, zo is de gedachte.

Wat wel opvalt aan het onderzoek is dat de onderzoekspopulatie relatief klein was: die bestaat uit 2700 mensen, die bovendien zelf de plug-in hebben geïnstalleerd. Statistisch is er op het onderzoek dan ook het een en ander af te dingen. Ook opvallend is dat onderzoeker Wu in 2013 nog het tegendeel beweerde.

De Europese Commissie beschuldigt Google ervan zijn eigen prijsvergelijker Google Shopping voor te trekken in de zoeksresultaten. Ook onderzoekt de Commissie of Google zijn machtspositie met Android misbruikt.

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Reacties (118)

Geweldige zin uit het artikel in de link: "Although the Yelp study does not disclose its full methodology, its statistical approach looks sound.". O ja joh?!? Google verwijten geheimzinnig te doen en niet transparant en liegen, en zelf....

Dit is geen aselecte groep, het is geen dubbel blind experiment, het heeft een reikwijdte van niks. Goedkope yelp (wtf is yelp?) propaganda.

Propaganda? De dingen die in met het onderzoek worden bewezen zijn op intuïtie al nogal duidelijk.

Samengevat komt het onderzoek hier op neer:
Bij het zoeken naar restaurants e.d. toont Google niet alleen de "organische" (normale, door hun pagerank algoritme uitgezochte) resultaten, maar voornamelijk een overzicht op een kaartje waar bijna alleen maar bedrijven met een Google+ pagina op staan.
Er wordt met "onvolledig bekendgemaakte methodologie" via een Chrome plugin onderzocht dat gebruikers 45% eerder op resultaten zouden klikken als ze met Google's organische resultaten (dus met hun algoritme en niet puur op basis van Google+) in hetzelfde overzicht geplaatst zouden worden. Het grote verschil hier is dat Google's organische, betere, resultaten zowel de gebruikers helpt om het best passende bedrijf te vinden, als ook bedrijven helpt beter gevonden te worden, maar Google laat dit vallen om Google+ te versterken en de concurrentie terug te dringen. Dit gaat tegen Google's eigen claims in, namelijk dat het puur de beste resultaten aan de gebruikers wil voorschotelen. Deze argumentatie hebben ze in rechtszaken gebruikt.

Je kan wel meteen van propaganda gaan schreeuwen omdat dit door een Google concurrent is gefinanceerd, maar ik vind het onderzoek logischerwijs toch aardig kloppen. Jij niet?

[Reactie gewijzigd door Jaahp op 30 juni 2015 01:19]

1. Intuitie... Wiens intuitie. De mijne zegt wat anders. De mijne zegt dat yelp een onderzoek heeft gedaan waarvan de uitkomst al bij voorbaat vaststond. En dit onderzoek geeft me gelijk. Conclusie: het is vooringenomen ter faveure van yelp (wtf is yelp).
2. Het onderzoek is gedaan bij gebruikers die zelf een plugin installeerden. De waarde van het onderzoek is daardoor nul. Iemand installeert een plugin, gaat zijn surfgedrag aanpassen, want hij heeft het ding niet voor niks, toch? Een test met een groep die een specifieke voorkeur heeft is geen test.

1. Intuitie... Wiens intuitie. De mijne zegt wat anders. De mijne zegt dat yelp een onderzoek heeft gedaan waarvan de uitkomst al bij voorbaat vaststond. En dit onderzoek geeft me gelijk. Conclusie: het is vooringenomen ter faveure van yelp (wtf is yelp).

Wtf is Yelp? Een website waarop je je bedrijf kunt aanmelden en die in de VS tamelijk populair is.

2. Het onderzoek is gedaan bij gebruikers die zelf een plugin installeerden. De waarde van het onderzoek is daardoor nul. Iemand installeert een plugin, gaat zijn surfgedrag aanpassen, want hij heeft het ding niet voor niks, toch? Een test met een groep die een specifieke voorkeur heeft is geen test.

Die plugin, dat is de testmethode. Hoe moeten ze dit anders realiseren? Maar inderdaad - niemand zal die plugin installeren, behalve misschien trouwe Yelp-gebruikers, en die hoeven ze toch al niet te overtuigen. Dus dat is het hele punt van dit onderzoek - duidelijk maken dat als Yelp resultaten naast Google Plus getoond worden in het kaartje, dat er vaker op Yelp geklikt wordt. Niet gek natuurlijk, als dat nu gewoon niet kan.

En als ze geen verschil hadden gevonden, dus als gebruikers altijd op de tekstlinks klikten en daar wel op Yelp klikten, dan was dit onderzoek niet gepubliceerd, en had Yelp de conclusie getrokken dat dat kaartje niks uitmaakte voor hen. Dan hadden ze dit af kunnen sluiten en zich kunnen richten op andere zaken.

In het tweede deel van je betoog maak je de denkfout door de beperkte selecte groep plugin installeerders te generaliseren tot "de gebruiker". Nee, het zijn niet de generieke gebruikers, het zijn de installeerders van de plugin. Dat is een heel ander ding.

Als je in het document duikt blijkt het ook gebaseerd te zijn op "mechanical turks". Lijkt me een perfecte methode, toch?

Genoeg onzin hierover, /out

1. In het onderzoek worden toch duidelijke punten gemaakt waar je, hoe skeptisch je ook bent, niet makkelijk om heen kunt.
Er komt inderdaad een uitkomst uit het onderzoek waar Yelp (en andere zoekmachines, gebruikers en bedrijven) baat aan hebben, en Google niet. Ik vind het in dat geval een stuk aannemelijker dat Yelp al een vermoeden had dat Google resultaten manipuleert, en daarom het -onafhankelijke- onderzoek heeft gestart, waarschijnlijk om te gebruiken in rechtszaken; tegenover dat ze een voormalige adviseur van de FTC hebben omgekocht om resultaten te manipuleren, wat strak illegaal en fraude van de hoogste plank is.

2. Met de plugin wordt aangetoond dat mensen vaker doorklikken naar restaurants e.d. als ze in een lijst met meer en hogere reviews worden getoond (in plaats van alleen op basis van een schraal aantal G+ reviews). Durf eens te beweren dat het niet zo is...
Verder zijn er nog wat testjes van waar op de resultaten pagina de gebruikers het meest klikken, de resultaten zien er hier ook logisch uit, en dat lijkt me ook niet iets wat 2700 mensen bewust en universeel op een afwijkende manier kunnen doen.

Uh... Een zoekmachine die de resultaten van een zoekopdracht "manipuleert". Dat is toch juist de doelstelling van een zoekmachine. Dit onderzoek slaat dus nergens op, want iedere zoekmachine doet dat. Een schot voor een open doel en niet meer dan een marketingstunt.

Pff... verdiep je eens voordat je dat soort conclusies trekt.

Manipuleren in de zin van bewust suboptimale resultaten aan de gebruiker bieden om concurrenten buiten te sluiten.

Blijkbaar nog niet eerder een zoekmachine implementatie gedaan. Dan zou je dit niet schrijven. Ieder bedrijf doet dit die "gratis" informatie levert.

Het gaat nog een stapje verder: het onderzoek is niet gefinancieerd door Yelp, het onderzoek is uitgevoerd door Yelp: http://www.slideshare.net/lutherlowe/wu-l

Overigens liggen Yelp en Google al een tijdje met elkaar overhoop. Yelp was een van de bedrijven die de FTC vroegen om Google te onderzoeken en tevens dezelfde aanvraag hebben gedaan bij de EU. http://time.com/2969709/yelp-google-antitrust/

Het onderzoek wordt geleid door Tim Wu die niet bij Yelp werkt, alle 4 personen van het Yelp team zijn of data-analisten of ITers die zijn afgestudeerd bij Boston of Stanford.
In de wetenschap kan je niet zomaar wat bias in je onderzoek verwerken: het onderzoek moet wetenschappelijk correct zijn en duidelijke conclusies trekken. Dat schijnt het mij ook te zijn, maar je kan het natuurlijk voor jezelf beoordelen.

Ik vind het wat te makkelijk om het onderzoek volledig af te keuren op basis van de belangen van de werkgever van de onderzoekers. En, ja, Yelp heeft waarschijnlijk het onderzoek gestart om hun vermoeden te bevestigen, maar wie gaat het anders doen? Zonder fraude kan je via wetenschappelijk onderzoek niet je zin doordrukken.

Yelp is een review-site voor o.a. restaurants die er om bekend staan bedrijven te chanteren om te betalen voor goede reviews omhoog te plaatsen, en slechte in de plaats omhoog zet als ze niet betalen.

Een klassiek geval van pot en ketel.

En dat maakt uit omdat...? Als een pot bewijst dat de ketel zwart ziet maakt het de ketel niet minder zwart. Google pretendeert altijd zo goed en open te zijn en het beste voor ons te willen. De realiteit is echter dat Google de waarheid verdraait voor eigen gewin.

En dat maakt uit omdat dit de resultaten van het onderzoek een stuk minder betrouwbaar maken en mogelijk dus ook 'minder zwart'.

Een mooi voorbeeld is je laatste zin, hoe kom je aan die wijsheid? Heb je hier betrouwbare bronnen van (behalve degene in dit artikel).

Dat is inherent aan kapitalisme en theorie wat betreft open markten.

Als jij werkt doe je er ook aan mee.

Wat denk je bijvoorbeeld van een verkoper in een winkel die moeilijk doet over ruilen terwijl de regels van consumentenkoop duidelijk zijn? Waarom doet de verkoper dat? Moet dat van zijn baas? En toch gebeurt het dat mensen hemel en aarde moeten bewegen om hun recht te krijgen, vandaar al die consumentenprogramma's op tv, zoals Kassa.

Dat is wijsheid. En die heb je of heb je niet.

Zeg je hier dat je alleen wijs bent als je zegt dat google alles manipuleert???

En ik heb tot nu toe zelden problemen met ruilen gehad. Zie wel personen die gedragen kleding komen ruilen....

Nee, dat is een denkfout. Je kunt niet concluderen uit wat ik schreef dat ik meen dat iemand alleen wijs is als google manipuleert.

De conclusie komt niet overeen met de argumenten zogezegd.

Ik schrijf slechts dat kapitalisme en open economische theorie rond open markten zonder uitzondering leiden tot een vorm van corruptie in mensen en daar noemde ik een voorbeeld, consumentenkoop.

Ik heb algemene, commerciële en bedrijfseconomie gehad in mijn opleiding en commerciële vorming. Mijn 'wijsheid' is dus grotendeels feitenkennis, maar ik meen oprecht dat je geen zware commerciële of economische opleiding gehad hoeft te hebben om te snappen dat corporaties amoreel zijn, dus geen morele en/of ethische beginselen nastreven (hoewel dat wel kan, zo men daarvoor kiest, o.a. genaamd 'maatschappelijk verantwoord ondernemen).

google heeft de slogan 'don't be evil' maar maakt dat niet waar. Een corporatie is een organisatie en organisaties zijn rare dingen. Terwijl mensen van zichzelf vinden dat ze moreel gevoelig zijn en goed en fout van elkaar kunnen onderscheiden, kan de organisatie waarvoor ze werken haaks staan op dat normen- en waarden besef.

Zo gaan er elke dag, hoeveel, duizenden mensen een kantoor van de NSA in op Maandag, terwijl ze Zondag in de kerk zaten, Zaterdag oude kleding inleverden bij een plaatselijk goed doel en Vrijdagavond de buurman hielpen met een verbouwing. Zo gaan er elke dag honderden werknemers van google hun kantoor in hun hoofd vol nobele gedachten dat ze de wereld, de samenleving verbeteren door op enorme schaal data te mijnen, apps en systemen en apparaten te ontwikkelen die privacy schaden.

Zo gaan er elke dag duizenden ambtenaren naar hun werk die bestuurskunde hebben gestudeerd met als hoop en als doel hebbende de samenleving voor ons allen te verbeteren, maar die op het moment dat een aanvraag voor subsidie niet 100% in orde aangeleverd werd, ijskoud de zaak afwijzen, die ijskoud soms informatie opvragen die ze niet nodig hebben.

Zo gaan er elke dag agenten naar het werk, waar ze zich in een uniform hijsen en hopen de samenleving te beschermen tegen criminelen, maar wel met hun volle verstand een arrestant zo behandelen dat ie er aan overlijd.

De discrepantie tussen persoonlijke nobelheid, ethische principes, norm-en waarde besef, idealen etc. en de organisatie waar men in werkt kun je uitdrukken als een hoekmeting in graden. Hoe groter de hoek, hoe groter de zelf-deceptie bij mensen.

Moet je je voorstellen hoe sterk die hoekfunctie was bij Nazi's. Of bij IS.

Organisaties hebben een eigen identiteit die los staat van het individu.

Omdat in feite alles een medium is, net als technologie, is ook organisatorisch verband een medium voor ons mens-zijn. Daarmee gebruikt, met als bij technologie, de mens de organisatie en de organisatie de mens. (Een medium is alles wat een extensie is van ons lichaam of geest, een organisatie in de zin van een rechtspersoon zoals een bedrijf is een extensie van de menselijke inherente sociale behoeften.)

Al deze tekst is jouw schuld.

Dankjewel voor deze demonstratie van de hefboomwerking (heb ik tijdens mijn studie natuurkunde gehad, en tijdens mijn werk voor amorele banken haha). Mijn 34 woordjes levert er 491 van jou op.

Ik ben het overigens niet met je eens dat er een oorzakelijk verband is tussen kapitalisme en open markten enerzijds, en corruptie anderzijds. Corruptie komt overal voor waar iemand diensten kan verrichten of onthouden, zonder dat daar een directe consequentie tegenover staat. Je wilt me toch niet vertellen dat dictaturen geen corruptie kennen (china, zimbabwe, enkele arabische staten...).

Oftewel logisch:
laat A: kapitalistisch systeem
B: niet kapitalistisch systeem
zodanig dat de verzameling van A en B alle systemen omvat
C: corruptie

Dan geldt: als A dan C, én als B dan C
Dus altijd C onafhankelijk van A en B.

Ik ben het wel met je eens dat het bij het mens zijn hoort, of specifieker, uit systemen die gebaseerd zijn op evolutie.

Geniet van het warme weer, dat is niet mijn schuld

Dictaturen zijn ook organisaties. Mensen doen zowat alles in organisatie. Alleen zelfstandigen, tegenwoordig ook vaak zzp'ers genoemd, werken alleen. En daar boeten ze helaas ook nog voor.

Menselijke corruptie is er overal. Vooral binnen islamitische staten die vrijwel zonder uitzondering dictaturen zijn in een of andere vorm.

491? Dat zal wel een gemiddelde zijn. Ik smelt nu al weg. 491F hier.

Yelp the yellow pages bij ons ook wel bekend als de Gouden Gids.

Dat is niet waar. Yelp en YP (vroeger Yellow Pages) zijn twee aparte bedrijven, en voor het grootste deel zelfs concurrenten.
http://searchengineland.c...-google-yelp-local-183745

Yelp is zoals preske hieronder al zegt een reviewsite. Bij ons niet zo bekend, maar in de US wordt het zéér veel gebruikt. Het principe is wat te vergelijken met tripadvisor, maar dan vooral voor restaurants.

Het onderzoek is betaald door Yelp.
methodes van onderzoek niet bekend gemaakt... (lekker wetenschappelijk)

en verder kan men bij yelp tegen betaling negatieve reviews verwijderen...
de pot verwijt de ketel hier...

[Reactie gewijzigd door freaq op 29 juni 2015 21:03]

Wel erg rijk dat Yelp, of all companies, hierover klaagt. Yelp is zelf een van de grootste extortiepraktijken van het Internet, waar Tweakers ook meermaals over gerapporteerd heeft. Een bedrijf dat reviews en beoordelingen manipuleert om andere bedrijven tegen vergoeding ervoor te laten zorgen dat ze positiever op de site staan, tegenover bedrijven die zich niet bij Yelp ingeschreven hebben en daar vol zwart worden gemaakt.

Ach het gaat om geld en zie het zo er zijn maar heel weinig bedrijven die een goede moraal hebben als het om geld aankomt.

voor de meeste is het apkken wat je pakken kan, op welke manier dat maakt niet uit. manipulatie van resultaten, reviews is daar gewoon een onderdeel van.

2700 deelnemers en nog wordt getwijfeld aan de statistiek? Was de power erg laag voor 2700 mensen? Sorry hoor maar er worden dagelijks onderzoeken geplubiceerd met N=20 of zelfs minder en toch kun je ook daar vaak wat over zeggen. Natuurlijk gebruiken een hoop meer dan 2700 mensen Google maar gelukkig hoef je voor statistiek niet een significant deel van de populatie te onderzoeken om iets zinnigs te zeggen.

Natuurlijk wordt er onzettend veel gesjoemeld met statistiek, maar om zonder enige uitleg kritiek te hebben op de sample size is natuurlijk ook niet de bedoeling

Je moet wel een representatief onderdeel van de bevolking zien te vinden om iets zinnigs te kunnen zeggen. En aangezien het vrijwel onmogelijk is om aan te geven wat representatief dan precies inhoud, is het makkelijker om er gewoon zoveel mogelijk te hebben. En dan nog zit je er makkelijk mee dat mensen die zich graag vrijwillig opgeven voor dit soort onderzoeken niet perse representatief zijn.

Een representatief deel van de bevolking zegt niets over de grootte van de groep. Het zegt alleen iets over de verdeling. Dus alle leeftijden en alle soorten gebruikers. 2700 gebruikers is ruim voldoende om verschillen aan te geven.
Het aantal keer doorklikken is natuurlijk wel afhankelijk van het aantal resultaten. Als je alleen de sortering wilt onderzoeken zal je het aantal resultaten dus gelijk moeten houden.
Blind onderzoek geeft sneller resultaten, maar bij een goede vraagstelling is dat niet altijd noodzakelijk.

Dat Google zich zelf een beetje voortrekt is eigenlijk logisch, maar te veel is machtsmisbruik. Dat laatste geldt niet als er meerdere, gelijkwaardige alternatieven zijn. Die is er in elk geval in de vorm van BING. Als je daar gaat kijken welk bedrijf daar achter een deel van de recenties zit komt Yelp weer tegen. Dat zet wel vraagtekens bij de onafhankelijkheid van het onderzoek.

Dat zeg ik dus... het gaat om de verdeling. Maar testgroepgrootte is alleen niet belangrijk als je precies weet wat die verdeling dus moet zijn. En dat is nou juist vaak niet duidelijk, zoals jouw eigen voorbeeld al aangeeft. Want alle leeftijden en alle soorten gebruikers is dus al niet representatief: de verhoudingen van leeftijden en soorten gebruikers en de wegingsfactoren die je dus op testresultaten toepast zijn minstens net zo belangrijk (als je maar 1 gebruiker van 103 jaar oud hebt van de miljoen gebruikers is die echt niet zo belangrijk). En zoals ik al zei, dat is vaak onduidelijk of zelfs iets waar je onmogelijk kunt weten. Je verdeling is perfect als alle gebruikers bij de test betrokken waren; hoe minder je bij de test betrekt, hoe beter je moet begrijpen welke verhouding er zouden moeten zijn om nauwkeurig te blijven. Je moet dus een balans vinden tussen 'iedereen' en 'perfecte kennis van verhoudingen' en dat doe je door een voldoende grote groep te gebruiken, want grootte compenseert onwetendheid. 2700 op diensten die door miljoenen gebruikt worden is heel erg mager voor mijn gevoel.

Zelfs als je wel een beeld hebt van de leeftijden, soorten gebruikers en de juiste verhoudingen hebt, dan zijn er nog steeds grote verschillen tussen individuen binnen die groepen die in eerste instantie niet belangrijk leken maar dat misschien stiekem wel zijn. Wederom, hoe groter de testgroep, hoe beter je deze unkown unknowns afvangt. Toegegeven, in dit onderzoek zal dat waarschijnlijk niet zo heel erg gespeeld hebben.

Dus is grootte alles bepalend? Nee niet alles; niet als je een duidelijk beeld hebt van de verhoudingen, voor zover dat kan. Maar om te weten hoe goed ze met verdeling problemen, etc. omgegaan zijn moeten ze de onderzoeksmethode openbaren. Dat doen ze niet, dus is de enige manier dat je nog redelijk zeker kunt zijn van hun resultaten ongeacht methode (als outsider) dat ze een zo groot mogelijke testgroep hadden.

En inderdaad ik heb sterk mijn twijfels bij de onafhankelijkheid, vooral vanwege het niet willen openbaren van de onderzoeksmethode. Sowieso vind ik dat je elk 'onderzoek' dat niet openbaar gemaakt wordt eigenlijk zou moeten negeren, on principle. Bovendien vind ik de fundamentele aanname 'meer doorklikken = betere resultaten' nogal simplistisch en kennelijk hebben ze de gebruikers zelf niet gevraagd hoe ze dat meer doorklikken ervaren hebben. Je kunt net zo goed aannemen dat 'minder doorklikken = sneller gevonden'. Als ik 700+ recensies op m'n kaart krijg zou ik er in ieder geval niet echt naar uitkijken om die allemaal door te moeten spitten ;-) Na 45 keer vaker dan bij google doorklikken zou ik het ook wel opgegeven hebben :-D

---
voor de volledigheid moet ik er trouwens wel bij zeggen dat grote testgroepen weer hun eigen problemen leveren. Omdat je steeds meer unknown unknowns afvangt krijg je allerlei afwijkende datapunten die als je gelukt hebt duidelijk maken wat je unknowns waren, maar er ook voor kunnen zorgen dat je data juist onoverzichtelijk wordt. Bij hele grote groepen kan het dus zijn dat je weer de meest afwijkenden moet gaan uitfilteren om een overzichtelijk beeld te houden. De optimale grootte van je testgroep bepalen valt wat dat betreft dus niet mee, maar in de praktijk wordt die toch meestal door budget bepaald, wat het dus nog belangrijker maakt om je onderzoeksmethode openbaar te maken.

[Reactie gewijzigd door StefanDingenout op 30 juni 2015 00:28]

Kan allemaal wel kloppen, maar met een Google marktaandeel van (voor search activiteiten) om en rond de 95% is mi zowat elke steekproef ok. Het is niet dat google bij een bepaalde leeftijds/doelgroep minder bekend is... De vraag is dus eerder zijn die 5% overige gebruikers voldoende significant om de eind-conclusie te beinvloeden.

Dat is ook wel weer zo, maar alleen als die 2700 ook een goed verdeelde groep was. Aangezien ze hun onderzoeksmethode niet willen openbaren weet je dit niet; het kan net zo goed zijn dat ze bijna allemaal in dezelfde leeftijdscategorie of doelgroep zaten.

Mijn probleem met het onderzoek is ook niet zozeer de grootte van de groep (met de juiste methodiek kan die prima zijn) als dat ze geen openheid geven. Dat ruikt sterk naar een lage betrouwbaarheid van het onderzoek, al dan niet opzettelijk, te willen verbergen. Of dat ze zelf niet precies bijgehouden hebben wat ze gedaan hebben en het niet kunnen laten zien, wat ook lage betrouwbaarheid inhoud.

Ik vermoed dat ze een plugin hebben laten tracken die deze gegevens gewoon niet weet. Of die steekproef eigenlijk totaal niet op de hoogte is van het feit dat hun gedrag werd/wordt geanalyseerd. Hence geen info over de doelgroep.

Het zal dus zeker geen theoretisch mooi verdeelde groep zijn. De vraag is of het in geval van google-gebruik wel uitmaakt gezien de penetratie-graad van Google in ons dagelijkse zoek-gebeuren.

Niet dat ik begrijp dat je reserves hebt (opdrachtgever, methodiek, steekproef).

Dat wou ik inderdaad ook al opmerken. Relatief klein bestaat niet echt in deze statistiek. De populatiegrootte maakt namelijk vrijwel niets uit, maar men blijft helaas denken dat je 'x' % van je populatie moet ondervragen voor een nauwkeurig onderzoek.

N=2700 komt neer op een 2.5% confidence interval met 99% confidence level. Heel nauwkeurig dus. Wat wel zeer kwalijk is, is dat de selectie niet random maar biased was.

Wiskundig correct, met de aanname dat de er geen bias in de sample zit. En daar heb ik sterk mijn twijfels bij, mede door de zinsnede:
De onderzoekers, die door recensiesite Yelp werden betaald en samenwerkten met het data-onderzoeksteam van Yelp, onderzochten de resultaten van een browser-plug-in die Yelp samen met een aantal andere Google-concurrenten ontwikkelde.

De kans op "Wiens brood men eet, diens woord men spreekt" is dan wel uitermate groot.

Ofwel: Extra onderzoek is vereist. Als het echt het geval is (wat ik niet uitsluit) dan horen we er vast wel meer over

Een opdrachtgever heeft in de meeste gevallen geen baat bij een onjuist uitgevoerd onderzoek. Stel dat Yelp de resultaten wil gebruiken in een rechtzaak o.i.d. tegen Google, dan moeten de onderzoeksresultaten wel op een behoorlijke manier zijn uitgevoerd. Zo niet, dan kunnen ze na een half uur de case sluiten.

Dat is niet zo relevant in de meeste gevallen. Vaak is het plaatsen van twijfel al opportuun genoeg. Ook al zou zo'n onderzoek in een rechtzaak meteen van tafel worden geveegd dan is het zaadje van twijfel al geplant en is er misschien toch al "winst geboekt".

En, mocht je twijfel hebben (pun intended) dan raad ik je de documentaire "Merchants of Doubt" aan. Daarin wordt (m.i.) goed uitgelegd hoe effectief het zaaien van twijfel is.

In dit geval is het nogal logisch dat men een doelgroep mét die Yelp browser plug-in gebruikte. Het ging er immers om om te laten zien dat de Google resultaten een veel minder resultaat gaven dan een alternatief. Om dat te laten zien, moet dat alternatief natuurlijk wel geinstalleerd staan bij de doelgroep...

...maar gelukkig hoef je voor statistiek niet een significant deel van de populatie te onderzoeken om iets zinnigs te zeggen.

ik dacht dat het juist uitdrukkelijk wèl de bedoeling was om een significant deel van de populatie te onderzoeken...
2700 lijkt me overigens best representatief te kunnen zijn. In veel eenvoudige onderzoeken worden statistisch significante verschillen gevonden met een populatie van 2 keer 100 mensen.

Veel onderzoeken hebben een significant verschil juist vanwege de kleine populatie.
Dat er een significant verschil is zegt niet meteen dat een relatie is. Helaas word bewust of onbewust statistiek vaak onjuist toegepast.

Linkje manipulatie
http://io9.com/i-fooled-m...e-helps-weight-1707251800

Linkje ban vanwege verkeerd gebruik
https://www.sciencenews.o...ournal-giant-leap-science

Veel onderzoeken hebben een significant verschil juist vanwege de kleine populatie.

een beetje fatsoenlijk onderzoek houdt daar uiteraard rekening mee. Ik herinner me de details niet meer van mijn cursus statistiek op unief, maar er zijn een heleboel griekse letters die wel degelijk rekening gehouden met de grootte van de steekproef om te bepalen of iets al dan niet significant is.

Absoluut, helaas blijkt ook dat door de druk om te presteren als ook door gebrekkig begrip van de statistiek dat vaak verkeerd gebruikt wordt en het peer review systeem ook zo zijn hiaten heeft.

Er zijn helaas teveel foute onderzoeken of publicaties die soms zelfs lang nadat ze reeds ingetrokken zijn nog de publieke opinie en debatten beinvloeden.
Dat vindt ik een kwalijke zaak.

Om terug te komen op dit onderzoek, gezien de omstandigheden heb ik er bar weinig vertrouwen in. De conclusie kan mogelijk correct zijn, maar het onderzoek zelf bied me geen vertrouwen.

- Onderzoeker niet onafhankelijk (heeft vergoeding van YELP)

- Claims worden op een voor YELP gunstige manier geinterpreteerd maar gebaseerd op de uitspraak uit de bron kan je daar ook een andere kant mee op.
1) "We find that user are 45% more likely to engage with universal search results"
2) "This suggests that by leveraging dominance in search to promote its internal content, Google is reducing social welfare - leaving customers with lower quality results and worse matches"

Ik kan 1 ook zo lezen dat de resultaten minder duidelijk voor me ze zijn en ik vaker moet klikken voor nadere informatie om een keuze te maken.
Als ik terug denk aan Webcrawler (goh het bestaat nog steeds!) etc. moest ik toch vaker klikken voor ik vond wat ik wilde weten.
NOTE: persoonlijke gebruikerservaring, zegt NIETs over de massa.
- Persoonlijke gebruikers ervaring, net op een aantal topics gezocht zoals onder andere YELP, restaurants en diensten zoals google die ook aanbied met Duck Duck Go, webcrawler, bing, etc. - Conclusie voor mij persoonlijk ben ik het eens met de Google statement op Slide 2 "Your search just gets better and better over time". De andere geven me teveel informatie die ik niet wil zien of niet bruikbaar vind. Google geeft me in de meeste gevallen het snelst wat ik nodig heb, als ik uit mijn personalized Google Bubble wil dan kies ik er bewust voor om andere bronnen te gebruiken.

Als ik een voorbeeld van Slide 4 nadoe (Pediatricians Toronto)
Krijg ik inderdaad bovenaan een kaart met Google resultaten die direkt op de kaart gelinkt zijn, echter direkt onder de kaart komt een lijst die een hele andere rangorde. Die is echter niet direkt aan de kaart gelinkt kan worden omdat Google de kaart niet combineert met resultaten van andere review sites zoals YELP heeft gedaan. Till Davy nummer 2/B op de kaart lijst is daar de eerst voorkomen van de Google map, maar pas op plaats 8.

Ik kan me bijvoorbeeld wel goed vinden in mening op slide 6 of 7 wat betreft het gebruik van andere review sites maar dit zou mijns inziens een keuze moeten zijn. Een soort van Pandora achtige functie/optie voor search zie ik wel zitten maar dat kan mogelijk niet voor iedereen fijn zijn (meer van dit, meer van dat, etc.) Google doet dit al deels automatisch, maar ik zou het fijn vinden om een actieve keuze te kunnen maken en ook af en toe de optie om filters compleet te kunnen uitschakelen.

En nou ben ik benieuwd welk onderzoek met n<20 als relevant worden bestempeld......

Ik denk dat het niet zozeer gaat om het pure aantal van 2700 (dat lijkt me prima), maar om

die bovendien zelf de plug-in hebben geïnstalleerd.

De populatie heeft specifiek een plugin geïnstalleerd ten behoeve van het onderzoek van Yelp. Ze zijn zich dus bewust van dat hun zoekresultaten worden aangepast en dus al meer gemotiveerd. Je zou in principe elk ander resultaat daar kunnen voorschotelen en nog steeds 45% meer doorklikkers kunnen hebben, simpelweg omdat ze er bewuster mee bezig zijn. Daarmee is de populatie - hoe groot ook - geen geschikte populatie meer.

Vergelijk het met zoiets: je vertelt een groep mensen dat je onderzoek gaat doen naar het aantal blonde personen wat ze op een dag tegenkomen. Een andere groep vertel je niets. Aan het eind van de dag vraag je beide groepen hoeveel blonde mensen ze denken zijn tegengekomen. Gegarandeerd dat je 2 totaal verschillende resultaten krijgt.

De enige goede manier om dit te onderzoeken is een dubbelblinde A/B test: schotel random de "Yelp" versie en de Google+ versie voor aan bezoekers die niet weten dat ze deelnemen aan dit onderzoek. Vergelijk dan de verschillen in het gedrag van die bezoekers. Dan komt daar een resultaat uit wat aangeeft in welk geval er vaker doorgeklikt wordt, maar óók of ze direct weer terugkeren en verder zoeken (oftwel: niet gevonden wat men zocht).

Dergelijke testen zijn heel gebruikelijk als je het hebt over website optimalisatie en ik durf mijn handen ervoor in het vuur te steken dat Google dit ook wel gedaan heeft. Dat daarbij het pushen van Google+ ook een rol speelt lijkt me ook wel weer een heel voor de hand liggende aanname.

Klassieke fout: je blindstaren op het aantal deelnemers.

Hmm ik ben benieuwd of dit nog een staartje krijgt. Want het zijn geen onafhankelijke onderzoekers aangezien ze voor Yelp het onderzoek uitvoerde.

[Reactie gewijzigd door Kapitein187 op 1 juli 2015 08:09]

Als er iemand aan het opletten is, dan zal dit wel een vervolg krijgen.

Dat je vraagtekens zet bij dit onderzoek, is natuurlijk heel logisch, immers probeert iedereen de ander zo slecht mogelijk af te schilderen en jezelf zo goed mogelijk. Dat gezegd is een onderzoek als deze voldoende reden om wel een onafhankelijk onderzoek te doen, om te kijken waar deze resultaten vandaan komen, of dit een uitzondering is, of dat Google werkelijk de boel flink loopt te flessen.

Ik denk dat ieder weldenkend mens wel begrijpt dat hier een kern van waarheid in zit, buiten het feit dat Google al heeft bewezen om constant hun eigen diensten voor te trekken, is dat ook vrij logisch. Wanneer jijzelf een dienst ontwerpt die goed werkt, ook al is het wel niet de grootste, dan is dat de dienst van jouw voorkeur. Dit alles natuurlijk nog wel na enige redelijkheid.

Ik heb net als test even gezocht op 'maps' bij zowel Google als Bing, bij beide komt Google Maps als eerst naar voren, maar waar Bing maps op de tweede pagina komt bij Google, komt die bij Bing zelf direct na Google Maps tevoorschijn.
Zoek je naar email, dan is bij Google na een advertentie Gmail als eerste en bij Bing Hotmail als eerste, na wederom advertenties.

In beide gevallen zijn dat redelijke resultaten en valt er weinig over te zeggen, maar bij de resultaten zoals ze die laten zien in dit bericht, kan je dat absoluut niet zeggen. Dus dan is echt de vraag, is dit de uitzondering, of vindt Google zich zo superieur dat ze al hun diensten voor die van andere plaatsen.

Bij mij staat Bing anders gewoon op de eerste pagina bij dezelfde zoekopdracht bij google. Welliswaar na google maps, wikipedia, garmin, streetview en om de een of andere reden schiphol. Maar buiten schiphol lijkt het me een vrij realistische ordening van 'belangrijkheid'. Google maps, wikipedia en garmin zijn voor mijn onderbuikgevoel in ieder geval echt wel meer gebruikt dan bing.

Ook bing geeft voor meer dan de helft 'google' resultaten weer en begint met google maps, dus als de concurrent al aangeeft dat google groter/belangrijker/meer gebruikt is... Sterker nog, google geeft bij mij veel minder google resultaten dan bing doet. Dus vergeleken met bing filtert google zichzelf gedeeltelijk weg.

Maar dit was mijn hele punt niet. Mijn punt was dat alle bedrijven hun eigen diensten hoger waarderen, dan die van andere. De vraag is dan alleen of dit binnen redelijkheid is. Jij geeft zelf aan dat je gevoel zegt dat diverse sites meer gebruikt worden dan Bing maps, dat lijkt me dan ook een redelijk gevoel, net zo goed dat ik het redelijk vindt dat Bing Maps nr2 staat op Bing zelf.

Bij mijn 2 voorbeelden vind ik dan ook, ondanks dat de resultaten wat verschillend zijn, ze wel beide redelijk zijn, en dat is wat belangrijk is, dat je de info krijgt die je zoekt.
Wanneer jij dus een email adres wilt aanmaken, dan biedt Google je een goed eerste resultaat met Gmail, en biedt Microsoft je een goed eerste resultaat met Hotmail. Welke beter is, mwah dat maakt niet zoveel uit.

En dat is juist het verschil waarover dit artikel gaat. De onderzoekers die ingehuurd zijn door Yelp, geven aan dat Google niet optimale resultaten laat zien, dat ze niet zo dichtbij elkaar liggen dat het redelijk is dat de dienst van Google wordt getoond, maar dat de dienst van Google op een zo'n lager niveau zit, dat deze dienst absoluut niet als eerste zou moeten worden gebruikt/getoond.

Nu zou dit allemaal nog niet zo gigantisch zijn, als het niet was dat Google dit al jaren doet en ze al heel vaak op de vingers zijn getikt. Keer op keer drukken ze bestaande grote diensten aan de kant, omdat zijzelf een vergelijkbare dienst introduceren en die gebruiken voor de zoekresultaten, waardoor ze in 1 keer een gigantische gedeelte van de markt pakken.

Tja, ik heb er dan heel erg mijn twijfels over of die onderzoekers wel een realistisch onderzoek gedaan hebben. Erg kleine testgroep, geen uitleg willen geven over hun onderzoeksmethode... Ik vind het allemaal nogal WC eend.

Dat 'organische resultaten', wat dat dan ook mogen zijn, meer recensies laat zien of dat gebruikers meer aanklikken wil niet perse zeggen dat ze meer nut hebben of beter zijn. Kennelijk is er niet aan de gebruikers gevraagd wat ze beter vonden; het artikel noemt alleen de aanname dat meer doorklikken = betere dienst. Meer klikken kan net zo goed betekenen dat je steeds opnieuw moet proberen omdat je zoekresultaten zo vaag zijn, terwijl je met goede zoekresultaten aan 1 keer doorklikken voldoende had. Andere aanname, compleet tegenovergesteld resultaat met hetzelfde onderzoek... Wat precies de reden is dat bij een fatsoenlijk onderzoek de methode openbaar is.

En dat Google op z'n vingers tikken valt ook wel mee. Het is meer dat keer op keer iemand Google aanvalt en er de meeste keren niets aan de hand blijkt te zijn, of dat Google dan uiteindelijk maar wat zinloze maatregelen doorvoert die niks veranderen om van het gezeur af te zijn.

Google zal het nooit goed doen zo lang hun eigen dienst boven aan staat.

Ik vind dat ook niet echt kwalijk te noemen. Wat kwalijk zou zijn is als er bewust dingen worden weggefilterd. Nu komt iets hoger op een lijst te staan, dat verplicht toch niemand om dan daar ook maar op te klikken/gebruik van te maken?

[Reactie gewijzigd door DeathMaster op 29 juni 2015 19:20]

Dat geldt toch ook voor IE op Windows? IE wordt dan standaard meegeleverd, maar je hoeft het niet te gebruiken..

Wat ik wil zeggen is dat Google vooraan staat als het allemaal oneerlijk is (lees: in hun nadeel), maar is zelf geen haar beter. Ze pushen continu hun eigen producten, denk aan het 'Download nu Chrome voor een sneller internet' op hun zoekpagina, maar suggereren elke keer dat niet te doen.

Ik zoek zelf veel met DuckDuckGo, maar ook met Bing. De zoekresultaten lijken vaak meer zuiver dan die van Google. Bij Google kom ik vaak op dezelfde sites uit, waar diezelfde zoekopdracht in andere zoekmachines vaak andere en betere resultaten geeft.

"Nu komt iets hoger op een lijst te staan, dat verplicht toch niemand om dan daar ook maar op te klikken/gebruik van te maken? "

Dat is niet de aard van de problematiek, dat is vanuit gebruikers gedacht, maar de klachten gaan over aanbieders van gelijkwaardige diensten.

Maar men hoeft toch niet Google te gebruiken om te zoeken?
Daar is iedereen toch vrij in? Het is een dienst die Google levert (en ja dan heb je met name Google resultaten).
Het voorbeeld van de zoekopdracht 'calculator' gaat ook wel ver, wel handig dat het meteen in je resultaat beschikbaar is, en niet eerst hoeft door te klikken naar een website die dat ook te bieden heeft.

In de supermarkt bieden ze ook hun eigen merkproducten opvallender aan (ooghoogte) tenzij een bedrijven ervoor betalen om een betere plek te krijgen.

Prima dat bedrijven aantonen en duidelijk maken hoe het er bij Google aan toe gaat, maar bedrijven beboeten omdat ze een complete dienst leveren gaat wel erg ver.
Misschien moet Google maar een waarschuwing op hun beginpagina zetten:
Let op, de zoekresultaten zijn gemanipuleerd om u zo goed mogelijk van dienst te zijn.
Klik op Akkoord om door te gaan, of klik hier voor een andere zoekmachine.

Tja dat kan je zo wel stellen, maar denk nu aan de bedrijven welke simpelweg niet om Google heen kunnen. Voor hen is het kwalijk dat Google bepaald niet neutraal is met de zoekresultaten.
Je vergelijking met de supermarkt gaat volledig krom, alleen al als je kijkt naar de dominantie van Google.
Google misbruikt hun dominante positie en dat is voor zowel bedrijven als degene die zoekt nadelig.

Het grotere probleem is : Wat is neutraal?

Google zal niet een dienst in de lucht brengen die ze slecht vinden, waarschijnlijk vinden ze het zelf de beste dienst, dus ze zetten hem bovenaan.
Doordat hij bovenaan staat ziet iedereen die dienst en trekt deze "alle" kliks weg van andere diensten, bekijk na een weekje de statistieken en je zal zien dat de dienst meer kliks trekt dan elke andere concurrent, dus de toppositie is gerechtvaardigd door de kliks.

Voeg daar nog een natuurlijke filterbubbel (een MS Phone gebruiker zal sneller naar Bing grijpen, een Android gebruiker sneller naar Google) gecombineerd met de technische filterbubbel en je kan er zo ongeveer alles uitkrijgen wat je maar wenst.
Maar is het dan neutraal?

Want search-engines zijn er niet om random pages naast elkaar te zetten, search-engines zijn ervoor om het beste resultaat voor de individuele bezoeker te tonen.
En met beste resultaten zit je automatisch al in een subjectief gebied en kan ik niet meer van neutraal spreken.

Interessant dat je nu aanneemt dat Google jou de beste resultaten probeert te geven, want dat is precies waar het onderzoek op uit gaat en lijkt te ontkrachten.

Lees het eens anders: bij het voorbeeld wat ook in dit artikel wordt genoemd worden er door Google+ minder resultaten met lagere reviews gegeven: je bent als consument volgens het onderzoek dus slechter uit, en dit doet Google bewust om hun concurrenten buiten te sluiten.

"Maar men hoeft toch niet Google te gebruiken om te zoeken?"

Dat is niet de problematiek. Dat is niet waar deze klacht over gaat, of waar de klachten van de EU over gaan.

Jazeker, een gebruiker kan met 1 klik naar een andere zoekmachine gaan, maar dat is het hele probleem niet. Het probleem zit bij aanbieders die juist NIET om Google heen kunnen.

ze kunnen er niet om heen omdat google by far het beste is. En waaroom? Omdat het relevante resultaten levert. Dat minder goede diensten daar problemen mee hebben, wat dacht je dan? Misschien eerst iets aan je eigen kwaliteit doen?

[Reactie gewijzigd door Sithistar op 30 juni 2015 10:09]

Geen van de dingen die je noemt zijn relevant wanneer een dominante marktpositie misbruikt wordt. Of dat zo is, dient onderzoek uit te wijzen.

Sorry, het gaat om een flutonderzoek van yelp. Dit wordt geëxtrapoleerd naar een dominante marktpositie die misbruikt zou worden. De relevantie van die extrapolatie ontgaat me volledig.

Lekker flut onderzoek. Ook deels een open deur intrappen.
Dat een resultaat bovenaan komt betekend niet dat men er ook daadwerkelijk op gaat klikken; immers ziet men bij Google diensten vaak in de engine zelf al de beschrijving; en bij Google diensten weet men al van de diensten af dus worden die waarschijnlijk niet nog een keer aangeklikt.

Yelp neemt zichzelf ook niet bijster serieus als ze een "onderzoek" publiceren waar slechts 2700 mensen aan mee doen... Dat staat ongeveer gelijk aan 0.00008% van het dagelijkse aantal bezoekers dat Google binnenkrijgt. En dan zijn het kennelijk ook nog allemaal Yelp gebruikers.

Beetje raar verhaal.
Dit onderzoek bewijst helemaal niets. Ik bedoel... Dat betekend niet dat Google het niet doet natuurlijk, maar als we enkel op dit onderzoek moeten afgaan lach je je rot. Ik zie ze er al mee verschijnen in een rechtszaal... Wat een slechte marketing dit.

Het onderzoek is zelfs zo flut, dat google een instelling heeft om het uit te zetten :
http://www.tech-recipes.c...-posts-in-search-results/

De keuze ligt dus bij de consument wat ze het liefst hebben. Slechts weinig mensen zullen dat disabled hebben. Gepersonaliseerde content kan best handig zijn!

Het ergste is nog dat wanneer dit soort flut wordt gepubliceerd dat de meerderheid het blindelings gelooft.. Ik durf bijna te wedden dat De Europese Commissie dit onderzoek gaat aanhalen in haar "zaak" tegen Google..

Hoe kan Google nou níet zoekresultaten manipuleren? Programmeren is (data) manipuleren.

Zoekresultaten zijn geen van nature voorkomende grondstoffen geloof ik.

Hier gaat het er om dat Google kwaliteit van zoekresultaten zou opofferen om zijn concurrenten te benadelen.

Beetje lastig te beoordelen denk ik zo. De zoekresultaten zijn hoe dan ook triviaal. Het is maar net hoe je het gesorteerd wil zien, en dat is voor iedereen anders. Je doet het dus nooit goed.
En wie het beter weet kan gelukkig naar een andere zoekmachine. Blijf het gewoon een tendentieus artikel vinden, fijne clickbait natuurlijk, maar journalistiek erg zwak.
Maar jij ziet wel de waarde hiervan in?

Ja, het leuke is dat Google al een algoritme gebruikt met als doel de beste resultaten te geven, maar dit wordt nu soms in de zoekresultaten overrompeld door Google's andere, bewijsbaar slechtere, algoritme dat voornamelijk rekening houdt met Google+ bedrijven.
Dit conflicteert met Google's excuus, dat het deze dingen doorvoert om gebruikers de beste resultaten te bieden.

[Reactie gewijzigd door Jaahp op 30 juni 2015 13:44]

een algoritme gebruikt met als doel de beste resultaten te geven, maar dit wordt nu soms in de zoekresultaten overrompeld door Google's andere, bewijsbaar slechtere, algoritme

Toch wordt het lastig op het moment dat je 'de beste resultaten' wilt definiëren. Dat andere algoritmes 'bewijsbaar slechter' zouden zijn snap ik ook niet? Slechter met welke definitie?

Nogal logisch dat ze bij wc eend wc eend aanraden, en niemand die het ze kwalijk kan nemen. Wasmiddel kun je nog enigzins objectief beoordelen, maar bij zoekresultaten kun je dat niet. En zeker een concurrent niet. Hoe kom je aan 'bewijsbaar'?

Simpel gezegd wordt er voor het slechtere algoritme een fractie van de dataset gebruikt (namelijk de reviews op G+ gepost bij bedrijven die G+ hebben).
Het onderzoek bewijst het door op precies dezelfde wijze een set van user-first resultaten weer te geven in plaats van G+ resultaten. Er bleek dat er veel vaker werd doorgeklikt op deze set van meer resultaten op basis van meer/hogere reviews (zie plaatje hierboven).

Als je ziet hoe de Google algoritmes werken dan hoeven ze helemaal hun eigen diensten niet te bevoordelen boven anderen om bovenaan te komen staan. Google kan er ook niets aan doen dat de meeste concurrerende diensten minder goed zijn (in ieder geval in de ogen van de gebruikers) dan wat Google levert. En als een dienst populairder is, komt deze vanzelf hoger in de zoekresultaten.

Leuk detail: als je op "browser" zoekt, staat Chrome alleen maar bovenaan als advertentie. De eerste resultaten zijn voor Wikipedia, Firefox en Opera....

Opera en chrome zijn maar een schil verschil. En Firefox is een google gesponsored project. Met een historisch marktaandeel als dat van IE, had ik IE toch in de top3 verwacht.

Kennelijk wordt met die zoekterm minder naar IE gezocht. Op zich ook logisch. IE zit standaard al in Windows. Om Firefox te krijgen moet je al op zoek gaan. Wanneer er vervolgens ook op de Firefox link geklikt wordt dan is de relevantie voor het algoritme dusdanig dat Firefox bovenaan komt te staan.

Niemand behalve wat Google medewerkers weet hoe de algoritmes werken. We kunnen hooguit correlaties aantonen. Echter, zelfs binnen Google zal de werking minder worden omdat Google geleidelijk gaat overstappen op deeplearning.
Rete interessant onderwerp overigens. Klik hier voor meer info (Engels BBC forum, audio uitzending)

het kan best zijn dat google zichzelf hier voortrekt en persoonlijk geef ik ze daar groot gelijk in, echter dit onderzoek klinkt slecht onderbouwd uit en de discussie haalt eigenlijk de betrouwbaarheid van het onderzoek al onderuit.

Zeker gezien de personen in en gezien de grote van de steekproef kan het betrouwbaarheidspercentage van dit onderzoek niet hoog zijn geweest.

Ik ben het niet eens met het artikel en jouw stelling dat de grootte van de steekproef te klein is.

Ik ben toevallig net bezig om voor een eigen onderzoek te bepalen hoe groot mijn steekproef moet zijn, en het is opvallend dat je zelfs voor heel grote populaties gebruikers toch met een beperkt aantal proefpersonen al een betrouwbaar onderzoek kan doen.

In dit onderzoek met 2700 proefpersonen kun je stellen dat de uitkomst 99% betrouwbaar is met een maximale afwijking (in beide richtingen) in het antwoord van 2,48%. Ik ben daarbij uitgegaan van een oneindig grote groep gebruikers. Er worden veel serieuze onderzoeken gepubliceerd met een minder grote betrouwbaarheid.
Wie zelf wil spelen met de cijfers kan hier en hier terecht.

Waar ik wel een groot probleem mee heb is dat de gekozen proefpersonen niet willekeurig gekozen zijn. Dat haalt de hele statistiek onderuit en maakt dit een "wij van wc-eend adviseren ..." verhaal.

Ik zou maar eens goed controleren of je wiskunde hier klopt. Dwz verder dan wat in leerboekjes wordt aangegeven. Een tien jaar geleden was er een exitpoll onder 26000 deelnemers die er 16 zetels naast zat. Alles hangt er van af hoe aselect je steekproef is. Een kleine afwijking heeft giga verschillen tot gevolg.

Je pretendeert een nauwkeurigheid van 2.8% te hebben. Is dat echt zo? Misschien maar eens bewijzen en niet alleen maar naschrijven wat de ivoren toren zegt,

Jammer dat je mijn opmerking als een persoonlijke aanval ziet, zo was het niet bedoelt.

Mijn reactie betrof de opmerking dat de grootte van de steekproef niet zou deugen. Daar sta ik nog steeds achter dat die ruim voldoende is.
Daarnaast is de samenstelling van de steekproef minstens zo belangrijk en die klopt van geen kant bij dit onderzoek.

Conclusie: een waardeloos onderzoek.

Hoezo persoonlijke aanval? Ik geef alleen aan wat het gevaar is de boekjes over te nemen.

Volgens mijn moet je dan wel een representatieve groep hebben.
En, dat geef je zelf ook aan, ik weet niet of dat bij deze 2700 proefpersonen het geval was.

[Reactie gewijzigd door CyberFive op 30 juni 2015 17:14]

Overal en via alles word je gemanipuleerd in je leven, of het nou door je directe omgeving is, de media, reclames of bedrijven zoals Google op internet.. Zolang je je daar bewust van bent is er weinig aan de hand denk ik..

Inderdaad, en zolang je maar keuze hebt en vergelijkingsmateriaal. Je eenzelfde zoekopdracht prima in twee of meer machines gooien.