Microsoft ontwerpt game om zoekmachine te verbeteren

Microsoft heeft het online spel Page Hunt online gezet om de zoekresultaten van zijn nieuwe zoekmachine Bing te verbeteren. Spelers kunnen punten verdienen door te raden welke zoekterm het beste resultaat bij een getoonde pagina geeft.

Het spel werd vorige week getoond tijdens de SIGIR 09-conferentie in Boston. De werking wordt beschreven in het rapport 'Page Hunt: Improving Search Engines Using Human Computation Games', van Microsoft Research. Het met Silverlight gebouwde spel schotelt de speler willekeurige webpagina's voor en vraagt vervolgens met welke zoekterm de site bovenin de ranglijst van Bing terechtkomt. Wie de term goed raadt krijgt 100 punten, staat de pagina op de tweede plek dan krijgt de speler 90 punten, enzovoorts. Microsoft wil met het spel zowel gedetailleerde gegevens over zoekgedrag krijgen als de werking van Bing verbeteren.

"De data die Page Hunt oplevert kan gebruikt worden om metadata voor pagina's te genereren, om zoekresultaten te verfijnen en om problemen bij de ranking te ontdekken", aldus Raman Chandrasekar en Chris Quirk, de auteurs van het rapport. Een van de resultaten die de onderzoekers al uit de gegevens konden destilleren, was dat het voor spelers moeilijker wordt om de juiste zoekterm te vinden naarmate de url van de pagina langer is. Microsoft is overigens niet de eerste die de hulp van internetters inschakelt om zijn diensten te verbeteren. Concurrent Google introduceerde in 2006 al zijn Image Labeler, waarbij twee spelers moeten proberen om zo snel en zo veel mogelijk dezelfde labels aan afbeeldingen te koppelen.

Reacties (54)

[Verwijderd]

Hahaha, zalige truk Goed gevonden
Nee, serieus, wie gaat er zich nu bezig houden met bij webpagina's te raden wat het goede sleutelwoord was, daar heb ik nu toch geen tijd voor, als ik iets op google intyp verwacht ik dat hij mij een aantal goede links geeft, niet dat ik nog eens moet zeggen welk sleutelwoord nu toch bij die pagina zou kunnen horen...

[SPee]

Probleem is eerder dat een zoekmachine de pagina vindt en hoe de gebruiker het verwacht.
Als een gebruiker een bepaalde zoekcriteria invult, dan verwacht hij een bepaald resultaat. Hiermee proberen ze de zoekmachine zo aan te passen dat ze het juiste resultaat kunnen tonen.

Het interessante voor deze spel is niet de beste spelers. Die hebben het goed kunnen vertalen of spelen het spel lang waardoor ze de juiste zoekcriteria hebben gevonden. Die kunnen dan met Bing (of andere zoekmachines) betere resultaten vinden.
De interessante resultaten zijn die van de beginnende spelers en hun eerste resultaat. Die kennen het zoeksysteem (nog) niet en vullen dus de volgens hun verwachte termen in. Als dat niet in de top 10 staat, dan kan MS uitzoeken waar de gebruiker op zoek en verwacht en hun systeem daarop instellen.

[Verwijderd]

Tja..

Ik weet niet wat ik hier op moet zeggen.. maar.. is het niet een beetje triest dat je de gebruikers moet vragen om je zoekmachine te verbeteren, MS?

[roy-t]

Nouja er is gewoon geen algoritme op dit moment dat snel is en beter verbanden kan leggen dan een mens, helaas is er echter te veel informatie, dus ja of je kop in eht zand steken en die mensen negeren. Of op een slimme manier toch die mens die het beter kan gebruiken.

Ik vind het zelf dan toch vrij slim wat MS bedacht heeft.

[Electrowolf]

Niet alleen dat er veel informatie is, het gaat er vooral om hoe je informatie op een pagina verwerkt.

Op een webpagina staat meestal veel informatie, en niet alleen in de tekst. Mensen kunnen deze informatie vaak makkelijk uit de pagina halen waar algoritmen dit niet kunnen. Ook zijn mensen subjectief en algoritmen juist objectief met welke kernwoorden een pagina beschrijven.
Het kan bijvoorbeeld zo zijn dat mensen een pagina met een gele achtergrond met andere kernwoorden zullen beschrijven dan eentje met een rode achtergrond. Indexerings- en zoekalgoritmen zullen hier waarschijnlijk geen reken mee houden omdat de programmeurs nooit hadden gedacht dat dit andere kernwoorden op zou leveren.

Door deze tests/games te maken kan men er achter komen of dit soort elementen effect hebben op de zoektermen/kernwoorden van een pagina om vervolgens de algoritmen te verbeteren.

Het is dus niet alleen een "leuk trukje" van Microsoft, maar ook echt wetenschappelijk onderzoek

[Reactie gewijzigd door Electrowolf op 3 augustus 2024 06:49]

[-=bas=-]

Spammers gebruiken deze techniek al jaren op catcha's en andere zaken door gebruikers op te lossen.
MS heeft het dus zoals gewoonlijk weer slim afgekeken.

[Neko Koneko]

Als Google hier mee was gekomen had je het de hemel ingeprezen...

[Zamalan]

Of dan had men beweerd dat het weer de zoveelste opzet is om meer gegevens over de gebruikers te verzamelen.

Heb het snel zelf even uitgeprobeerd maar ik geraak er niet echt wijs uit, alle zoektermen die ik ingeef zijn fout volgens het programma. Een beetje vreemd ook dat je je zoekmachine verbeterd door antwoorden te vragen die je dan staaft aan diezelfde zoekmachine.

[Reactie gewijzigd door Zamalan op 3 augustus 2024 06:49]

[MrsPiggy]

Fout betekend dan in dit opzicht goed. Als een heleboel mensen een fout antwoord geven dan kunnen zij dat aanpassen in hun zoekmachine aanpassen.

Eigenlijk zou dit spel dus alleen maar makkelijker moeten worden des te meer het gespeeld word....

[badflower]

volgens mij is Google hier al een keer mee gekomen. Maar dat is met het zoeken van foto's. Gebruikers kunnen foto's labellen, en zo de zoekmachine verbeteren.

klik

Beetje zelfde concept volgens mij.

Maar nu MS gebruikers vraagt is het ineens 'triest'. Ik vind dat helemaal niet triest. MS maakt de zoekmachine voor de gebruikers. De gebruikers hebben er baat bij dat de zoekmachine hen het beste resultaat geeft voor hun opdracht. Als je als gebruiker dus de zoekmachine helpt, dan wordt in de toekomst je zoekresultaat beter.

Win-win situatie zou ik zeggen. Niets 'triests' aan.

[Verwijderd]

Google gebruikte toch juist Duiven?

[mrlammers]

Het is juist helemaal niet triest om gebruikers te vragen wat ze willen, of vragen om hulp bij het verbeteren van functionaliteit. Zoekmachines heuristisch maken is sowieso iets wat je graag wilt.
Als al het ICT-volk wat vaker om feedback zou vragen, dan zouden applicaties een stuk beter aansluiten bij de wensen van de gebruiker. No flame intended. Ik weet ook dat de gebruiker vaak zelf niet weet wat ze nou precies wil...

Ik vraag me alleen af of ze de juiste formule hebben gepakt om dit te bereiken...

[smooky]

Niet alleen Microsoft doet dat, ook Google: http://images.google.com/imagelabeler/

[Verwijderd]

Goh, dat is ook niet vermeldt in het bericht ofzo /sarcasm

Microsoft is overigens niet de eerste die de hulp van internetters inschakelt om zijn diensten te verbeteren. Concurrent Google introduceerde in 2006 al zijn Image Labeler,

In principe vindt ik het wel een goed idee, want zo zie je wel waar dat de mensen op letten e.d. Misschien niet helemaal origineel, maar wel puik gedaan

[Reactie gewijzigd door Verwijderd op 3 augustus 2024 06:49]

[Rhapsody]

Alleen is het wel zo dat dit nu als 'triest' wordt bestempeld nu Microsoft het doet. (zie eerste post van sanderev66)

[kozue]

Dat is ook niet de mening van iedereen. Ik vind het op zich niet triest, misschien kunnen mensen zich er nog mee vermaken, het lijkt me zelf alleen dodelijk saai. Een game waarbij je iemand speelt die bing gebruikt... dat doet me een beetje denken aan World of World of Warcraft

[roy-t]

Tsja als MS het doet is de publieke opinie nu meestal gewoon kut, onbegrijpelijk eigenlijk want het bedrijf combineert al jaren goede technieken (zelf ontwikkeld, opgekochten en afgekeken) tot goede producten

Maar goed, let's not go there now

[Jester-NL]

Is dit "gewoon" afbranden? Kun je dat ook onderbouwen, of is deze mening (nog steeds) gebaseerd op Win95 en WinME?
Blaffen dat het slecht is, is zooo makkelijk

[Verwijderd]

zeur modus Heeft visio tegenwoordig nog steeds eDirectory support zoals in '97 ofzo?

[Verwijderd]

Laten we zeggen dat het blaffen gebaseerd is op eigen ervaring. Het betreft dus een mening maar goed die mag ik uiten toch?

Tot op heden heb ik alle software eigenlijk wel gebruikt van Microsoft: Windows 95, 98, 98SE, ME, 2000, XP (SP1, 2, 3), Vista, W7RC, Office '97, 2000, 2003, 2004 (Mac), 2007, 2008 (Mac), MSN Messenger, Hotmail, MySpace.

Als ik voor al deze software een gemiddeld cijfer moet geven kom ik niet hoger dan een magere 5. En dan zijn het de Office 2004 en 2008 en MSN Messenger degene die het cijfer omhoog duwen.

[Verwijderd]

haha
tsja opzich wel slim, maar inderdaad, dat ze dit aan de gebruikers moeten vragen vind ik een beetje krom. Microsoft is een groot bedrijf, als alle werknemers elke dag nou is 5 minuten dat ding gingen doen, dan hebben ze het ook binnen no-time goed.

[watercoolertje]

hoeveel werknemers denk jij dat MS heeft en reken is uit hoe lang het dan duurt voor alleen NL met 2+ miljoen domeinnamen (gokje, in 2002 waren het er 750.000 en 2003 al 1 miljoen) gedaan is

[ILUsion]

Krom? Dat is juist allesbehalve krom. Personeelsleden van MS hebben 1 ding gemeen: ze werken allemaal voor hetzelfde bedrijf, wat als je een beetje statistiek kent, ervoor zou zorgen dat je gegevens mogelijk vervormd zijn door de uitgevoerde steekproef. MS wilt geen gegevens van de eigen werknemers hebben, MS wilt gegevens om de zoekmachine beter te maken, dus heeft gegevens nodig van de huidige gebruikers (om hen beter te dienen) en eigenlijk liefst ook van toekomstige gebruikers.

Zoals ook eerder gezegd: Google doet al lang iets gelijkaardigs en als je de artikels over het achterliggende onderwerp zou lezen, zou je ook beseffen dat dit eigenlijk een win-win-situatie is. MS krijgt gratis vrij betrouwbare gegevens (er moet nog wat in gesnoeid worden, maar de gegevens zijn tenminste wel van de doelgroep) als de gameplay leuk is; en de gebruiker krijgt er op lange termijn betere dienstverlening door en anderzijds op korte termijn tijdverdrijf. Er is geen enkele partij die er slechter van wordt, dus allesbehalve krom.

[Verwijderd]

wat voor 'n slecht iets is me dat..
net ff 'gespeeld'. Ik kreeg de voorpagina van nydailynews voor me. zoekterm natuurlijk daily news. nope. ny daily news? nope.

ah nee want dat vond 'n link daar www.nydailynews.com
terwijl ik moest op www.nydailynews.com/index.html komen
eeeeeuhm... iets zegt me dat je daar wel degelijk op uitkomt dus..

[Jester-NL]

En da's nou juist het idee achter dit spel... IEDEREEN zal "(ny) daily news" als zoekterm nkloppen (want ik geloof dat zelfs Tweakers 'index.html' uit hun zoekopdrachten weglaten ). Kortom, Bing zal dus (moeten) leren om dat ook te doen.

[Eomer]

Ik betwijfel hoe goed dit 'spel' nou daadwerkelijk gaat helpen. Ik kan me bijvoorbeeld voorstellen de de titel van een pagina vaak ingevuld gaat worden door de 'spelers', terwijl ik juist vaak op zoek ben naar zo'n titel als ik een zoekmachine gebruik.

[Jan-E]

Dat was exact mijn gedachte. Het spel levert verkeerde gegevens op over zoekgedrag. Als iemand het antwoord al weet zoekt hij heel anders dan als hij op zoek is naar bepaalde informatie.

[Robbemans]

Hier heb je een site die wel weet hoe het moet:

Games With A Purpose


Human computing supercharged. Het probleem met dit soort dingen ligt tweeledig:
- De mens kan fouten maken, al dan niet met opzet
- Het moet vooral leuk zijn.

In het eerste geval is hierboven reeds aangegeven dat BreezahBoy elke dag de resultaten verziekt.

In het tweede geval moet de gebruiker een hele pagina doorlezen en vervolgens een item uit het lijstje klikken. Klinkt lastig, tijdrovend en voor mij persoonlijk NIET leuk...

Dan toch maar GWAPpen (zie link)

[Tukkertje-RaH]

Zo vreemd is dit eigenlijk niet. De mens weet beter dan een script te doorgronden wat de essentie is van een pagina. Inderdaad, Google doet het al langer, en er zijn volgens mij ook (minder legale) spelletjes om captcha's te ontcijferen (en om er vervolgens spam-mailboxen mee te registreren).

Ik was zelf in het begin sceptisch over Wikipedia, dat immers ook zwaar leunt op support door de bezoekers, maar 'met z'n allen' wordt het resultaat toch beter dan als dat centraal wordt opgelegd...

[EDIT]

Heb het eens uitgeprobeerd, echter met wisselende resultaten.

Krijg ongeveer 1 op de 8 keer iets in de zin van 'Page not found' of een andere error dat de pagina niet gevonden kan worden.
Soms ook dat het resultaat gewoon goed is, maar dat het spel aangeeft dat het niet klopt. Beetje jammer.
Soms ook dat ik met simpelweg de titel al de goede pagina te zien kreeg, dat werkte dan weer wel goed.

Merk zelf wel dat ik tegenwoordig af en toe ook aan het bingen ben, simpelweg omdat deze vaak toch net wat betere resultaten weergeeft. Heb helemaal geen zin in allerlei vergelijkingssites als ik op zoek ben naar een product. Daarmee staat helaas Google nog steeds vol. Bing doet het wat dat betreft toch beter.

[Verwijderd]

Het leuke is pas dat uiteindelijk een lerend algoritme kan worden bepaald aan de hand van de menselijke input: achterhalen waarom een mens een bepaald keyword kiest (subjectief) en dat projecteren op de objectieve benadering van een webcrawler...zal een mooi model uit komen die beter kan bepalen welke keywords voor een betreffende pagina belangrijk zijn (voor de hele collectie).

[Dark Angel 58]

ik heb het geprobeerd, ik vind het wel goed, maar helaas sommige website hebben niet alle plaatjes getoond, waardoor het raden soms een stuk moeilijker wordt.