Wikia-zoekmachine in stroomversnelling na overname webcrawler

Wikipedia-oprichter Jimmy Wales verwacht dat hij nog dit jaar een 'community driven search engine' kan presenteren. Zijn bedrijf Wikia kocht onlangs de webcrawler Grub, en daarmee zou de belangrijkste horde zijn genomen.

Wales ontvouwde zijn plannen op de O'Reilly Open Source Convention in het Amerikaanse Portland tegenover een gehoor van developers. Zij kregen te horen dat de software van Grub het web zal afstruinen en dat vrijwilligers de verzamelde informatie zullen classificeren. Door bijvoorbeeld een onderscheid aan te brengen tussen pagina's over handheldmaker Palm en pagina's die het biermerk bespreken, zou de Wikia-zoekmachine meerwaarde bieden boven het aanbod van gevestigde machten als Google en Microsoft, denkt Wales. Daarbij zijn grote serverparken niet nodig: Grub is een soort distributed computing-pakket, dat de pc's van gebruikers laat helpen om het wereldwijde web te indexeren.

Wales is van mening dat de zoekgiganten momenteel te veel invloed op de aangeboden content uitoefenen. Hij hoopt daarom dat contentleveranciers het dankzij zijn project weer voor het zeggen krijgen. 'Als we kwalitatief goede resultaten kunnen leveren, kan dat wel lukken - al kan ik er natuurlijk naast zitten', zo hield hij alle mogelijkheden open. Het welslagen van de zoekmachine is echter wel degelijk van belang voor zijn Wikia. Dit met advertenties gefinancierde bedrijf onderhoudt een netwerk van wiki-sites en heeft zeker belang bij een zoekmachine waarbij gebruikers en leveranciers een vinger in de selectiepap hebben. Ook derden zouden de engine, die te zijner tijd onder een opensourcelicentie zal worden aangeboden, moeten kunnen gebruiken om een beperkt gedeelte van het www te doorzoeken. Zo zouden regionale kranten bijvoorbeeld alleen voor hun streek relevante resultaten kunnen presenteren. Opmerkelijk is overigens dat Wikia tot vorige week het advertentieprogramma van Google gebruikte, maar na de aankoop van Grub bleek AdSense ingeruild voor de diensten van LookSmart - hetzelfde bedrijf dat Grub aan Wales verkocht.

Reacties (21)

Je hebt op dit moment al Wikipedia "spam" om bepaalde websites hoog in de ranglijsten van Google en consorten te krijgen en zo te verdienen op de reclame (met bagger sites).

Vooral dit soort mensen zijn erg "gebaat" dat hun website geclasificeerd word, en als ze daar zelf nog meer invloed op kunnen uitoefenen zullen ze dat zeker doen. Het is dan alleen nog maar wachten op bots die de database constant lopen te vervuilen om hun eigen websites zo hoog te krijgen. Google heeft daarvoor honderden mensen in dienst om het te voorkomen, terwijl Wikia op deze manier juist de misbruikers in de kaart gaat spelen doordat zij zich super eenvoudig kunnen bemoeien met de ranglijsten.

[Reactie gewijzigd door TheGhostInc op 28 juli 2007 20:58]

Zodra de communitie van echte mensen groter is dan spambots hebben de laatste geen schijn van kans. Digg is een mooi voorbeeld.

Als je op een zoekmachine op elk zoekresultaat kan stemmen, dan kan een spammer nog zo hard omhoog stemmen met botjes (1 per account), als de communitie groter is, zal die het resultaat net zo hard omlaag stemmen (ik neem ff aan dat het zo werkt)

Op digg zie ik zelden spam, en spam dat er is, wordt meestal snel omlaag gestemt, of alternatieven worden aangedragen. B.v. bij het spammen van een copy paste blog wordt al vlot de link naar het echte artikel gepost.

Verder, Wikipedia spammen is interessant omdat er altijd wel iemand is die op de link klikt, maar er slechts weinig mensen zijn die daadwerkelijk de moeite nemen om de pagina aan te passen. Een zoekmachine waar je met een muisklik op een resultaat kan stemmen (a la digg) maakt het erg makkelijk om een resultaat als spam te markeren.

[Reactie gewijzigd door J.J.J. Bokma op 28 juli 2007 21:24]

ja.. en daar komen die zombienetwerken met 1.000.000 pc's handig van pas . Wedden dat die krachtiger zijn dan de paar 'nerds' die de community vormen en actief deelnemen.

Opvallend, want wikipedia voegt standaard aan links rel="nofollow" toe, en dat zorgt ervoor dat ze geen invloed hebben op de pagerank van de link:

From now on, when Google sees the attribute (rel="nofollow") on hyperlinks, those links won't get any credit when we rank websites in our search results.

(bron)

[Reactie gewijzigd door Stijn op 28 juli 2007 23:32]

Ik dacht dat Google en Wikipedia een beetje toenaderingspogingen aan 't ondernemen waren. Of in elk geval was er bereidwilligheid voor samenwerking. Of dat nog lang stand gaat houden nu Wikia google gaat beconcurreren en gestopt is met AdSense te gebruiken, is niet gegarandeerd, denk ik.

Wikia en de Wikimedia fundation staan los van elkaar.

Als ze zorgen dat deze 'zoekmachine' snel is, maken ze misschien een kansje...

Het lijkt mij inefficient om een community het classificatie-werk te laten doen; ik denk dat het mogelijk moet zijn dat te automatiseren.

Die classificatie is juist heel moeilijk te automatiseren.. het verschil tussen palm bier en palm handhelds is voor een mens gapend te maken.. echter een computer heeft totaal geen besef van context..

Nu zul je zeggen dan programmeer je dat toch? Ja oke.. ik heb mijn computer geleerd verschil te kunnen maken tussen palm bier en de handhelds.. Nu is het volgende aan de beurt.. Aleen er is zo ongelooflijk veel dat het niet meer te proggen valt..

Dit wat hier aan de hand is, is typisch een voorbeeld wat zou opgelost moeten worden met kunstmatige intelligentie. Echter we zijn nog lang niet zover dat we dat ook werkielijk kunnen..

Daarnaast als het goed / makkelijk te automatiseren was denk je dat google dat niet al gedaan had?

@ Deslatos...
Dat is dus precies wat ik bedoel .. "je kunt hier en hier op zoeken.." Je noemt 1 functie, 1 classificatie van gegevens. Ja een inviduele classificatie is inderdaad te progameren. Ik heb een programma geschreven wat een beetje emoties kon herkennen. Google heeft een stukje software geschreven wat gezichten er uit kon plukken.. allemaal super leuk.

Mijn punt is echter.. Dat het niet om 1 functie gaat, maar om het indelen van de meest uit een lopende gegevens. Een mens is prima in staat dat te doen. Maar bij een computer moet je dat item vooor item in programeren. (Eigenlijk gebeurd dat bij mensen ook .. het hele leerproces van een kind.) .

Bij Wikipedia willen ze niet zeggen.. Dit is wel een close-up van een gezicht en dat niet.. Maar willen ze ze zeggen.. dit stukje informatie gaat over X en hoort dus in categorie Y. En dat hele proces is op dit moment nog technologisch onmogelijk omdat de kunstmatig intelligentie nog lang niet zover is.

[Reactie gewijzigd door martijnvanegdom op 29 juli 2007 09:01]

Die dingen zijn echt wel te automatiseren.. Je kan op google zelfs al zoeken naar bijvoorbeeld alleen close-ups van gezichten met een naam erbij (picture zoeken). Kweet niet precies meer hoe , maar als dat kan zal zoiets ook wel kunnen...

Ik denk dat Google al hard bezig is met het automatiseren van het herkennen van verschil in context. Gebruikersgegevens kunnen daar goed bij helpen.

En nu maar hopen dat het

a. Door mensen gebruikt zal worden, Google heeft op het gebied van search engines het grootste monopolie.
b. Er een goed beveiligingssysteem in zit; als dit enigzins populair wordt zullen makers van spambots er alles aan doen om hun farmaceutische e.d. sites zo hoog mogelijk in de Grub-resultaten te laten zien.

Er is wel een verschil tussen monopolist en duidelijk marktleider. Zoek maar eens statistieken op, google heeft nog niet eens 75% marktaandeel. dan is er echt nog geen sprake van monopolist.

Verder hoop ik dat dit een deftige concurrent wordt. Ga het zeker zelf eens proberen als het uitkomt.

Of iemand een monopolist is kan helemaal niet alleen maar afgeleid worden uit het percentage marktaandeel. Je moet eerder kijken naar het gedrag van het bedrijf: kan het zijn prijs en strategie bepalen zonder rekening te moeten houden met die van eventuele concurrenten? Indien ja heb je een monopolie, anders niet. (Vereenvoudigd voorgesteld uiteraard).

Monopolist zijn hangt puur en alleen af van marktaandeel. Het grote marktaandeel geeft hem macht. Dat wil niet zeggen dat iemand die zelf zijn prijzen en strategien kan bepalen direct een monopolist is. Een monopolist kan dit wel altijd doen, maar het omgekeerde is niet per definitie waar.

In Europa is Google inderdaad bijna een monopolist te noemen, maar dat wil niet zeggen dat google zomaar kan doen en laten wat hij wil. Doordat er wereldwijd gezien genoeg concurrenten zijn die zelf meer dan genoeg inkomsten krijgen door een degelijk marktaandeel wereldwijd gezien stapt de consument direct over vanaf google te ambetant doet en teveel van zijn huidige strategie die hem dit marktaandeel heeft opgeleverd afwijkt. Plus is het nu ook weer niet zo dat als je geen google gebruikt je plots niets meer op het net kan doen. Maar bon, hoe meer goede zoekmachines hoe beter zou ik zeggen.

Volgens Checkit heeft Google in Nederland een marktaandeel van 91%, in Spanje zelfs 100%, in Europa is Google toch wel een behoorlijke monopolist dacht ik zo. In de Verenigde staten is dat veel en veel lager, daar wordt nog veel met Yahoo gewerkt

Naar mijn mening is er nu toch niet echt een alternatief voor Google hoor, hoe veel macht ze ook mogen hebben! Ze maken goede producten.

Inderdaad. En Google weet ook het onderscheid te maken tussen een handheld computer en een biertje. Dit hebben ze al vaak genoeg bewezen en wordt ook volop gebruikt bij Google advertenties, waar je nooit een advertentie van een elektronicaconcern zult zien op een bier-vergelijkingssite. (Gewoon een kwestie van kernwoorden koppelen)

Door bijvoorbeeld een onderscheid aan te brengen tussen pagina's over handheldmaker Palm en pagina's die het biermerk bespreken, zou de Wikia-zoekmachine meerwaarde bieden boven het aanbod van gevestigde machten als Google en Microsoft, denkt Wales.

Het is heel mooi dat een zoekmachine dit onderscheid kan aanbrengen in de geïndexeerde pagina's, maar als de gebruiker eens het zoekwoord 'palm' ingeeft, dan weet Wikia nog steeds niet of deze zoekt naar het biermerk of naar de handhelds. Nu kun je dat onderscheid aan de gebruiker aanbieden, maar stel dat ik noch naar het biermerk, noch naar de handhelds zoek, maar naar palmbomen of de palm van een hand. Maak ik een beroerde analyse wanneer ik stel dat Google mede door zijn eenvoudige opzet zo groot is geworden?

Ik vroeg me al af wanneer er iemand met een goed initiatief kwam om te probere google voor bij te lopen. Ik ben benieuwd

Dit lijkt me geweldig.
Niet meer van die irritante 'voeg een review toe' sites als ciao shopping tussen je resultaten als je een fatsoenlijke review oid zoekt.

Er bestaat al een aardige cluster zoekmachine, voer maar eens palm in bij vivisimo.com.