Seti-achtig programma indexeert het internet

Bij Wired News lezen we dat het bedrijf LookSmart het idee achter Seti@Home heeft weten te gebruiken om zoektechnologieën te ondersteunen. De 'screensaver' Grub draait op dezelfde wijze als Seti op de achtergrond, zodat de gebruiker er weinig tot geen last van heeft. In plaats van dat er naar buitenaardse wezens wordt gezocht past men de gebundelde rekenkracht echter toe om het internet te indexeren. Op dit moment zijn er ruim 2.000 computers die het programma aan hebben staan, waarmee in de afgelopen 24 uur meer dan 57 miljoen URL's doorzocht werden. Gehoopt wordt dat er binnen korte tijd zoveel mensen meedoen, dat alle internetsites (een aantal dat op tien miljard geschat wordt) dagelijks doorzocht kunnen worden. Een simpele rekensom leert ons dat hier tussen de 300.000 en 400.000 computers voor nodig zijn, indien de eerste resultaten een redelijk beeld geven van de gemiddelde rekenkracht:

"It will be the first comprehensive index (of the Net)," said Kord Campbell, the programmer behind the Grub software. "We can conceivably crawl every Web page, every day." By contrast, today's fastest search engines, such as Google or Inktomi, crawl about 150 million pages a day. Google indexes about a third of the Web, and refreshes its index every 30 days, according to LookSmart.

Campbell quietly worked on the software for more than three years in Oklahoma before LookSmart acquired his company and three-person staff in January. Grub was -- and continues to be -- largely an open-source project. "It's a wild ride," said Campbell. "This project I put the last three and a half years into is just starting to take off. It's been kick started."

Reacties (45)

[Anakin239]

Er kleven misschien nog wel wat bezwaren aan een dergelijk idee. Als alle sites bezocht worden, dus ook de foute zoals kinderporno sites vanaf jouw computer. Dat lijkt me toch niet echt wenselijk. Natuurlijk kan je Grub dan wel de schuld geven maar ondertussen wordt je wel door het slijk gehaald.

Daarnaast help je een commerciele organisatie zonder dat je er iets voor terug krijgt afgezien van een goede zoekmachine.

[enchion]

Is het dus met dit programmatje dan niet ook veel gemakkelijker om kinderporno op te sporen.

[Verwijderd]

Zolang je niet alle plaatjes van zo'n kinderporno site gaat downloaden lijkt het me niet echt een probleem... iedereen die veel surft stuit wel eens tegen 'foute' websites... en je kunt natuurlijk altijd de desbetreffende link aan de Meldpunt Kinderporno doorgeven, die kunnen er nog iets tegen doen...

[Verwijderd]

't is natuurlijk ook niet de bedoeling dat je kinderporno gaat bekijken he

[Skinkie]

Vroegah had Grub toch net iets andere betekenis

[BezurK]

idd, ik dacht dat het een grapje was, maar helaas
Beetje jammer en vreemd dat ze die naam gebruiken. Zou het uit onwetendheid zijn?

[Skinkie]

Dat denk ik niet, op Google staat de bootloader nog steeds op nummer 1, achtervolgd door Grub's Distributed Web Crawling Project

[lordsnow]

Je doet net of het heel erg is.

Eerlijk gezegd, wat maakt het nou uit dat ze dezelfde naam hebben? 't is niet alsof de programmas ook ongeveer hetzelfde doen - dus vergissingen zijn bijna niet mogelijk.

[Wolfboy]

Hoezo vroegah?

Ik gebruik nu ook nog steeds grub

[AlterEgo]

Lilo all the way

Leuk, naast de distro-wars nu ook de bootloader-wars

[Verwijderd]

dit bestaat al een tijdje...

nadeel van deze zoekmachine is dat je er nog niet mee kunt zoeken

verder best een leuk speeltje om je provider, en vooral de dns van je provider, te stangen. Heb ze hierover al eens een mailtje gestuurd, dat de bandbreedte niet zo erg was maar wel de aanslag die hun app levert op je isp's dns server (draai het ding maar eens op meerdere pc's tegelijk b.v. ), maar dat vonden ze niet belangrijk. net zoals ze het niet belangrijk vinden dat je een zoekmachine kunt gebruiken om te zoeken.

[Paul C]

hoe ver heb jij al op hun site gekeken, want hoezo kun je er niet mee zoeken:
http://www.grub.org/html/tools.php?op=wisenut
Wat denk je hiervan?

Volgens mij staat daar dit:

The Wisenut search engine now uses crawl results from Grub to update its index. If you run the client, your crawling results will help improve the performace of Wisenut!

En betekend dat zoveel als dat de WiseNut zoekmachine nu vort in de Grub index zoekt!

[Verwijderd]

dank je
ik had nog even rondgebladerd maar zag niks.. In elk geval hebben ze het meer dan een jaar zonder zoekfunctionaliteit gerund.

Heb het zelf ook een tijdje gebruikt, maar ben ermee gestopt toen ik overstapte van linux op freebsd en aangezien zij (destijds?) geen bsd client hadden..
de windows client is wel aardig, maar wat moet ik met een screensaver? Verder trekt het ding elke keer naar 500 url's voor een minuutje je upstream dicht, ook dat moet beter voordat ik het ga gebruiken.. en het dns probleem natuurlijk (chello's dns server wordt niet vrolijk van duizenden queries naar vage en niet bestaande sites in enkele tientallen minuten tijd)
maar goed, misschien geef ik ze nog eens een kans binnenkort, het initiatief vind ik wel leuk.

oja, een halfjaartje geleden ofzo had iemand dit ook al gesubmit op de dpc, toen werd het afgedaan als irrelevant, niks te maken met distributed computing en is het topic gesloten..

ff zoeken.. hiero:
http://gathering.tweakers.net/forum/list_messages/638069///grub

en nu is het ineens nieuws

[Verwijderd]

Gebruikt dit ook het principe van flushing of word er continu gebruik gemaakt van je bandbreedte?
Voor mij een vrij belangrijk gegeven daar ik met een datalimiet opgezadeld zit (jammer genoeg)

[typhon]

Voor mij een vrij belangrijk gegeven daar ik met een datalimiet opgezadeld zit

Dat zal echt wel meevallen,er gaat slechts heel weinig data heen en weer om alleen een url op te zoeken.Je laad de hele pagina niet, je stuurt alleen een request en je ontvangt een reactie.

[Standeman]

Als je maar genoeg requests/reply's maakt gaat er nog een hele hoop data over je verbindingkje hoor.. Ik neem aan dat van de betreffende website ook de links worden gevolgd, keywords opgevraagd, etc. Dat betekend dat er hele pagina's (waarschijnlijk wel excl. foto's) overgezonden worden en dat kan aardig oplopen qua kb-tjes. (Hoe wel ik wel aanneem dat er een limiet op zit betreffende de bandbreedte die het verbruikt.)

[Haranaka]

Natuurlijk zal er gebruik gemaakt worden van je internet verbinding.
Ik denk dat de clients zelf internet afstruimen, de gevonden informatie verzamelen en dan opsturen. Dus niet zoals bij seti werk bij een centrale server ophalen, thuis verwerken en dan weer opsturen naar dezelfde centrale server.

[Ruuddie]

Hey, dit is best mooi.
Je kan gewoon RC5 laten draaien, want dat Grub gebruikt helemaal geen CPU cycles, alleen bandbreedte
Dus, @homers en ADSL'ers, zet Grub aan!

Misschien een idee om een DPC team te maken als dat kan?

[Verwijderd]

Ik zit op een gemiddelde constante downloadsnelheid van 37KB/Sec, stel dat je dit programma 24/7 zou draaien dan is dat 133 mb per uur, ongeveer 3 gig per dag en laten we zeggen keer 30 dan zit je op 90 gig per maand! Denk dat chello dat niet zo leuk vindt en daar komt al het andere dataverkeer ook nog eens bij.

[sweetdude]

Het is een leuk idee om er een DPC project van te maken maar er zijn 2 nadelen.

1. Ze hebben geen stats dus wordt het al minder interessant
2. het is of wordt een commerciele aangelegenheid. Dus jij bent voor niets andere rijk aan het maken!

Ik heb er geen probelemen mee om zo'n progsel te draaien (ben zelfs mede oprichter van Team Switch) maar het moet dan wel voor iets zinnigs zijn en niet om andere alleen maar rijk te maken!

[Verwijderd]

Zie, dit is tenminste een zinvolle zaak. Buitenaardse wezens zullen er toch niet zijn. En als ze er zijn, wat dan.

Met dit helpt men de 'gemeenschap' dat internet is.
Ik zeg niet dat ik het ding ga draaien, maar het KAN nuttige doeleinden hebben, behalve als het een soort pornografische zoekmachine wordt.( wat er dik in zit).

Ff een kijkje gaan nemen op hun site

[nl1klb]

Zie, dit is tenminste een zinvolle zaak. Buitenaardse wezens zullen er toch niet zijn. En als ze er zijn, wat dan.

Zinvolle zaak?
Ha! Seti is misschien wel een beetje erg niet zinvol maar waarom dan niet naar UD gaan om mee te doen met een kankeronderzoek of zow?
Lijkt me nog zinvoller dan het indexeren van internet...
kiek maar es op www.ud.com

[Verwijderd]

Lijkt me nog zinvoller dan het indexeren van internet...

Er zijn natuurlijk veel zinvolle dingen, in de wereld... zeker, onderzoek doen naar een ziekte is heel belangrijk, maar ook het indexeren van alle websites kan daarbij helpen. Zo'n index is nl. niet alleen leuk voor de particuliere consument, maar ook zeer bruikbaar voor onderzoekers, die de nodige informatie veel sneller zullen vinden.

En bovendien is zo'n complete index ontzettend handig om illegale praktijken (bijv. kinderporno) op te sporen..

[SirBlade]

Ik betwijvel of je echt kinderporno op websites zal aantreffen, een hoop sites die het beloven te leveren als je ff je cc-nr geeft maar ik denk dat die meer onder de catagory oplichters vallen. Denk dat je een grotere kans hebt om dat soort spul tegen te komen op de "minder" populaire en bekende communicatie-mogelijkheden zoals bv irc e.d. In ieder geval niet op plaatsen waar het grootste deel van de mensen komt. Of politici en journalisten met 3 uur ervaring zijn beter in dingen opsporen op internet dan ik die al jarenlang dagelijk uren online ben.

[collission]

waarom zou het iets met porno te maken moeten hebben? het indexeert toch ALLES?

[zeekoe]

ooit wel eens kazaa gebruikt?

[BlackBurn]

Er zijn wel meer zinvolle projecten, die op dezelfde manier werken, zo is er ook een project gaande, wat de rekenkracht van meerdere computers bundeld, om sneller een medicijn tegen kanker te vinden.

sorry ben even de url kwijt

edit: sub werkt dus niet hier

[Verwijderd]

United Devices doet dat. En ik krijg daar gratis gigabytes voor bij Easynews

[Verwijderd]

"zonder dat je er iets voor terug krijgt afgezien van een goede zoekmachine."

Hmm dit lijkt me eigenlijk wel wenselijk hoor, ik heb veel baat bij een goede zoek machine.
Alleen hoeveel data wordt er hierdoor (als ik de client instaleer) verstuurd over mijn adsl lijn?

[Verwijderd]

Veeel, ik draai als test het ding ff, en hij pompt 30kb/s.... Maar je kan het regelelen en shedulen. Of enkel voor je eigen site gebruiken

[morphje]

Tja ik zie het al helemaal voor me, webhosters gaan dit draaien op een van hun frontend servers om zo enkel en alleen hun eigen gehostte sites te laten indexen in de database.

Persoonlijk zie ik alleen daar een nut daarin. Mocht het een financieel gewin worden voor de indexers (persoonlijk vind ik het wel een voordeel als het aan google word toegevoegt, maar jah waarschijnlijk niet) dan heeft het nog steeds geen gevolgen voor de webhoster, want alleen zijn eigen sites worden toegevoegt dus nog steeds financieel gewin voor de hoster.

[sds]

Ik zat er eergisteren nog naar te kijken, kreeg al weken een hele hoop requests van grub-clients dus maar ff op die site gekeken. Als het ze gaat lukken om het hele internet elke dag opnieuw te indexeren zou dat wel heel erg mooi zijn natuurlijk.

[mcB]

Mijns inziens is DMOZ nog steeds de beste site indexeerder ter wereld.
99% van alle huidige zoekmachines op internet raadpleegt de database van DMOZ.
Het verschil tussen Grub en DMOZ is dat DMOZ door mensen wordt geindexeerd en niet door een progje. Zo kan een site een juiste titel en beschrijving krijgen en tevens onder een juiste categorie geplaatst worden.
Grub daarentegen is een leuk initiatief voor distibuted computing teams zoals Dutch Power Cows, maar ik denk niet voor de gemiddelde pc gebruiker.

[Verwijderd]

K, ik ben ff gaan kijken, en het ding is wel goed. Als je ff ziet hebben ze al een pak sites in hun index. En jij kan dus je eigen site zelf crawlen en in de DB duwen. Zo heb je er zelf voordeel aan.
Ik denk dat dit wel een killer voor google kan worden als ze het commercieel goed aanpakken.