'Google-killer Cuil is website-killer'

De onlangs door voormalige Google-medewerkers opgerichte zoekmachine Cuil wordt beschuldigd van het bombarderen van sites die het wil indexeren met requests, waardoor er al verschillende zouden zijn platgegaan.

De searchengine werd eind juli voor het publiek toegankelijk gemaakt door de voormalige Google-employees, die onder meer de Teragoogle-index ontwierpen, de rankingalgoritmes van de zoekgigant, maar ook de nieuwe zoekmachine van eBay. Ze willen hun ex-werkgever naar de kroon steken door sites niet zozeer op populariteit maar meer op inhoud te ranken, maar ook door een grotere zoekindex in te zetten. Dat laatste lijkt volgens Techcrunch niet helemaal goed te gaan, de indexeringsbot zou vele uren met sites bezig zijn, en is dan naar verluidt onder meer op zoek naar gedeeltes die niet via links vanaf de hoofdpagina terug zijn te vinden.

Een van de getroffen beheerders zegt dat hij na 24 uur Cuil-activiteit de toegestane traffic van de indexeringsbot tot 2 pakketjes per seconde heeft beperkt, een andere zegt dat er binnen een maand 2GB aan traffic op zijn site is verstookt door Cuil. De nieuwe zoekmachine wordt beschuldigd van een amateuristische aanpak: er zouden 'pseudo-willekeurige' url's worden gegenereerd om te zien of die bestaan.

De slachtoffers hebben contact gezocht met Cuil, en die heeft gereageerd door te stellen dat de indexeringsbot, Twiceler, nog in het experimentele stadium verkeert. James Akler, Cuils operational officer, impliceerde overigens dat de bot zich mogelijk niet aan het robots.txt-bestand houdt om sites, of delen ervan, te negeren en heeft de klagers aangeboden ze handmatig op een lijst van uit te sluiten websites te plaatsen. De man verweerde zich overigens ook door te stellen dat het bedrijf een aantal crawlers heeft waargenomen die zich voordoen als de Cuil-bot.