Fabeltje, google doet dat ook gewoon.
Ik ben zelf redelijk veel met SE optimalisatie bezig (mag mezelf inmiddels een kenner noemen) en iedereen die het een beetje serieus volgt valt al langer op dat Google terein aan het verliezen is. Het probleem op dit moment dat zowel Yahoo als MSN search veel vaker en dieper de websites spideren dan google doet. Daarnaast vecht google op dit moment een zwaar gevecht tegen de Blackhat SEO's die de index zwaar vervuilen. Om een voorbbeeld te noemen, google hecht veel waarde aan Backlinks, dat wil zeggen, het aantal en de qualiteit van de links die naar jou site door verwijzen. Deze SEO's hebben vaak een netwerk van duizenden sites (soms zetten ze ze zelf op) die tegen betaling doorlinken naar jou site. Het probleem is met name dat deze vaak over enorme budgetten beschikken waardoor ze hun nieuwe linkpools sneller creeren als google kan Blacklisten.
Er doet zich zelfs al een nieuw fenomeen voor, waardoor ze dit trucje bewust toepassen op concurrenten waardoor die een google penalty krijgen. Het is dus niet voor niets dat google de laatste tijd minder waarde hieraan is gaan hechten, iets wat eerder voor een redelijk betrouwbare ranking zorgde.
Ik wil nou niet dircect negatief zijn over google, maar de laatste maanden heb ik het idee dat men steeds meer bezig is in de breedte, in plaats van in de diepte van hun searchengine (orkut, adsense, adwords, froogle, betagroups, etc)
Intussen ruiken Yahoo en MSN bloed (onderschat vooral de laatste niet, deze is bezig met een keiharde comeback!)
Ter voorbeeld heb ik net eens een statsrun gedaan op mijn website (helaas heb ik slechts logfiles van de laatste 12 weken) maar daarin is toch redelijk duidelijk te zien dat MSN stukken meer spidert als bijvoorbeeld Google, en dat Yahoo minimaal netzoveel spidert.
Ik moet wel eerlijkheidshalve zeggen dat google belangrijke sites vaker en dieper spidert, misschien dat iemand van de tweakers.net crew eens een halfuurtje vrij kan maken om een vergelijkbare stats run te doen.
http://www.xs4all.nl/~sjorsp/spiders.gif