Google laat veel content links liggen

Het gebruik van gespecialiseerde zoekmachines loont, zo valt te lezen bij Heise. Marktleider Google mag dan wereldwijd wel in meer dan acht miljard pagina’s kijken, uit onderzoek van het Duitse c’t magazine blijkt dat meer dan eenderde van de geregistreerde .de-domeinen niet in de catalogus van Google voorkomt. Van alle Duitse websites is slechts 61 procent geïndexeerd. Om deze reden is het volgens c’t verstandig om voor de wat meer gerichte zoekacties, naar zeg een kookrecept, gebruik te maken van een zoekmachine die slechts zoekt in kooksites. Naast de niet opgenomen websites is er ook soms sprake van kwalitatief mindere resultaten van Google, wanneer bijvoorbeeld reclamesites bovenaan eindigen. Ook daarom is het soms handig om een gemodereerde zoekmachine te gebruiken.

Reacties (52)

[Verwijderd]

Dan moeten die duitsers zich toch eens afvragen hoe dat komt. Een bot van google kan alleen op je site terchtkomen als je je zelf aanmeld, of als andere sites naar je linken.

Dus die 39% van de duitse sites zijn te lui geweest om zichzelf aan te melden, en hebben hun reclame zaakjes niet goed in orde; blijkbaar wordt er te weinig of helemaal niet naar ze gelinkt door de wat "grotere" sites.

[Djith]

Aanmelden voor een zoekmachine is wel heel erg 1996. En aangezien het hier gaat om domeinnamen is het vreemd dat Google niet periodiek hun lijst met geindexeerde domeinen update met de lijst nieuw geregistreerde domeinen die nog niet in hun index voor komen.

[sid3windr]

maar dat aanmelden kan nog weldegelijk... en veel kwaad kan het niet.

Een lijst met nieuwe geregistreerde domains bestaat natuurlijk ook niet echt.

[mullah]

De lijst met alle geregistreerde domeinen bestaat wel.. die wordt dagelijks bijgewerkt... het heet de domain registry en is gedistribueerd over de nameservers op het internet.

Als je kijkt naar de verschillen tussen dag een en dag twee in die lijst weet je welke domeinen nieuw zijn. Vergeleken met de rest van de google database is het doorzoeken en sorteren daarvan een koud kunstje.

[demonite]

@Mullah: je vergeet alleen dat niet elk geregistreerd domein een website heeft. Een hoop mensen willen alleen maar een email adres.. Andere domeinen bevatten misschien wel meer dan 1 website.

[lvh]

Hoe weet c't dan dat het 61% is?

[mullah]

Als jij op een domein een aantal sites neerzet moet je natuurlijk niet verwachten dat google ze vanzelf vindt, ene paar links zijn essentieel.

Maar ik begreep dat het c't verhaal ging over domeinen, dus niet alleen sites.. en voor domeinen is er gewoon een lijst te vinden.

[mullah]

Voor sites met een eigen domeinnaam geldt natuurlijk dat google gewoon in de domain registry kan kijken naar welke domeinen bestaan.
Uit ervaring weet ik dat google dat ook echt wel doet... voor sites/pagina's binnen een domein (subdomeinen, subpagina's) geldt natuurlijk dat er links naar toe moeten wijzen.

Dat google verder 39% van de .de domeinen nog niet kent is vermoedelijk afhankelijk van de databasegrootte van google (die af en toe weer een extra injectie krijgt) en de prioriteit die de beheerder van google aan andere tld's buiten .com, .net en .org geven.
Wat zou jij doen als 60% van je bezoekers zoekt naar amerikaanse dingen, eerst alle engelstalige sites indexeren, en daarna pas de andere talen toch?

[K.C.]

Afgezien van de verantwoordelijkheid van de webmaster om zijn site te melden (bij een zoekmachine naar keuze) mag je van een populaire zoekmachine als Google ook verwachten dat zij hun best doen alles te indexeren. 61% is net iets meer dan de helft, dat vind ik een zeer laag percentage.

Aangezien Google zo nodig met lokale versie wil werken (tik maar google.com in en je eindigt automatisch in de google.nl schil) zou je kunnen verwachten dan in ieder geval de lokale sites door de lokale google geindexeerd worden.

[PhoenixT]

Inderdaad, als geen enkele website naar die 39% linkt en de admins zo'n n00bs zijn dat ze zich niet aanmelden bij GoogleBot, tsja, dan is het denk ik toch niet waard om die websites te bekijken.

[Speedpete]

Nonsens.

Als mijn oma al haar lekkere ouderwetse recepten op een site zet kan dat best zeer interessant zijn om te bekijken. Mijn oma weet niets van aanmelden bij Google en als niemand naar haar linkt, (neem: de rest van ouderen die haar site bezoeken of familie) omdat deze bezoekers geen site hebben, zal ze niet in google komen.

Dat terwijl de appeltaart van m'n oma veel lekkerder is dan de appeltaart van de Hema.

[leuk_he]

Als niemand ze linkt kan ook een gespecialiseerde site ze niet vinden. En als een gespecialiazeerde site ze linkt kan ook googlebot ze vinden.

Er is denk ik iets anders aan de hand.

[HellPunk]

Feit blijft toch dat het niet de schuld is van Google dat die pagina niet geïndexeerd wordt...

[Verwijderd]

Dan moeten die duitsers zich toch eens afvragen hoe dat komt. Een bot van google kan alleen op je site terchtkomen als je je zelf aanmeld, of als andere sites naar je linken

Je hoeft jezelf echt niet aan te melden. Aanmelden heeft ook weinig zin volgens mij. Het enige waar google naar kijkt is links. Als je een pagina hebt waar niemand naar toe linkt dan wordt 't inderdaad niks.

[Verwijderd]

Dan vraag ik me af waarom Google nog steeds een pagina heeft waar dat kan, als het niet nodig is.

[Vinnienerd]

Lees dan...als er niemand naar je linkt kun je toch ook niet opgenomen worden? DAAROM moet je je dan ook aanmelden

[Verwijderd]

De grote vraag die hier gesteld moet worden is of deze 33% van de .de sites wel interessant is, als hete en lege pagina is, een pagina naar wie niemand linkt, ja dan linkt google er ook niet naar.

[THC]

Wie is Google om uit te maken wat interessant is of niet.

De gemiddelde gebruiker gebruikt al erg veel Google, maar de gemiddelde gebruiker heeft geen idee hoeveel Google filtert en hoeveel Google beinvloed.

Ik ben echt niet een doomsday-denkend persoon en ga niet big-brother achtige dingen pretenderen. Maar het is wel een hele boeiende maatschappelijke discussie hoeveel macht Google nou daadwerkelijk heeft en of niet iemand dat in de gaten zou moeten houden.
Als Google een site niet boeiend vind of tegen hun principes ingaat dat zou dat betekenen dat het overgrote meerendeel van de gebruikers niet bij die site terrecht komt.
Prima als ze kinderpornosites weghalen, maar hoe weet ik dat het daar stopt. Google blijft een bedrijf dat geld moet verdienen, wat nou als het in het financiele voordeel is om sommige sites weg te laten.

[Verwijderd]

In feite is dit zelfregulerend. Zolang ze geen dingen weghalen waarvan de gebruiker boos worden als ze dat doen, dan is er niks aan de hand. Doen ze dat wel, dan stappen de mensen vanzelf over naar een andere zoekmachine.

Voorbeeld: Men krijgt troep op Kazaa, hup iedereen naar Emule en Bittorrent.

[wicher|IA]

Dat weet je natuurlijk pas als je ze geindexeerd hebt.
Nu zijn ze niet geindexeerd, dus Google weet niet eens of ze wel of niet interessant zijn.

[Verwijderd]

Nu zijn ze niet geindexeerd, dus Google weet niet eens of ze wel of niet interessant zijn.

Een conclusie waar ik maar niet zo zeker van zou zijn!

*edit*
Laatste poging: mensen, wat is hier overbodig aan? Voor degenen die het nog niet snappen, leg ik mijn post wat verder uit: (zucht)

Wicher stelt dat Google niet weet of pagina's interessant zijn omdat ze niet geïndexeerd zijn. Het kan natuurlijk net zo goed andersom. Of misschien zijn er nog wel andere redenen...

[Verwijderd]

Omdat er nergens vanuit de andere 10 miljard pagina's van google naar verwezen wordt... Tsja, je moet ergens een grens trekken

[Verwijderd]

die woordspelingen in die titels hier zijn toch wel erg droog af en toe, doen jullie dat nou express of niet

[ThE_ED]

Ik werd hier zelfs even op het verkeerde been gezet en dacht bij het openen dat het zou gaan om gevallen waarin google sommige links op pagina's niet verder indexeert.

[mae-t.net]

Dan had er wel content-links of contentlinks gestaan, anders klopte de zin niet.

[Verwijderd]

Om deze reden is het volgens c’t verstandig om voor de wat meer gerichte zoekacties, naar zeg een kookrecept, gebruik te maken van een zoekmachine die slechts zoekt in kooksites.

Ehm, daarvoor is toch juist Google gids (catalogs) uitgevonden? Om sites op te delen in specifieke gebieden.

[Verwijderd]

Google heeft de "Google-gids" niet uitgevonden! Google's gids is de link-index van dmoz.org, geordend met de PageRank-technologie van Google.

Dus niet Google's eigendom of uitvinding! Ga maar eens naar dmoz.org, altijd de recentste versie van de index. (weliswaar zonder PageRank-ordening, maar vlgns mij is deze technologie al volledig verkracht: gemaakt om cheats tegen te gaan, en ondertussen zijn er nieuwe cheats bijgekomen om de PR-technologie te tricken )

XoloX

PS. Over de strekking van dit artikel: Oud nieuws. Simpel. Ieder wel redenerend persoon, die enig idee heeft van de structuur (is er van structuur te spreken? ) van het internet weet dit. Het is echt niet zo dat elke zoekmachine alles geindexeerd heeft... Zoekmachines vullen elkaar aan. En soms zuigt Google inderdaad qua resultaten, en de hoeveelheid commerciele resultaten. Dan probeer je een andere zoekmachine of een specifiekere query.

[StefSOFT]

61 procent is toch best veel. Het is toch bekend dat een zoekmachine lang niet alle internetpagina's kan indexeren?

[eamelink]

Dat is het hele punt toch niet? Het is geen aanval op Google ofzo, er wordt alleen beweerd dat je voor specifieke zoekacties soms beter een specifieke zoekmachine kan nemen, omdat die in zijn zoekgebied een betere indexatie kan hebben.

[Verwijderd]

61 procent van de .de domeinen zijn te vinden via google. Dus niet 61% procent van alle pagina's. Vaak is slechts een klein gedeelte van de pagina's van een domein te vinden via google.

[markvt]

Is er dan ook een lijst van speciale zoekwebsites, misschien kan google hier wel op inspringen door een speciale google.Cook zoekmachine etc. te maken...

[Verwijderd]

vast wel

[PuzzleSolver]

Heb je zeker gevonden via google

[Verwijderd]

Ik gebruik google allang niet meer voor bepaalde doeleinden. Als ik bijvoorbeeld een product-review zoek van een dvd speler merk x type y, en ik zoek daarmee op google dan krijg ik eerst 30 paginas kelkoo en andere troep-links. Voor dat soort dingen is google dus (voor mij) al nutteloos.

[Verwijderd]

dvd speler merk x type y -kelkoo

[Iblies]

dvd speler merk x type y -kelkoo

-ebay -marktplaats -xxx -wmv ... -avi

"avi" (en daarop volgende woorden) werd genegeerd, want we beperken zoekbewerkingen tot 10 termen

Sommige termen kun je beter niet gebruiken zonder op allerlei schunnige sites te komen, en al definieer je het nog zoveel, je krijgt het nog steeds.

[Verwijderd]

Zoeken is een kunst!

Als je merkt dat je zoekresultaten niet het gewenste resultaat opleveren, kun je het beste gewoon wat meer specificeren. Dus zoeken op bijvoorbeeld "reviews dvd speler merk x type y".

[El Cid]

Dat is niet Google's grootste mankement.

Op Slashdot stond laatst een topic over het censureren door Google van Amerikaanse martelingen in Irak.

http://yro.slashdot.org/article.pl?sid=04/11/07/1442217&tid=153&tid=21 7&tid=219

[lzandman]

Ja, en in datzelfde stuk kun je ook lezen dat Sergey Brin, een van de twee Google oprichters, een reactie gegeven heeft. Het bleek gewoon dat de Google Images index al een hele tijd niet geupdate was. Dus daarom werden er niet zoveel resultaten gevonden als je naar de foto's zocht.

Geen censuur dus, althans niet in dit geval. Er zijn echter wel meer gevallen van Google's censuur ontdekt. Maar je bent vrij om een andere zoekmachine te gebruiken, dus ik heb er zelf niet zo heel veel problemen mee.

[Verwijderd]

Precies, ook zonder Google zijn websites prima te vinden. Google hoeft wat dat betreft geen verantwoording af te leggen, ze kunnen indexeren wat ze zelf al dan niet goeddunkt.

Vrijwel alle sites zijn te vinden met wat nadenken en de juiste trefwoorden kiezen.

€ 0,02.

[El Cid]

Maar je bent vrij om een andere zoekmachine te gebruiken, dus ik heb er zelf niet zo heel veel problemen mee.

Vergelijkbaar met de vrijheid die je hebt om een ander OS te kiezen dan Windows?

En die verklaring van Sergey Brin is gewoon een smoes. Dit zou gelden voor nieuwe en nog niet geindexeerde plaatjes. Maar die foto's van Amerikaanse martelingen stonden eerst wel in de database.

[Verwijderd]

Dit kan wel kloppen ja. Ik denk dat het merendeel van de Tweakers hier ook allang in de gaten had dat lang niet alle pagina's vindbaar zijn met Google.
Vaak heb je andere methodes nodig om je gewilde informatie te vinden. Steeds vaker eigenlijk, heb ik het idee.

[Diggie9]

Steeds vaker.. dat id had ik ook al.. eerder kon ik makelijk bijv gametrailers vinden om te downloaden en vervolgens te verwerken in een movie.. ik kan ze nu nie zo makelijk meer vinden als eerst.. beetje vreemd maartoch

[Steephh]

Ach, ik gebruik meestal www.metaseek.nl

Die zoekt in meerdere zoekmachines tegelijk, en dubbele resultaten komen niet voor.