Tweakers.net uit Google-index verdwenen en weer terug

Sinds gisteren is Tweakers.net uit de Google-index verdwenen. De precieze oorzaak daarvan wordt nog onderzocht. Het lijkt er op dat Tweakers.net om een voor ons nog onbekende reden een 'penalty' heeft gekregen, waardoor de vermelding uit de index is gegooid. Voor zover wij kunnen beoordelen zijn er geen wijzigingen aan onze kant doorgevoerd die een penalty zouden kunnen opleveren.

Een andere mogelijkheid zou het 'verwijderen van url's' bij Google kunnen zijn, maar ook dat lijkt niet logisch. We hebben inderdaad afgelopen week een removal request voor 'www.tweakers.net' uitgevoerd, maar dat is toch echt iets anders dan 'tweakers.net'. Om die verwijdering door te voeren werd de robots.txt aangepast, om www.tweakers.net met Disallow: / te voorzien. Op Googles sitemappagina laat de zoekmachine echter zelf zien dat daarmee tweakers.net niet geblokkeerd wordt.

Bovendien komt Google ook sinds die verdwijning nog altijd vaak bij ons 'langs' (gisteren registreerden we meer dan honderdduizend views van GoogleBot), en ook dat geeft niet de indruk dat de pagina's van Tweakers.net volledig uit de database van Google weggehaald zijn. We hopen uiteraard dat Google ons hier meer duidelijkheid over kan geven, en hebben daartoe contact met ze opgenomen. Zodra er meer te melden valt, volgt een update. Ondertussen loopt er ook een discussietopic in Frontpage Algemeen.

Update

Ondertussen is gebleken dat dit akkefietje inderdaad veroorzaakt werd door de onverwachte gretigheid van Google's URL removal tool. Blijkbaar is men van mening dat "www.tweakers.net" verwijderen hetzelfde is als "tweakers.net" verwijderen. En als je "tweakers.net" verwijdert, dat je dan eigenlijk ook je hele domein weg wilt hebben...
Dat staat natuurlijk wel uitgelegd in diverse blogs (die je achteraf leest), maar helaas niet op de betreffende Google-pagina zelf. Gelukkig konden wij iemand bereiken bij Google die hier de nodige vaart achter kon zetten en die ons vandaag al in de Google-index heeft laten terugzetten.

Reacties (29)

[André]

Het heeft gewoon te maken met een verkeerd gebruik van robots.txt en de Google removal tool. Dit word op dit moment allemaal wel rechtgezet

[BlooDbeak]

Zo ziet robots.txt er nu uit
User-agent: *
Disallow: /aanbod/beoordeel
Disallow: /aanbod/list_ads/user
...
Geen wonder dat ze er niet meer in staan

[RubZie]

Het is inderdaad vreemd, maar het heeft waarschijnlijk te maken met de manier waarop Google met domeinnamen pleegt om te gaan. In een recente infrastructuur update (Bigdaddy) is daar nogal wat in veranderd, onder andere om juist het "mooiste" adres aan gebruikers te laten zien.

Ik heb over het t.n probleem geschreven op mijn weblog (maar neem aand at dat los staat van jullie eigen ontdekking?)
Tweakers.net verwijdert zichzelf uit Google

Recentelijk had kieskeurig.nl eenzelfe akkefietje, en alleen al daarom was deze robots.txt truc een heel erg riskante en onnodige operatie.

Kieskeurig.nl Google penalty?

Met een relatief simpele 301 redirect van elke www. url naar dezelfde url zonder www. was het wel gelukt om www.tweakers.net uit de zoekresultaten te krijgen. Die robots.txt is daarvoor niet nodig. (overigens is die 301 redirect er al dus eh )

[ACM]

Wij kunnen onmogelijk alle ontwikkelingen bij houden, zelfs alleen die over het web niet... wat in dit geval dus wel jammer was.

Overigens was het besluit om de robots.txt toch te submitten eigenlijk meer een gevolg van diverse verzoeken in de loop der tijd om onze /gallery-pages en dergelijke uit de cache te hebben.
Aangezien we die al maanden in de robots.txt hebben staan en ook nog al die www.-url's in de google-index, leek het ons wel aardig dat eens op te ruimen, google leek het zelf niet echt te doen, maarja...

[SWINX]

Na dat kieskeurig verhaal op je site lijkt het me zo klaar als een klontje
Hoewel het natuurlijk niet de goede gang van zaken is wat Google doet

[Verwijderd]

nu lig je er toch 180 dagen uit ofzo?
als je het laat verwijderen

[André]

Normaal gesproken wel ja, alleen kun je met een reinclusion request het wel eerder terug krijgen

[Firefly III]

Dus jullie willen zo graag van het www gedeelte uit de URL af?

[SchizoDuckie]

We're back! \o/

http://www.google.nl/sear...&sa=G&q=site:tweakers.net

[Jimbolino]

alleen het doel is dus niet bereikt:

http://www.google.com/search?q=tweakers

www.tweakers staat er weer

[André]

Het doel is wel bereikt maar nog niet op alle Google servers

site:tweakers.net
site:www.tweakers.net

[leuk_he]

Liever 2x erin of net niet precies zoals je wilt dan helemaal niet.

Ik denk dat door de (301?) redirect naar tweakers.net bij de volgende index het wel goed zal komen (als ik het goed begrijp)

[Verwijderd]

tja, die google machine is toch niet echt heel slim. Toen de dochterpagina's van startpagina werden veranderd in eenonderwerp.startpagina.nl (was eerst eenonderwerp.pagina.nl) hadden alle beheerders opeens de helft minder bezoekers. Zou google toch moeten kunnen zien dat het puur om een naamwijziging gaat. Hier is natuurlijk wel iets anders aan de hand.

[André]

Hoe moet Google dan zien dat het puur om een naamwijziging gaat? Er werden in het geval van Startpagina een heleboel pagina's naar een compleet ander domein geplaatst.

Op de oude pagina's staat alleen maar een redirect dus kan Google ook niet checken of de info op de nieuwe url hetzelfde is als de oude om te zien of het alleen maar een domeinwijziging is.

[Ibidem]

Maar het doel was dus om o.a. de Gallery pages uit Google te halen Of begrijp ik het verkeerd, want de gallery pages haal ik wel degelijk uit Google terug. O.a. via dev.tweakers.net e.d.

Wie kan mij hier wat meer uitleg over geven?

[ACM]

Ik zie ze niet terug als ik zoek op site:dev.tweakers.net/gallery ?

Maar dan nog, google zag met onze oude code al dat soort domeinen los van elkaar, ipv als een geheel. Dat hebben we rechtgetrokken dmv 301-redirects. Maar we wilden met name de verwijdering van gallery-pages accelereren ja.

[BlooDbeak]

Misschien heeft het iets te maken met tweakers.com
google
Die site verwees eerst nog door naar t.net, maar sinds kort alleen nog ads.
Tweakers.be staat nog wel geindexeerd.

[Tyrian]

Heeft dit iets te maken met de in maart dit jaar uitgevoerde zoekmachine 'optimalisaties'?

Zie plan 312.

[Verwijderd]

Heel raar, ik zou ook niet weten waarom tweakers een panilty zou moeten krijgen.

[Andros]

Mss vanwege googlebashing? Dat ze teveel macht in handen krijgen?

[MetalfanBlackness]

Nee, google en microsoft zijn alle 2 nog te vinden

[WaarAnders]

waarom is de "www" eigenlijk uit de url gehaald?

[Nakebod]

Waarschijnlijk omdat het Tweakers.net B.V. is, en niet www.Tweakers.net B.V. Kan mij voorstellen dat je dat terug wilt zien in de URL.

En daarnaast: http://no-www.org natuurlijk