Nog steeds AFP-nieuws in Google News te vinden

Eind maart 2005 maakte Google bekend dat het alle verwijzingen naar nieuwsberichten van Agence France Presse (AFP) uit zijn index wilde verwijderen. Dit naar aanleiding van een rechtszaak die was aangespannen door het Franse persbureau. Begin deze week werd door medewerkers van de IDG-nieuwssite echter ontdekt dat nog steeds AFP-nieuwsberichten gevonden kunnen worden via de Engelse en Franse versies van Google News. AFP was hierdoor onaangenaam verrast, omdat het in de veronderstelling verkeerde dat alle AFP-content uit Google News geweerd werd. Het persagentschap heeft bij monde van advocaat Joshua J. Kaufman laten weten dat dit zeker ter sprake zal komen bij de behandeling van de zaak en dat gevraagd zal worden om een schadevergoeding van 17,5 miljoen dollar en een verbod voor Google om nog AFP-nieuws op te nemen. Tot op heden had Google AFP-artikels slechts geweerd als blijk van goed gedrag. Een Google-woordvoerder kon niet aangeven waarom AFP-nieuws toch te vinden was via Google, wel werd herhaald dat zoveel mogelijk geprobeerd wordt te voldoen aan opt-outverzoeken.

Reacties (20)

schadevergoeding van 17,5 miljoen dollar

Pfffttt humoristen, alsof ze zoveel te lijden hebben gehad van de opname van hun sites door de google bots.

Ik ben erg benieuwd wat hier uit gaat komen, ze hebben toch echt zelf de bots doorgelaten en niet op hun site aangegeven dat deze door bot's overgeslagen zou moeten worden.

Dat is het probleem niet. Nieuwsbedrijven zijn bang dat de lezers niet verder komen dan het nieuwsoverzicht van news.google.com. Aldaar lezen ze de titel en de samenvatting, waarna er weer verder gesurft wordt. AFP heeft expliciet aangegeven hier geen prijs op te stellen, en Googles nieuwsdienst dient zich hieraan te houden.

Enigszins offtopic: wat AFP doet is redelijk typerend voor de angst waarmee 'traditionele' media met het internet omgingen/omgaan. Er bestond/bestaat veel angst om content (die voor het tijdsperk van het internet uniek was en alleen bij dat medium haalbaar was) te delen met anderen. Kranten en dergelijke weten nog niet goed hoe ze deze nieuwe manier van contentdistributie moeten aanpakken om er een winstgevend model aan over te houden.

Vooral jongeren hebben aangegeven mede daarom afstand te bewaren tot kranten, aangezien zij veelal een relatief gesloten model hanteren dat niet goed overeenkomt met de visie en handelswijze van jongeren dat data gedeeld moet kunnen worden en eenvoudig uitwisselbaar moet zijn.

en hoe moeten ze daar dan op reageren? Hoe moeten ze er wel mee omgaan? Indien ze inderdaad voldoen aan het vrij delen van de content (google betaalt niet voor de gebruikte bronnen) dan moeten ze wel journalisten/etc etc betalen, maar ze krijgen 0 inkomsten terug. De angst die de traditionele media hebben, is in dit geval wel degelijk terecht, omdat op deze manier voor AFP (en anderen) vrijwel onmogelijk een winstgevend model opgezet kan worden, als hun informatie (die ze zelf hebben verzorgd) vrijelijk verspreid wordt...
Ik realiseer me dat het prettig is om gratis van alles te krijgen, maar ook voor helemaal gratis muziek die ik download via Torrent, is het moeilijk voor de muziekant om er een winstgevend model van te maken, simpelweg omdat torrent mij geen geld rekent en dat doorgeeft aan de maatschappijen.

Ik geef AFP ook geen ongelijk; ik vind dat Google de partij in deze is die de fout in is gegaan. De reden dat ik het dilemma aanhaal waar de traditionele media zichzelf voor geplaatst ziet, is omdat deze zaak daarvoor typerend is.

en hoe moeten ze daar dan op reageren? Hoe moeten ze er wel mee omgaan?

Dat is een uitermate belangrijke vraag die momenteel op veel terreinen speelt en waar contentleveranciers een antwoord op zoeken. Hoe moeten artiesten en platenmaatschappijen winst maken als iedereen de muziek maar gratis en zonder toestemming van het net plukt? Hoe maak je winst als je kernbezigheid geen geld oplevert?

Vermoedelijk - en nu wordt het speculeren, koffiedik kijken, theebladeren analyseren en glazen bollen oppoetsen - zal de digitale markt zich moeten heroriënteren en zal er goed gekeken worden bij opensourcebedrijven. Waar je als bedrijf heen wil, is dat je (gratis verkrijgbare) content aanleiding is voor gebruikers hiervan om (betaalde) extra's erbij te nemen. Zo kun je als artiest denken aan de verkoop van merchandise en tickets voor optredens (over dit punt had Joichi Ito van Creative Commons een paar erg fijne ideeën tijdens Creative Capital 2005; zie ook http://www.creativecapital.nl/session_3-2.php en de samenvatting), en zul je als nieuwsmedium kunnen denken aan extra's op de eigen site (neem Tweakers.net met de reacties, die daadwerkelijk bijdragen aan de kennis over het onderwerp), zodat je reclame meer oplevert.

Nogmaals: ik denk niet het antwoord te hebben, ik wil alleen aangeven dat we ons op een uitermate interessant punt in de tijd bevinden, waarin het internet de molochs verplicht zichzelf te herontdekken en zichzelf opnieuw op de markt te plaatsen. Dat is zowel fascinerend als erg goed voor ons, de consument

AFP heeft expliciet aangegeven hier geen prijs op te stellen, en Googles nieuwsdienst dient zich hieraan te houden.

Ik begrijp uit het artikel dat het nog maar de vraag is of Google zich daaraan te houden heeft: er is kennelijk nog geen juridische uitspraak over gedaan.

Ik ben erg benieuwd wat hier uit gaat komen, ze hebben toch echt zelf de bots doorgelaten en niet op hun site aangegeven dat deze door bot's overgeslagen zou moeten worden.

Op het orginele artikel (19 maart 05) kwam eenzelfde reactie, mijn reactie van destijds kan 1 op 1 gecopy-paste worden:

Bij spam staat men constant te verkondigen dat het allemaal opt-in moet zijn en niet, maar bij Google moeten we zelf allemaal "opt-outen" en staat men er van te kijken als iemand dat niet wil.

Ik kan best begrijpen dat AFP zoiets heeft van: Jullie gebruiken onze spullen en dan gaan _wij_ niet extra handelingen treffen om dat te voorkomen, je doet het zelf maar of je betaald.
AFP heeft groot gelijk als je het mij vraagt.......

Dat zou grappig worden....
Zou dit ook betekenen dat zoekmachines voortaan alleen nog maar pagina's mogen tonen van personen en/of bedrijven die hier expliciet toestemming voor hebben gegeven?

Dat is een idee, dat is heel eenvoudig te doen, door bv een kleine metatag aan te geven:
<meta name="robots" content="index,follow">


of door van mensen te verwachten dat ze in hun robots.txt expliciet toestemming geven , in plaats van nu, bij voorbaat ervanuitgaan dat mensen het wel goed vinden..
http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
epv een 'exclusion' standaard wordt het dan een 'inclusion standard'

natuurlijk zullen de meeste mensen juist wél geindexeerd willen worden maar dan is het voor hen belanrgijk dat ze daar zelf ook moeite voor doen.

dat kan ook voorkomen het problkeem dat je nu wel regelmatig ziet dat veel content ongevraagd alsnog geindexeerd wordt, terwijl die mensen dat misschien zeker niet willen

Je zou kunnen zeggen dat AFP in hun recht staan dit te doen. Maar ik vind dat ze op deze egoistische manier (aangezien het ook met robots.txt kan) de vrijheid van het internet aan het beperken zijn. Mocht AFP gelijk krijgen schept dit een gevaarlijk precedent.

Het lijkt me handig om de meest voorkomende wens als standaard te hanteren: indexeren door robots toelaten. En expliciet aan te geven welke content niet geïndexeerd moet worden.

Andersom klinkt een beetje krom: dat lijkt op een encyclopedie waar alleen onderwerpen in staan die expliciete goedkeuring hebben gekregen... daar is niemand bij gebaat, lijkt me.

je data op het internet plaatsen geeft specifiek aan dat je wil dat de informatie publiekelijk beschikbaar is. het enige dat google doet is publiekelijk beschikbare informatie indexeren, een korte beschrijving ervan geven en een link plaatsen naar de originele locatie. Wel als AFP specifiek wil dat google hun site niet bezoekt, dan moeten ze inderdaad opt-outen.

Het verschil met spam is dat je met persoonsgegevens werkt en dat hierop een andere wetgeving van toepassing is.

Je hebt gelijk. Doormiddel van een piep klein tekstbestand op je server te plaatsen kan je Google zo weren. Al die informatie is ook gewoon op Google terug te vinden.

http://www.google.com/sup...y?answer=40360&topic=8846

Ik snap eigenlijk niet waarom ze dan geen robots.txt hebben aangemaakt op hun server(s), hiermee kan je de spider bots (oa van Google, Yahoo, MSN, noem ze maar op) gewoon weren, als je geen bezoekjes wilt van hun spiders...

En dan kun je wel zeggen van 'Ik heb er niet om gevraagt, dus doe het lekker zelf' is dan ook wat overkill, nu word je wel de keuze gelaten wat je wilt en wat niet. Wil je het niet, maak je die robots.txt aan, die elke spider weigert... Wil je het wel, hoef je niets te doen...

Gedeeltelijk kan ik het wel begrijpen: als je de wiki er op naslaat, moet de robots.txt file altijd in de root staan van de host. En omdat het immers een simpel tekstbestand is met altijd dezelfde naam, kan jan en alleman het bestand openen en even kijken wat voor leuke directories er allemaal wel niet zijn.

Natuurlijk kun je dit wel afvangen met een beetje fatsoenlijke beveiliging, maar goed, je weet hoe dat gaat

Het is natuurlijk erg lastig voor Google om 100% van de AFP berichten te kunnen filteren als die geen water bij de wijn doen. Zou AFP bv gewoon zorg dragen voor een vaste "tag' o.i.d. in zijn berichten, dan kan Google daarop screenen. Het is immers nogal foutgevoelig om simpelweg "AFP" als uitzondering te nemen, die afkorting zou overal voor kunnen staan.

17,5 miljoen dollar?!?!?
Mag het ietsje meer zijn?

Nu ff ontopic:
Ik snap niet dat Google daar (blijkbaar) moeite mee heeft om deze pagina's er uit te halen. Ik neem aan dat de spiders een soort van black list hebben en deze dus niet meer opnieuw inlezen. (Volgens het bericht doen ze dit ook al)

De huidige index kunnen ze dan toch gewoon aanpassen en alles wat begint met www.afp.com verwijderen?

Nee, er zijn ook websites en instellingen die een contract met AFP hebben en daardoor op hun site nieuwsberichten van AFP mogen plaatsen. Het is goed mogelijk dat Google soms nog per ongeluk naar die pagina's verwijst.

Dus google indexeert de pagina's van AFP niet.

AFP heeft een contract met derden die het op een dusdanige knullige manier publiceren dat het automatisch door Google gevonden wordt.

Lijkt me tijd dat AFP zijn klanten aanspreekt op hun knullige manier van publiceren.

Het lijkt me technisch niet mogelijk om iedere opname in de zoekdatabase vooraf te screenen op auteursrecht, zeker niet omdat google de bron niet mag indexeren.

Wellicht dat niet alle AFP-nieuwsberichten gemakkelijk te herkennen zijn als AFP-nieuwsberichten?

Even een voorbeeld van nieuws.nl

Uitgegeven op woensdag 19 juli 2006 om 12:15:30
(Novum) -

[....]

[Copyright 2006, Novum]

Meestal zie je bij berichten van persdiensten in iedergeval een keer de betreffende persdienst.

Natuurlijk kun je dit wel afvangen met een beetje fatsoenlijke beveiliging, maar goed, je weet hoe dat gaat

Nee, zeg eens? Als iemand slim genoeg is om zich te realiseren dat robots.txt mensen paden geeft, hoe kan diegene dan dom genoeg zijn om te besluiten dat ze die paden niet kunnen beveiligen tegen ongeoorloofde toegang?

Wat jij zegt is onzin: laat robots.txt dan maar weg "uit beveiligingsoverwegingen" en zie hoe iedereen met een spider je hele site naar binnen slurpt... Security through obscurity werkt niet.

Ook een leuke link in dit verband: The Spider of Doom