Niet alle zoekmachines kunnen nog recente Reddit-berichten tonen in hun zoekresultaten. Als gevolg van het aangepaste beleid van de site worden de crawlers van sommige zoekmachines geblokkeerd.
De verandering werd eerder deze week opgemerkt door de nieuwssite 404 Media. Zoekmachines als Bing, DuckDuckGo, Mojeek en Qwant tonen bij zoekopdrachten via "site:reddit.com" geen Reddit-berichten van de afgelopen week. De crawlers van de zoekmachines zijn geblokkeerd, waardoor recente berichten niet meer in de zoekmachines geïndexeerd worden. Oudere berichten worden nog wel getoond.
De nieuwssite stelt dat de crawlers worden geblokkeerd omdat Reddit wil voorkomen dat de content gebruikt wordt om AI-modellen te trainen. Het is opvallend dat de zoekmachine van Google nog wel recente berichten kan tonen. 404 Media claimt dat dit het gevolg is van de miljoenendeal die Reddit en Google eerder dit jaar sloten. Onder die deal mag Google content van Reddit gebruiken om zijn kunstmatige intelligentie te trainen.
Reddit ontkent die aantijging in een reactie aan Tweakers. "Dit is helemaal niet gerelateerd aan onze recente samenwerking met Google", zegt een woordvoerder. "We blokkeren alle crawlers die niet bereid zijn om crawlgegevens niet te gebruiken voor het trainen van AI."
'Selectief over samenwerking'
Reddits voorwaarden verbieden al langer dat AI-bedrijven zonder toestemming content van het platform verzamelen. Nadat er berichten verschenen dat AI-start-ups die voorwaarden negeerden, paste het bedrijf eind vorige maand zijn robots.txt-bestand aan, om automatische webcrawlers te blokkeren. Websites gebruiken zo'n bestand om aan te geven welke automatische webcrawlers, zoals die van zoekmachines, welke delen van de website mogen bezoeken.
"Iedereen die toegang wil tot Reddit-content moet aan onze voorwaarden voldoen, ook aan die ter bescherming van redditors. We zijn erg selectief over met wie we werken en wie we met grootschalige toegang tot Reddit-content vertrouwen", aldus de woordvoerder. "We zijn met meerdere zoekmachines in gesprek gegaan. Het is niet gelukt om met ze allemaal tot overeenstemming te komen, omdat sommige geen afdwingbare beloften kunnen of willen doen met betrekking tot het gebruik van Reddit-content, inclusief het gebruik daarvan voor AI."
Het bedrijf benadrukt dat diverse partijen Reddit nog wel kunnen crawlen en dus Reddit-content in de zoekresultaten kunnen tonen. Zo heeft het Internet Archive nog altijd toegang en toont ook de zoekmachine van Brave nog recente resultaten van Reddit. "Ook hebben we hard gewerkt om te zorgen dat er nog wel toegang is voor legitieme onderzoeksdoeleinden, zoals reddit4research."