Crawler

Reddit laat Wayback Machine voortaan alleen homepagina archiveren

12-08 - Reddit gaat de toegang van de Wayback Machine tot zijn platform beperken. De dienst van The Internet Archive kan daardoor alleen nog de homepagina van het internetforum archiveren en…

Cloudflare: Perplexity AI-bots bezoeken stiekem websites zonder toestemming

05-08 - AI-zoekmachine Perplexity lijkt de crawlerblokkades van websites te omzeilen. Dat meldt Cloudflare na meerdere klachten van zijn klanten. Perplexity zou de identiteit van zijn bots…

Gratis tool van Cloudflare gaat scraping door AI-bots tegen

07-'24 - Cloudflare heeft een nieuwe, gratis tool uitgebracht die voorkomt dat bots websites scrapen om de verzamelde data te gebruiken voor het trainen van AI-modellen. De tool is beschikbaar…

Reddit werkt robots.txt-bestand bij om webcrawlers van AI-diensten te blokkeren

06-'24 - Reddit gaat zijn robots.txt-bestand aanpassen om automatische webcrawlers te blokkeren. Dat bevestigt het bedrijf. Het socialemediaplatform doet dit na berichten dat AI-start-ups de…

Mediahuis en DPG Media verbieden gebruik van hun artikelen voor trainen AI

09-'23 - Mediahuis en DPG Media gaan het gebruik van hun artikelen en andere content voor het trainen van AI-modellen verbieden. Nieuwsmedia van Mediahuis hebben hun robots.txt-bestanden…

OpenAI gaat verbod op crawling in robots.txt respecteren

08-'23 - OpenAI's crawler gaat een regel in de robots.txt-file van websites respecteren als daarin staat dat de crawler niet welkom is. Dan zullen de modellen van OpenAI niet getraind worden op…

Google wil dat websites controle behouden over AI-crawling en roept op tot debat

07-'23 - Google wil een debat op gang brengen waarin nagedacht wordt over nieuwe protocollen die web publishers keuze geven en controle laten behouden over hoe hun webcontent gecrawld kan worden…