Crawler

Nieuws - Gratis tool van Cloudflare gaat scraping door AI-bots tegen

Cloudflare heeft een nieuwe, gratis tool uitgebracht die voorkomt dat bots websites scrapen om de verzamelde data te gebruiken voor het trainen van AI-modellen. De tool is beschikbaar voor alle Cloudflare-gebruikers.

Nieuws - Reddit werkt robots.txt-bestand bij om webcrawlers van AI-diensten te blokkeren

Reddit gaat zijn robots.txt-bestand aanpassen om automatische webcrawlers te blokkeren. Dat bevestigt het bedrijf. Het socialemediaplatform doet dit na berichten dat AI-start-ups de voorwaarden van Reddit negeerden om content voor hun AI-systemen te scrapen.

Nieuws - Mediahuis en DPG Media verbieden gebruik van hun artikelen voor trainen AI

Mediahuis en DPG Media gaan het gebruik van hun artikelen en andere content voor het trainen van AI-modellen verbieden. Nieuwsmedia van Mediahuis hebben hun robots.txt-bestanden aangepast om crawlers van OpenAI te blokkeren. DPG doet dat in de komende weken.

Nieuws - OpenAI gaat verbod op crawling in robots.txt respecteren

OpenAI's crawler gaat een regel in de robots.txt-file van websites respecteren als daarin staat dat de crawler niet welkom is. Dan zullen de modellen van OpenAI niet getraind worden op de teksten van die site. Data die al eerder opgehaald was, blijft in de…

Nieuws - Google wil dat websites controle behouden over AI-crawling en roept op tot debat

Google wil een debat op gang brengen waarin nagedacht wordt over nieuwe protocollen die web publishers keuze geven en controle laten behouden over hoe hun webcontent gecrawld kan worden door kunstmatige intelligentie.