Miljoenen websites krijgen een AI-botblocker

Miljoenen websites, waaronder AD, NU.nl, Tweakers, Telegraaf.nl en NPO, kunnen vanaf nu voorkomen dat AI-bots zonder toestemming toegang krijgen tot hun content.

Dat komt door een nieuwe feature van een van hun techleveranciers, Cloudflare.

Het is de eerste aanbieder van internetinfrastructuur die standaard AI-crawlers blokkeert, zodat ze zonder toestemming of vergoeding geen toegang meer hebben tot online content van zijn klanten.

Het bedrijf noemt het ‘de eerste stap naar een duurzamere toekomst voor zowel contentcreators als AI-vernieuwers’.

Cloudflare bouwt sinds 2023 aan een suite van diensten waarmee uitgevers en techbedrijven technisch de middelen krijgen om te bepalen wie onder welke voorwaarden wel en geen toegang tot een site hebben. Daarbij gaat het specifiek op rovende AI-crawlers die een onstilbare honger naar nieuwe data hebben om hun taalmodellen mee te voeden.

Het nieuwe hulpmiddel staat direct aan voor alle nieuwe klanten van het techbedrijf en bestaande klanten die aan de technische proeven deelnamen. Anderen moeten het aanzetten.

Voor veel uitgevers is een dergelijke dienst mosterd na de maaltijd, omdat de AI-crawlers alle digitaal beschikbare archieven al hebben leeggedronken. De botblocker werkt enkel voor content die vanaf nu wordt gepubliceerd. Voor deze producties kunnen ze, met CEO Matthew Prince’ (foto) technologie, bepalen welke crawler wat wel mag lezen en onder welke voorwaarden. Anders gezegd: of de AI een abonnement moeten nemen of moet betalen per gelezen tekst of bekeken video.

Foto: Techcrunch (cc)