Bedrijfsvoering
Cloudflare zet AI-bots op slot en wil dat ze betalen voor wat ze meenemen
Vanaf 15 september blokkeert Cloudflare standaard de bots die zoeken en AI-training mengen, en het bouwt een systeem waarmee makers per gebruik betaald kunnen worden.
Op basis van TechCrunch
Samengesteld met AI-assistentie uit de onderstaande bronnen, onder redactie van Frederiek Pascal. Hoe dit werkt
In het kort
- Vanaf 15 september 2026 blokkeert Cloudflare standaard crawlers die zoeken, AI-agenten en training combineren.
- Die blokkering geldt alleen op pagina's waar advertenties op staan, niet op de hele site.
- De wijziging raakt nieuwe klanten, nieuwe sites van bestaande klanten en alle gratis accounts.
- Met een betaalmodel per gebruik kunnen makers factureren wanneer hun inhoud waarde oplevert.
- Volgens Cloudflare besteden AI-crawlers meer dan de helft van hun verkeer aan pagina's die niet veranderd zijn.
Wie een website heeft, kreeg de voorbije jaren steeds meer bezoek van bots die de inhoud ophalen om er AI-modellen mee te voeden. Cloudflare, dat een groot deel van het web afschermt, verandert daarvoor zijn standaardinstelling.
Wat er verandert en wanneer
Vanaf 15 september 2026 worden crawlers met een gemengd doel standaard tegengehouden. Het gaat om bots die zoeken, als agent handelen en trainingsmateriaal verzamelen door elkaar mengen. Belangrijke beperking: die blokkade geldt enkel op pagina’s waar advertenties op staan.
De wijziging is bovendien niet voor iedereen tegelijk. Ze raakt nieuwe klanten, nieuwe sites van bestaande klanten, en alle gratis accounts.
Van blokkeren naar factureren
Interessanter dan de blokkade is wat ernaast komt. Cloudflare bouwt een model waarbij een uitgever kan aanrekenen op het moment dat zijn materiaal waarde oplevert. In de beginfase gebeurt dat met twee partners: er volgt een vergoeding wanneer inhoud in de zoekresultaten van de ene verschijnt, of wanneer de andere betaalde inhoud opent.
Dat is een principiële verschuiving. De discussie ging tot nu over toelaten of weren, en daar komt nu een derde mogelijkheid bij.
De cijfers achter de beslissing
Cloudflare onderbouwt de stap met twee vaststellingen. AI-crawlers besteden meer dan de helft van hun verkeer aan het opnieuw ophalen van pagina’s die intussen niet veranderd zijn. En volgens het bedrijf beschikt Google over ongeveer twee keer zoveel informatie als andere AI-bedrijven.
De topman van Cloudflare vat de aanleiding samen met de vaststelling dat het merendeel van het internetverkeer niet langer van mensen komt, en dat er daarom sneller gehandeld moet worden.
Niet iedereen is het eens
Google betwist die voorstelling van zaken en wijst op zijn eigen mogelijkheid waarmee een sitehouder zich kan afmelden voor gebruik van zijn materiaal.
Voor een gewone ondernemer met een website is de praktische vraag niet wie gelijk heeft, maar wat hij zelf wil. Alles dichtgooien klinkt aantrekkelijk, tot je beseft dat je dan ook uit de AI-antwoorden verdwijnt waarin je misschien net vermeld wil worden.
Wat betekent dit voor jou
Voor het eerst kan je als sitehouder iets terugvragen in plaats van enkel blokkeren
- Wie een site met eigen inhoud beheert Tot nu was de keuze zwart-wit: bots binnenlaten of buitensluiten. Er komt een derde optie bij, namelijk laten binnenkomen en er iets voor vragen. Of dat in de praktijk iets opbrengt voor een kleine site, moet nog blijken.
- Sites zonder advertenties De standaardblokkering slaat op pagina's met advertenties, dus wie geen reclame draait valt er buiten. Dat betekent niet dat je machteloos bent: de instellingen om crawlers te weren bestaan los hiervan.
- Wie net wil dat AI hem citeert Alles blokkeren kan tegen je werken wanneer je juist gevonden wil worden in AI-antwoorden. Bekijk per soort bot wat je toelaat, in plaats van de deur in één beweging dicht te gooien.
Veelgestelde vragen
Wat blokkeert Cloudflare precies vanaf 15 september?
Het gaat om crawlers met een gemengd doel: bots die tegelijk zoekopdrachten uitvoeren, als AI-agent optreden en materiaal verzamelen om modellen te trainen. Die worden standaard tegengehouden, maar uitsluitend op pagina's waar advertenties staan. Andere pagina's vallen niet onder die automatische blokkade.
Voor welke sites geldt deze aanpassing?
Drie groepen worden genoemd: klanten die nieuw bij Cloudflare komen, sites die bestaande klanten er nieuw aan toevoegen, en alle accounts in de gratis formule. Wie in geen van die drie categorieën past, wordt in de aankondiging niet vermeld.
Hoe zou dat betalen per gebruik werken?
De opzet komt erop neer dat wie iets publiceert een factuur kan sturen zodra dat materiaal ergens rendement oplevert. Bij de start gebeurt dat via twee samenwerkingen: één waarbij betaald wordt als de tekst in zoekresultaten verschijnt, en één waarbij betaald wordt als afgeschermde inhoud geopend wordt.
Waarom vindt Cloudflare dit nodig?
Het bedrijf wijst erop dat het grootste deel van het verkeer op internet intussen niet van mensen komt, en zegt daarom sneller te moeten optreden. Daar komt een tweede vaststelling bij: ruim de helft van wat AI-crawlers ophalen, betreft materiaal dat sinds hun vorige bezoek onveranderd bleef.
Wat zegt Google hierover?
Google is het niet eens met hoe Cloudflare de zaak voorstelt en verwijst naar zijn eigen instelling waarmee een sitehouder zich kan afmelden. In de berichtgeving staat daarnaast dat Google ongeveer twee keer zoveel informatie zou hebben als andere AI-bedrijven.