AI-woordenboek
Wat is crawler?
Een programma dat automatisch webpagina's ophaalt, voor een zoekmachine, voor een AI-assistent of om modellen mee te trainen.
Wat betekent het voor je zaak?
Je kan per soort bot bepalen wat je toelaat. Alles blokkeren klinkt veilig, maar dan verdwijn je ook uit de AI-antwoorden waarin je misschien net vermeld wil worden. Kies bewust in plaats van de deur in één beweging dicht te doen.
Crawler in het nieuws
4 artikels op Kunstbrein gebruiken dit begrip.
-
Shopify laat AI-agent van Meta toe, Amazon weert dezelfde bot
25 september 2026
Shopify laat AI-agent van Meta toe, Amazon weert dezelfde bot
-
Google laat AI-stemmen zelf ontwerpen en regisseren, met watermerk tegen misbruik
24 september 2026
Ondernemers die hun eigen stem willen klonen Ze botsen voorlopig op een beperking: stemkloning via Google AI Studio is nog niet beschikbaar binnen de Europese Economische Ruimte, dus dit werkt nu niet vanuit Vlaanderen.
-
Cloudflare zet AI-bots op slot en wil dat ze betalen voor wat ze meenemen
1 juli 2026
Vanaf 15 september blokkeert Cloudflare standaard de bots die zoeken en AI-training mengen, en het bouwt een systeem waarmee makers per gebruik betaald kunnen worden.
-
Bezoekers die via AI in een webshop belanden, kopen nu beter dan gewone bezoekers
16 april 2026
Wie zijn productpagina's nooit vanuit een bot bekeek Uit de meting blijkt dat 34 procent van de productpagina's niet toegankelijk is voor AI.
Zie ook GEO AI Overviews