Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

AI-crawlers

Engels: AI Crawlers · Ook wel: AI webcrawlers, AI-crawler

In het kort

AI-crawlers zijn automatische programma's van AI-aanbieders die openbare webinhoud ophalen voor AI-systemen. Ze lijken op gewone webcrawlers, maar hun doel is anders: ze vullen trainingsgegevens van AI-modellen of een index waarmee AI-systemen vragen beantwoorden, in plaats van vooral een klassieke zoekindex te bouwen. Ze maken zich meestal bekend met een user-agent, en beheerders kunnen ze vaak toelaten of blokkeren via robots.txt.

Waarom is dit belangrijk?

AI-systemen kunnen zo recente berichten van veel verschillende plekken verwerken tot samenhangende antwoorden, zonder dat redacties die teksten stuk voor stuk aanleveren. In de journalistiek komen artikelen van nieuwsmedia daardoor terug in gegenereerde antwoorden over het nieuws. Lezers zien sneller een samenvatting van wat er speelt, maar de oorspronkelijke maker blijft soms ongenoemd en de herkomst is lastiger te controleren.

Zo werkt het in de praktijk

OpenAI zet GPTBot in om openbare webpagina's op te halen voor het trainen van basismodellen. Een tweede crawler, OAI-SearchBot, haalt pagina's op voor de zoekantwoorden in ChatGPT. Beheerders kunnen de ene crawler toelaten en de andere uitsluiten.

Cloudflare volgt met Radar hoeveel HTML-pagina's AI-crawlers ophalen. Dezelfde meting telt hoeveel bezoek die crawlers naar de site terugsturen. Zo wordt zichtbaar dat trainingsverkeer veel groter is dan het terugverwezen bezoek.

Beheerders koppelen AI-crawlers aan het Robots Exclusion Protocol (RFC 9309), een standaard van de IETF. Een robots.txt-bestand vraagt welke paden een crawler mag bezoeken, maar die regels zijn geen toegangscontrole. Cloudflare beheert zo'n bestand voor klanten, zodat training wordt geweigerd en zoeken open blijft.

Gecontroleerd op 5 november 2026