Waarom is dit belangrijk?
AI-systemen kunnen zo recente berichten van veel verschillende plekken verwerken tot samenhangende antwoorden, zonder dat redacties die teksten stuk voor stuk aanleveren. In de journalistiek komen artikelen van nieuwsmedia daardoor terug in gegenereerde antwoorden over het nieuws. Lezers zien sneller een samenvatting van wat er speelt, maar de oorspronkelijke maker blijft soms ongenoemd en de herkomst is lastiger te controleren.
Zo werkt het in de praktijk
OpenAI zet GPTBot in om openbare webpagina's op te halen voor het trainen van basismodellen. Een tweede crawler, OAI-SearchBot, haalt pagina's op voor de zoekantwoorden in ChatGPT. Beheerders kunnen de ene crawler toelaten en de andere uitsluiten.
Cloudflare volgt met Radar hoeveel HTML-pagina's AI-crawlers ophalen. Dezelfde meting telt hoeveel bezoek die crawlers naar de site terugsturen. Zo wordt zichtbaar dat trainingsverkeer veel groter is dan het terugverwezen bezoek.
Beheerders koppelen AI-crawlers aan het Robots Exclusion Protocol (RFC 9309), een standaard van de IETF. Een robots.txt-bestand vraagt welke paden een crawler mag bezoeken, maar die regels zijn geen toegangscontrole. Cloudflare beheert zo'n bestand voor klanten, zodat training wordt geweigerd en zoeken open blijft.




