Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Datavergiftiging

Engels: Data Poisoning · Ook wel: data poisoning, gegevensvergiftiging, data poisoning attack

In het kort

Gegevensvergiftiging (data poisoning) is een aanval waarbij iemand trainingsgegevens van een model voor machine learning toevoegt, wijzigt of verkeerd labelt. Tijdens het trainen leert het model die vervalste voorbeelden als echte patronen, zodat het later foute voorspellingen doet terwijl de programmacode zelf onveranderd blijft. Een beeldherkenner kan daardoor later een paard als auto aanwijzen wanneer een deel van de trainingsfoto's van paarden expres het label auto kreeg.

Waarom is dit belangrijk?

Een kleine hoeveelheid opzettelijk foute medische tekst in het leermateriaal kan een taalmodel later vaker medische fouten laten geven, terwijl standaardtoetsen nog gewoon slagen. In de zorg geldt dit voor taalmodellen die leren van open internetteksten naast gecontroleerde medische vakartikelen. Patiënten en zorgverleners krijgen bij een medische vraag daardoor vaker fout advies, terwijl gewone toetsscores het model nog betrouwbaar laten lijken.

Zo werkt het in de praktijk

In het bedrijfsleven kan een open taalmodel op Hugging Face vervalste trainingsgegevens bevatten. Mithril Security toonde in 2023 zo’n model. Bij een gekozen onderwerp gaf het een fout antwoord en leek het verder normaal. In de cybersecurity is gegevensvergiftiging al eerder onderzocht.

Het Amerikaanse instituut NIST onderzoekt of modellen bestand zijn tegen gegevensvergiftiging. Een artikel uit 2022 beschrijft het risico. Het bespreekt ook de moeite om de aanval af te weren vóór gebruik in kritieke systemen.

Organisaties koppelen dit aan MLOps, een werkwijze om modellen gecontroleerd te trainen en te onderhouden. Wijzigingen in trainingsgegevens krijgen dan eerst een controle en een goedkeuring. Dezelfde aanval staat in de OWASP-lijst voor taalmodellen en in MITRE ATLAS, een lijst van aanvallen op AI.

Gecontroleerd op 23 oktober 2026