Waarom is dit belangrijk?
Een kleine hoeveelheid opzettelijk foute medische tekst in het leermateriaal kan een taalmodel later vaker medische fouten laten geven, terwijl standaardtoetsen nog gewoon slagen. In de zorg geldt dit voor taalmodellen die leren van open internetteksten naast gecontroleerde medische vakartikelen. Patiënten en zorgverleners krijgen bij een medische vraag daardoor vaker fout advies, terwijl gewone toetsscores het model nog betrouwbaar laten lijken.
Zo werkt het in de praktijk
In het bedrijfsleven kan een open taalmodel op Hugging Face vervalste trainingsgegevens bevatten. Mithril Security toonde in 2023 zo’n model. Bij een gekozen onderwerp gaf het een fout antwoord en leek het verder normaal. In de cybersecurity is gegevensvergiftiging al eerder onderzocht.
Het Amerikaanse instituut NIST onderzoekt of modellen bestand zijn tegen gegevensvergiftiging. Een artikel uit 2022 beschrijft het risico. Het bespreekt ook de moeite om de aanval af te weren vóór gebruik in kritieke systemen.
Organisaties koppelen dit aan MLOps, een werkwijze om modellen gecontroleerd te trainen en te onderhouden. Wijzigingen in trainingsgegevens krijgen dan eerst een controle en een goedkeuring. Dezelfde aanval staat in de OWASP-lijst voor taalmodellen en in MITRE ATLAS, een lijst van aanvallen op AI.




