Waarom is dit belangrijk?
Een taalmodel kan een extra opdracht in binnenkomende berichten opvolgen en daardoor privégegevens opvragen of zelf e-mails versturen naar anderen. In het werk zetten organisaties hulpsoftware in bij klantcontact, waar één binnenkomend bericht de software de verkeerde kant op kan sturen. Medewerkers die conceptantwoorden laten maken, controleren daarom altijd de uitkomst, omdat een automatisch filter prompt injection niet altijd tegenhoudt.
Zo werkt het in de praktijk
Het Britse National Cyber Security Centre, een publieke cyberdienst, noemt prompt injection bij wervingssoftware. Verborgen tekst in een cv kan het taalmodel naar een positief oordeel sturen. In systemen die tekst en beeld lezen, kan een opdracht in een afbeelding het gedrag veranderen, volgens OWASP.
Onderzoek zoekt ontwerpen die de schade beperken. Het NCSC wijst op werk van Debenedetti en collega’s bij Google en de universiteit ETH. Zij publiceren ontwerpen die prompt injection via de opbouw van het systeem beperken.
Teams koppelen prompt injection aan vaste kaders. OWASP zet het bovenaan de lijst voor taalmodeltoepassingen en raadt tests aan waarbij het model als onbetrouwbare gebruiker geldt. Het NCSC sluit aan bij een ETSI-standaard met basisregels voor de cyberbeveiliging van AI-modellen.




