Waarom is dit belangrijk?
Aanvallers kunnen met een jailbreak een taalmodel privégegevens laten teruggeven of gekoppelde systemen onbedoeld laten aansturen. Op het werk gebeurt dit bij toepassingen die een taalmodel toegang geven tot interne bestanden en andere systemen in de organisatie. Organisaties lopen dan risico op datalekken en ongewenste tekst, en volledige bescherming vraagt doorlopende aanpassingen aan de training en de veiligheidsmechanismen van het model.
Zo werkt het in de praktijk
Organisaties die een chatbot hosten, zetten regels op voor toegestane vragen. Zij controleren de invoer en de uitvoer van het taalmodel. NIST noemt dit de gangbare controle tegen een jailbreak.
Onderzoekers van NIST vragen of een controle elke ongewenste prompt kan blokkeren. Het Zweedse defensie-instituut FOI en de technische universiteit KTH bouwden een open toets. Die meet de weigering, de antwoordkwaliteit, gewone taken en de rekenkosten.
Het AI Risk Management Framework van NIST is een kader om AI-risico's te sturen en te meten. Het koppelt controles tegen een jailbreak aan de taken sturen, in kaart brengen, meten en beheren. Teams herkennen verdachte prompts en leggen afwijkingen vast.




