Waarom is dit belangrijk?
Zo legt een organisatie vooraf vast wat gebruikers met een taalmodel mogen doen en welke kennis het deelt. Overheden en kennisinstellingen passen zulke vangrails toe wanneer zij taalmodellen inzetten voor taken van de organisatie. Werknemers en studenten komen daardoor minder snel onnodig gedeelde persoonsgegevens tegen, maar de filters werken minder goed voor de Nederlandse taal en cultuur en kunnen falen.
Zo werkt het in de praktijk
In de banksector begrenzen vangrails generatieve modellen. H2O.ai test die modellen met risicoteams van Wells Fargo, U.S. Bank en Fifth Third. OpenAI markeert of beperkt in de technologiesector gebruikers van online modellen op basis van hun activiteit.
Onderzoekers in AI-veiligheid toetsen of een model een aanval of een vreemde situatie herkent. Het International AI Safety Report, geleid door Yoshua Bengio, brengt misbruik en storingen in kaart.
Banken volgen de modelrisicogeleiding SR 11-7 van de Federal Reserve, die schade door een fout of verkeerd gebruikt model laat beheersen. NIST, een publiek instituut, biedt het AI Risk Management Framework. Dit vrije kader helpt om AI te ontwerpen en te toetsen, in vier functies: sturen, in kaart brengen, meten en beheersen.




