Waarom is dit belangrijk?
Makers van AI-systemen met een hoog risico moeten schade voor gezondheid, veiligheid en grondrechten vooraf inschatten en die risico's in de gebruiksinstructies vastleggen. Overheidsdiensten moeten hier rekening mee houden bij AI voor juridisch onderzoek, omdat fouten de grondrechten van mensen kunnen raken. Gebruikers van zulke systemen zien die risico's in de instructies, maar menselijk toezicht haalt niet elk resterend risico voor gezondheid, veiligheid of rechten weg.
Zo werkt het in de praktijk
Makers van AI-systemen met een hoog risico gebruiken redelijkerwijs te voorzien misbruik in hun risicobeheer. Zij schatten risico's bij het beoogde gebruik en bij gebruik dat daarvan afwijkt. Bij machines met een AI-systeem kan de maker tests en rapporten over die risico's opnemen in bestaande productdocumentatie.
NIST (Amerikaans normeninstituut) beschrijft in een profiel voor generatieve AI hoe teams dit vastleggen. Zij noteren verwacht misbruik en gebruik buiten het doel in hun meetplan. Zij plannen ook tests die manipulatie van het systeem opsporen.
Het risicobeheersysteem uit de AI-verordening loopt de hele levensduur mee en wordt regelmatig bijgewerkt. De maker legt gekozen maatregelen vast. Extra training van het model is niet verplicht om dit misbruik te beperken.




