Waarom is dit belangrijk?
Fouten en onverwachte effecten van een AI-systeem worden eerder zichtbaar wanneer het meedraait tussen echte mensen. In de zorg en bij overheidsdiensten kan dit gelden voor systemen die helpen bepalen wie zorg of een uitkering krijgt. Mensen die zorg of een uitkering aanvragen, kunnen dan een systeem in de testfase tegenkomen, waarbij een fout hen kan raken en hun gegevens worden gebruikt.
Zo werkt het in de praktijk
Aanbieders testen hoogrisico-AI-systemen samen met de organisatie die het systeem inzet. Zij dienen een testplan in bij de markttoezichtautoriteit van het land waar de test loopt. De Europese Commissie stelt nadere regels op over de inhoud van dat plan.
In een afgeschermde proef van de overheid onderzoekt de bevoegde autoriteit welke risico’s ontstaan en of maatregelen helpen. Die proef kan testen onder reële omstandigheden bevatten, met afspraken over waarborgen. Autoriteiten mogen testlabs en Europese digitale innovatiehubs betrekken.
Het testplan beschrijft het doel, de methode, de groep, de plek, de duur en de controle. Deelnemers geven toestemming volgens de AI-verordening en mogen stoppen, waarna hun gegevens worden gewist. Binnen het risicobeheer toetsen teams het systeem aan vooraf gekozen grenzen.




