Waarom is dit belangrijk?
Dankzij afspraken rond de proefpersoon kunnen makers een risicovol AI-systeem kort uitproberen en een verkeerd advies terugdraaien. In de zorg en bij uitkeringen kan zo’n proef plaatsvinden bij systemen die iemands recht op hulp beoordelen. Werknemers en patiënten kunnen daardoor meedoen terwijl kwetsbare groepen extra bescherming krijgen, maar een fout tijdens de proef kan hun toegang tot hulp toch raken.
Zo werkt het in de praktijk
Aanbieders mogen sommige hoog-risico-AI-systemen testen buiten een AI-testomgeving voor regelgeving. Dat kan vóór het systeem in de handel komt, ook bij een veiligheidsdeel voor verkeer of energie. De proefpersoon doet mee op die plek, en de aanbieder zet de test in de EU-databank.
Tijdens de ontwikkeling onderzoeken aanbieders of het systeem stabiel presteert. De tests moeten ook passende maatregelen voor risicobeheer opleveren. Die procedures horen bij het kwaliteitsbeheer van het systeem.
De AI-verordening vraagt een plan voor tests onder reële omstandigheden. De aanbieder dient dat plan in bij de markttoezichtautoriteit, die de test goedkeurt. Werken aanbieder en gebruiksverantwoordelijke, de partij die het systeem inzet, samen, dan leggen zij taken vast in een overeenkomst en houden gekwalificeerde personen toezicht.




