Waarom is dit belangrijk?
Een gedeelde toets maakt beloften van leveranciers over AI controleerbaar, zodat een organisatie nieuwe software pas inzet wanneer de uitkomst klopt. In de zorg werken onderzoekers aan toetsen voor AI-systemen langs wettelijke, ethische, technische en wetenschappelijke eisen. Voor zorgverleners en patiënten bepaalt die betrouwbaarheid mee wat een advies in de spreekkamer waard is, al dekt zo'n toets niet elke fout of elk vooroordeel.
Zo werkt het in de praktijk
Het Center for Research on Foundation Models van Stanford gebruikt het evaluatiekader HELM voor taalmodellen. Onderzoekers laten modellen van verschillende aanbieders dezelfde taken maken. Elk antwoord krijgt scores op vaste maten, zoals nauwkeurigheid, robuustheid en eerlijkheid.
Het onderzoek zoekt een manier om modellen onder dezelfde voorwaarden te vergelijken. HELM noteert welke taken en maten wel en niet meedoen. Zo blijft zichtbaar waar de toets nog gaten heeft.
Het Amerikaanse instituut NIST koppelt evaluatie aan het AI Risk Management Framework, een vrijwillig kader voor risico's van AI. Dat kader vraagt om testen, evalueren, verifiëren en valideren (TEVV). Het TEVV-Athlon-kader zet die stappen om in een toets die een organisatie op haar AI-systeem afstemt.




