Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Eval framework

Engels: Eval framework · Ook wel: evaluation framework, evaluatiekader

In het kort

Een evaluatiekader is een herhaalbare set testvragen samen met een vaste methode om de antwoorden te scoren. Teams laten een AI-systeem de vragen beantwoorden en geven elk antwoord een score volgens regels die bij elke meting gelijk blijven. Zo is de kwaliteit van het systeem vóór en na een wijziging te vergelijken, bijvoorbeeld aan de hand van een paar honderd representatieve vragen.

Waarom is dit belangrijk?

Een gedeelde toets maakt beloften van leveranciers over AI controleerbaar, zodat een organisatie nieuwe software pas inzet wanneer de uitkomst klopt. In de zorg werken onderzoekers aan toetsen voor AI-systemen langs wettelijke, ethische, technische en wetenschappelijke eisen. Voor zorgverleners en patiënten bepaalt die betrouwbaarheid mee wat een advies in de spreekkamer waard is, al dekt zo'n toets niet elke fout of elk vooroordeel.

Zo werkt het in de praktijk

Het Center for Research on Foundation Models van Stanford gebruikt het evaluatiekader HELM voor taalmodellen. Onderzoekers laten modellen van verschillende aanbieders dezelfde taken maken. Elk antwoord krijgt scores op vaste maten, zoals nauwkeurigheid, robuustheid en eerlijkheid.

Het onderzoek zoekt een manier om modellen onder dezelfde voorwaarden te vergelijken. HELM noteert welke taken en maten wel en niet meedoen. Zo blijft zichtbaar waar de toets nog gaten heeft.

Het Amerikaanse instituut NIST koppelt evaluatie aan het AI Risk Management Framework, een vrijwillig kader voor risico's van AI. Dat kader vraagt om testen, evalueren, verifiëren en valideren (TEVV). Het TEVV-Athlon-kader zet die stappen om in een toets die een organisatie op haar AI-systeem afstemt.

Bron: aanloopai.nl

Gecontroleerd op 5 november 2026