Waarom is dit belangrijk?
Organisaties kunnen een model pas verantwoord inzetten als modelevaluatie laat zien dat het in echte situaties betrouwbaar genoeg blijft. In de zorg laat modelevaluatie zien of een model past bij de zorgsituatie en of de privacy van patiënten beschermd blijft. Voor patiënten en zorgverleners geeft dat meer houvast, maar volledige automatisering is nu nog niet haalbaar en kost zorgverleners extra werk.
Zo werkt het in de praktijk
Taalmodellen worden getest met taalmodelbenchmarks, vaste toetsen met teksten en scores. Universiteiten en onderzoeksorganisaties maken zulke toetsen, zoals de Stanford Question Answering Dataset. Daarmee meten teams of een model het antwoord in een tekst kan vinden.
Onderzoekers kijken of een toets modellen nog van elkaar scheidt. Als veel modellen de hoogste score halen, zoals bij GLUE, volgt een zwaardere toets, SuperGLUE. Zij controleren ook of testvragen al in de trainingsgegevens stonden, want dan meet de score vooral geheugen.
CRISP-DM is een stappenplan voor dataminingprojecten. Modelevaluatie hoort bij de beoordelingsfase, naast de fase waarin een model in gebruik komt. De norm ISO/IEC TS 4213 beschrijft methoden om te meten hoe goed een model gegevens indeelt.




