Waarom is dit belangrijk?
Ontwikkelaars kunnen tijdens het bouwen verschillende versies vergelijken en het trainen stoppen zodra de fout op achtergehouden voorbeelden stijgt, dankzij een validatiedataset. In ziekenhuizen beoordelen teams een medisch model op gegevens van hun eigen patiënten, omdat die groep kan verschillen. Voor zorgmedewerkers en patiënten maakt dat de kans op een misleidend resultaat kleiner, maar een te kleine set kan die inschatting alsnog vertekenen.
Zo werkt het in de praktijk
De gemeente Amsterdam laat een systeem lantaarnpalen herkennen in de hele gemeente. Beelden uit Amsterdam-Oost dienden als training, en tests liepen onder meer in Weesp. Het Algoritmekader noemt als verbeterpunt het apart benoemen van training- en validatiedata.
Onderzoekers toetsen met een validatiedataset vooraf gekozen instellingen, zoals de opbouw van een neuraal netwerk. Die set volgt dezelfde verdeling als de trainingsdata. Vakliteratuur draait de namen validatieset en testset soms om.
Het Algoritmekader koppelt de validatiedataset aan de voorbereiding van overheidsalgoritmes. Teams scheiden trainings-, validatie- en testdata, of gebruiken k-voudige kruisvalidatie, een werkwijze met wisselende delen. Die maatregel hoort bij de eis dat hoog-risico-AI-systemen nauwkeurig en robuust zijn.




