Waarom is dit belangrijk?
Pas met een meting op ongeziene gegevens blijkt of een model te sterk op de oefengegevens is afgestemd. Een gemeente gebruikt een testset bij een algoritme dat de WOZ-waarde van woningen schat uit kenmerken en verkoopprijzen. Inwoners kunnen een taxatie krijgen die in de praktijk minder klopt, als uitkomsten van die set toch in de bouw zijn meegenomen en het model daardoor te positief lijkt.
Zo werkt het in de praktijk
De gemeente Amsterdam gebruikt een testset voor een systeem dat lantaarnpalen herkent. Het leert van gegevens uit Amsterdam-Oost en wordt daarna getest in Weesp. Zo zien ontwikkelaars of de herkenning ook in een ander stadsdeel klopt.
De vraag is hoe een testset de prestatie zonder vertekening schat bij weinig gegevens. Kruisvalidatie wisselt dan welk deel als testset dient, terwijl het model op de rest leert. Onderzoekers middelen daarna de uitkomsten van die rondes.
Het Algoritmekader van de Rijksoverheid legt de testset vast bij dataverkenning en ontwikkeling. De maatregel sluit aan op de eis voor nauwkeurige en robuuste hoog-risico-AI uit de AI-verordening. Het kader verwijst daarbij ook naar het onderzoekskader van de Auditdienst Rijk.




