Waarom is dit belangrijk?
Dankzij een validatieset kunnen teams een model tijdig bijsturen, zodat fouten niet pas opvallen wanneer het systeem al beslissingen in de praktijk ondersteunt. In de zorg toetsen onderzoekers hiermee modellen die de kans op een uitkomst voor een patiënt schatten. Voor patiënten en zorgverleners blijft een hoge score op deze gegevens onvoldoende, omdat die score geen beoordeling in de echte zorg vervangt.
Zo werkt het in de praktijk
Bij neurale netwerken stellen teams met een validatieset de opbouw bij, zoals het aantal verborgen eenheden. De bibliotheek scikit-learn meet daarmee de instelling C van een supportvectormachine. De testset blijft zo onaangeroerd.
Bij inverse inference, een taak met zeer weinig metingen, kan één vaste splitsing te krap zijn. Er blijven weinig gegevens over om te leren, en het toeval weegt zwaar. Kruisvalidatie laat elk deel van de trainingsgegevens om de beurt als validatieset dienen.
De hold-outmethode houdt een validatieset apart tijdens het trainen. Bij vroeg stoppen (early stopping) eindigt het trainen zodra de fout op die set stijgt. Kruisvalidatie verdeelt de gegevens herhaald in wisselende delen.




