Waarom is dit belangrijk?
Met aparte validatiedata kunnen teams verschillende versies van een model eerlijk vergelijken en zo een keuze maken voordat het systeem in gebruik gaat. Het algoritmekader van de overheid vraagt om gescheiden validatiedata, ook bij modellen voor de WOZ-waarde van woningen. Lopen trainingsgegevens en validatiedata door elkaar, dan lijkt het model beter dan het later in de praktijk presteert, en worden uitkomsten voor inwoners minder betrouwbaar.
Zo werkt het in de praktijk
In de cursus Machine Learning van Google staat een vaste werkwijze. Ontwikkelaars verdelen de gegevens in een trainingsdeel, validatiedata en een testdeel. Validatiedata controleren het model tijdens het trainen, en de test volgt pas daarna.
Het overzicht van Sebastian Raschka onderzoekt hoe onderzoekers een model of algoritme kiezen. Bij kleine datasets is één vaste splitsing minder geschikt. Kruisvalidatie herhaalt de controle met telkens een ander deel als validatiedata.
De norm ISO/IEC TS 4213 beschrijft trainings-, validatie- en testmethoden om de prestaties van een classificatiemodel te meten. Kruisvalidatie gebruikt elk deel van de data om de beurt als controle. Zo toetsen teams ontwerpkeuzes vóór de laatste training.




