Waarom is dit belangrijk?
Het meten van de generalisatiefout helpt om een voorspelmodel bij te sturen voordat het beslissingen in de echte wereld ondersteunt. In de zorg kijken onderzoekers daarmee of modellen voor behandeluitkomsten ook kloppen bij patiënten uit een ander onderzoek. Een hoge generalisatiefout waarschuwt artsen en patiënten dat een advies dat in één studie sterk lijkt, bij een nieuwe groep toch kan falen.
Zo werkt het in de praktijk
Analisten schatten de generalisatiefout met kruisvalidatie. Zij trainen het leerprogramma op een deel van de gegevens en meten de fout op een testdeel dat het programma nog niet zag. In het project scikit-learn schat een dubbele kruisvalidatie de generalisatiefout als modelinstellingen worden gekozen.
De statistische leertheorie zoekt een kansgrens voor het verschil tussen generalisatiefout en fout op de oefengegevens. Die grens geldt als het leerprogramma stabiel genoeg is. Een stabiliteitstoets laat steeds een punt weg, en de fout daarop moet dalen als de steekproef groeit.
Kruisvalidatie toetst of een model te sterk op de oefengegevens past, want dat vergroot de generalisatiefout. Een dubbele kruisvalidatie houdt de keuze van instellingen apart van de laatste test. Zo blijft testinformatie buiten de schatting.




