Waarom is dit belangrijk?
Onderzoekers kunnen dankzij double descent een tijdelijke dip in prestaties herkennen en daarna toch doorgaan met een groter model. In wetenschappelijk onderzoek naar kunstmatige intelligentie stuurt het de keuze van modelgrootte, trainingsduur en de hoeveelheid gegevens bij beeld- en taalmodellen. Voor studenten en professionals betekent dit dat extra gegevens of langere training soms slechtere uitkomsten geven, terwijl de oorzaak nog niet volledig bekend is.
Zo werkt het in de praktijk
Bij OpenAI en Harvard University meten onderzoekers double descent tijdens het trainen van netwerken. Zij vergelijken de methoden SGD en Adam, en zij voegen soms ruis toe aan de labels. Het patroon is het sterkst als een deel van de labels fout is.
Nakkiran en collega’s vragen wanneer een trainingsprocedure in het kritische gebied zit. Zij definiëren de effectieve modelcomplexiteit als het grootste aantal voorbeelden met bijna geen trainingsfout. Een kleine wijziging kan de testfout daar laten stijgen of dalen.
Zij koppelen double descent aan vroege stop en aan regularisatie, een rem op te sterke aanpassing. Vroege stop betekent stoppen voor een trainingsfout van nul en helpt vooral in het kritische gebied.




