Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Double descent

Engels: Double descent · Ook wel: double-descent

In het kort

Double descent is een verschijnsel waarbij de fout op nieuwe gegevens twee keer daalt als een model groeit. Een klein model en een heel groot model maken weinig fouten, maar bij ongeveer evenveel instelbare waarden als trainingsvoorbeelden is de fout groot. Dat wijkt af van de klassieke gedachte dat een model met meer instelbare waarden altijd slechter wordt op nieuwe gegevens.

Waarom is dit belangrijk?

Onderzoekers kunnen dankzij double descent een tijdelijke dip in prestaties herkennen en daarna toch doorgaan met een groter model. In wetenschappelijk onderzoek naar kunstmatige intelligentie stuurt het de keuze van modelgrootte, trainingsduur en de hoeveelheid gegevens bij beeld- en taalmodellen. Voor studenten en professionals betekent dit dat extra gegevens of langere training soms slechtere uitkomsten geven, terwijl de oorzaak nog niet volledig bekend is.

Zo werkt het in de praktijk

Bij OpenAI en Harvard University meten onderzoekers double descent tijdens het trainen van netwerken. Zij vergelijken de methoden SGD en Adam, en zij voegen soms ruis toe aan de labels. Het patroon is het sterkst als een deel van de labels fout is.

Nakkiran en collega’s vragen wanneer een trainingsprocedure in het kritische gebied zit. Zij definiëren de effectieve modelcomplexiteit als het grootste aantal voorbeelden met bijna geen trainingsfout. Een kleine wijziging kan de testfout daar laten stijgen of dalen.

Zij koppelen double descent aan vroege stop en aan regularisatie, een rem op te sterke aanpassing. Vroege stop betekent stoppen voor een trainingsfout van nul en helpt vooral in het kritische gebied.

Bron: en.wikipedia.org

Gecontroleerd op 5 november 2026