Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Schaalwet

Engels: Scaling Laws · Ook wel: scaling law, neural scaling laws, schaalwetten

In het kort

Schaalwetten zijn voorspelbare wiskundige verbanden die de prestaties van een AI-model beschrijven. Die verbanden laten zien dat de prestaties op een vaste manier stijgen wanneer het model groter wordt, de hoeveelheid trainingsdata toeneemt en de rekenkracht voor het trainen groeit. Onderzoekers gebruiken deze verbanden om vooraf te schatten hoeveel de prestaties stijgen bij een grotere omvang, meer data of extra rekenkracht tijdens het trainen.

Waarom is dit belangrijk?

Dankzij schaalwetten kunnen onderzoeksteams een beperkt budget richten op de keuzes die de meeste vooruitgang opleveren, nog voordat een volledig systeem daadwerkelijk gebouwd is. In de wetenschap vergelijken laboratoria daarmee ontwerpen van taalmodellen en stellen ze de opzet van grote projecten bij. Onderzoekers en studenten moeten er ook rekening mee houden dat twee invloedrijke formules soms sterk verschillende uitkomsten geven.

Zo werkt het in de praktijk

In de softwaresector gebruikt OpenAI schaalwetten bij het model GPT-4. Kleinere proefmodellen voorspelden het verlies op interne programmacode en de score op HumanEval. In de mediasector pasten onderzoekers dezelfde verbanden toe op automatische vertaling en op spraakherkenning.

Onderzoekers bekijken hoe lang een model moet trainen als het daarna veel antwoorden geeft. De LLaMA-modellen van Meta trainden langer dan de zuinige trainingsgrens.

Een vaste werkwijze is een machtswet voor het trainingsverlies. Het GPT-4-rapport rekent met een restverlies en een deel dat met rekenkracht meebeweegt. Chinchilla-schaling is een formule voor taalmodellen die één ronde over hun data maken.

Gecontroleerd op 23 oktober 2026