Waarom is dit belangrijk?
Dankzij schaalwetten kunnen onderzoeksteams een beperkt budget richten op de keuzes die de meeste vooruitgang opleveren, nog voordat een volledig systeem daadwerkelijk gebouwd is. In de wetenschap vergelijken laboratoria daarmee ontwerpen van taalmodellen en stellen ze de opzet van grote projecten bij. Onderzoekers en studenten moeten er ook rekening mee houden dat twee invloedrijke formules soms sterk verschillende uitkomsten geven.
Zo werkt het in de praktijk
In de softwaresector gebruikt OpenAI schaalwetten bij het model GPT-4. Kleinere proefmodellen voorspelden het verlies op interne programmacode en de score op HumanEval. In de mediasector pasten onderzoekers dezelfde verbanden toe op automatische vertaling en op spraakherkenning.
Onderzoekers bekijken hoe lang een model moet trainen als het daarna veel antwoorden geeft. De LLaMA-modellen van Meta trainden langer dan de zuinige trainingsgrens.
Een vaste werkwijze is een machtswet voor het trainingsverlies. Het GPT-4-rapport rekent met een restverlies en een deel dat met rekenkracht meebeweegt. Chinchilla-schaling is een formule voor taalmodellen die één ronde over hun data maken.




