Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Kennisdistillatie

Engels: Knowledge Distillation · Ook wel: knowledge distillation, KD, model distillation

In het kort

Knowledge distillation is een methode in machine learning waarbij een kleiner model, de leerling, een groter model, de leraar, nabootst. Bij gewone training leert een model van vaste juiste antwoorden, terwijl de leerling hier de kansen nabootst die de leraar per voorbeeld geeft. Daardoor heeft het kleine model minder rekenkracht nodig en kan het op een telefoon of ander klein apparaat draaien.

Waarom is dit belangrijk?

De kennis van een groot model kan beschikbaar blijven voor taken die meteen een antwoord vragen, zoals herkenning in beelden of taal. In de zorg en in wetenschappelijk onderzoek wordt kennisdistillatie gebruikt bij de analyse van medische beelden. Zorgverleners krijgen daardoor sneller steun bij het beoordelen van beelden, al kan het nieuwe model door minder capaciteit nuances over het hoofd zien.

Zo werkt het in de praktijk

Kennisdistillatie komt voor in taaltechnologie en in spraakherkenning. IBM beschrijft dat het model Orca van Microsoft leert van GPT-4, via uitleg en denkstappen. Wikipedia noemt ook modellen voor spraakgeluid, die kennis overnemen voor een nieuw gebruiksgebied.

Aan de Technische Universiteit KTH onderzoekt een afstudeerproject hoe een licht model gesproken taal live herkent. Een groot Conformer-model geeft als leraar kennis door aan een kleiner model. Op de dataset AISHELL-1 vergelijkt de studie een lichtere bouw met het effect van kennisdistillatie.

IBM beschrijft kennisdistillatie als een training in twee stappen. Een groot model haalt eerst structuur uit de data. Daarna neemt een klein model die kennis over, zodat teams het model in de dagelijkse praktijk kunnen inzetten.

Gecontroleerd op 23 oktober 2026