Waarom is dit belangrijk?
De kennis van een groot model kan beschikbaar blijven voor taken die meteen een antwoord vragen, zoals herkenning in beelden of taal. In de zorg en in wetenschappelijk onderzoek wordt kennisdistillatie gebruikt bij de analyse van medische beelden. Zorgverleners krijgen daardoor sneller steun bij het beoordelen van beelden, al kan het nieuwe model door minder capaciteit nuances over het hoofd zien.
Zo werkt het in de praktijk
Kennisdistillatie komt voor in taaltechnologie en in spraakherkenning. IBM beschrijft dat het model Orca van Microsoft leert van GPT-4, via uitleg en denkstappen. Wikipedia noemt ook modellen voor spraakgeluid, die kennis overnemen voor een nieuw gebruiksgebied.
Aan de Technische Universiteit KTH onderzoekt een afstudeerproject hoe een licht model gesproken taal live herkent. Een groot Conformer-model geeft als leraar kennis door aan een kleiner model. Op de dataset AISHELL-1 vergelijkt de studie een lichtere bouw met het effect van kennisdistillatie.
IBM beschrijft kennisdistillatie als een training in twee stappen. Een groot model haalt eerst structuur uit de data. Daarna neemt een klein model die kennis over, zodat teams het model in de dagelijkse praktijk kunnen inzetten.




