Waarom is dit belangrijk?
Dankzij modelparameters kan een systeem verbanden uit de trainingsfase opnieuw gebruiken bij onbekende vragen, zonder een aparte regel voor elk geval. Bij de overheid hangt de keuze voor een taalmodel mede af van het aantal modelparameters, omdat dat de benodigde rekenkracht en het geheugen bepaalt. Op het werk bepaalt die omvang of een model op beschikbare computers past, terwijl een gesloten model alleen via een dienst bereikbaar is.
Zo werkt het in de praktijk
In de zorg ontwikkelt de KU Leuven manieren om modelparameters aan te passen bij een spraakstoornis, bij dialecten en bij kinderspraak. In de taaltechnologie beschrijft Nature Machine Intelligence methoden die een klein deel van de modelparameters van GPT-3 bijwerken. De overige waarden blijven vast.
De KU Leuven onderzoekt welke modelparameters mogen veranderen als een groot spraakmodel een nieuwe situatie leert. Onderzoekers vergelijken Low-Rank Adaptation, een methode met kleine extra lagen, met Structured SVD-Guided. Die methode stuurt de aanpassing via de structuur van bestaande gewichten.
De gedragscode bij de Europese AI-verordening vraagt aanbieders van een AI-model voor algemeen gebruik om modeldocumentatie. Daarin noteren zij het totale aantal modelparameters. Die opgave hoort bij de transparantieverplichting bij het op de markt brengen van het model.




