Waarom is dit belangrijk?
Dankzij voortraining leert één model genoeg om later veel verschillende taken te doen, zodat niet elk systeem vanaf nul hoeft te beginnen. In de wetenschap gebruiken onderzoekers deze modellen om uit bestaande literatuur nieuwe hypothesen en onderzoeksrichtingen te vormen. Werknemers en leerlingen komen dezelfde systemen op veel plekken tegen, maar uit de training zijn soms privégegevens terug te halen en maatschappelijke vooroordelen kunnen meekomen.
Zo werkt het in de praktijk
Organisaties gebruiken voortraining om basismodellen te bouwen voor tekst en beeld. De GPT-reeks van OpenAI is een vroeg voorbeeld voor tekst. Voor beeld zijn DALL-E en Stable Diffusion voorbeelden.
Het Center for Research on Foundation Models aan Stanford koos in 2021 de term basismodel. Het centrum bedoelt een model dat met zelfsupervisie, dus zonder kant-en-klare antwoorden, op brede data is getraind. Onderzoekers benadrukken dat het leren tijdens voortraining zelf het zwaartepunt is.
Bij voortraining zetten bouwers transfer learning in, zodat kennis meegaat naar een nieuwe taak. Zij gebruiken daarbij gelaagde rekenmodellen, zogenaamde diepe neurale netwerken. Het Europees Parlement koppelt dit in de AI-verordening aan training op brede data op grote schaal.




