Waarom is dit belangrijk?
Menselijke sturing maakt het mogelijk dat AI keuzes maakt die passen bij afspraken en gewoonten in een beroep. In het onderwijs en de zorg bepaalt die sturing mee welke uitleg of welk behandelvoorstel een systeem voorrang geeft. Leerlingen, patiënten en werknemers krijgen daardoor hulp die dichter bij de praktijk ligt, al kunnen vooroordelen of slordig werk van de AI-trainer in latere adviezen terugkomen.
Zo werkt het in de praktijk
Bij OpenAI en DeepMind kozen AI-trainers welk filmpje van een spelagent er beter uitzag. Die agenten leerden zo Atari-spellen spelen, zonder de puntenscore te zien. AI-trainers geven ook feedback om tekst-naar-beeldmodellen te richten op voorkeuren van mensen.
Onderzoekers van OpenAI zochten een algemene methode om te leren van een beperkte hoeveelheid menselijke feedback. In een artikel over samenvatten leerde een beloningsmodel scores uit de keuzes van AI-trainers. Die aanpak werd breder bekend door het onderzoek naar InstructGPT.
De werkwijze heet RLHF, leren van menselijke feedback. AI-trainers schrijven voorbeeldantwoorden en zetten uitkomsten op volgorde, waarna een beloningsmodel die keuzes leert. Proximal policy optimization, een rekenmethode voor stapsgewijze bijsturing, past het model daarna aan die score aan.




