Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Reinforcement Learning from Human Feedback (RLHF)

Engels: Reinforcement Learning from Human Feedback (RLHF) · Ook wel: RLHF

In het kort

Reinforcement learning from human feedback (RLHF) is een trainingsmethode die een model bijstuurt met voorkeuren van mensen. Mensen vergelijken antwoorden van het model en kiezen welk antwoord beter is; die voorkeuren sturen de training, in plaats van vaste programmeerregels. RLHF is een van meerdere methoden die een model richting behulpzaam, onschadelijk en eerlijk gedrag sturen, maar gemeten voorkeuren garanderen die eigenschappen niet.

Waarom is dit belangrijk?

Taken die mensen snel kunnen beoordelen maar die lastig vooraf volledig te beschrijven zijn, worden met reinforcement learning from human feedback stuurbaar voor taalmodellen. In de taaltechnologie zetten ontwikkelaars het in bij gespreksystemen en tekstsamenvatting, zodat antwoorden relevanter worden. Gebruikers krijgen daardoor antwoorden die dichter bij menselijke oordelen liggen, maar een niet-representatieve groep beoordelaars kan ongewenste vooroordelen in het model brengen.

Zo werkt het in de praktijk

In de maakindustrie onderzoeken teams reinforcement learning from human feedback voor robots die met mensen samenwerken. Een review van twintig studies beschrijft dit en testte feedback bij navigatie in virtual reality. Het bedrijf OpenAI trainde zo InstructGPT en zette het als standaardmodel op de API.

De publieke universiteit LMU München en het onderzoekscentrum DFKI onderzoeken robotica en besturing. Zij beschrijven actief leren, waarbij het systeem kiest welke vergelijking een mens ziet. Methoden voegen ook meerdere soorten feedback samen in één training.

OpenAI koppelt reinforcement learning from human feedback aan een beloningsmodel en aan PPO. Het beloningsmodel schat welke uitkomst mensen hoger waarderen. PPO is een leerregel die het model in kleine stappen naar die score stuurt.

Gecontroleerd op 23 oktober 2026