Waarom is dit belangrijk?
Taken die mensen snel kunnen beoordelen maar die lastig vooraf volledig te beschrijven zijn, worden met reinforcement learning from human feedback stuurbaar voor taalmodellen. In de taaltechnologie zetten ontwikkelaars het in bij gespreksystemen en tekstsamenvatting, zodat antwoorden relevanter worden. Gebruikers krijgen daardoor antwoorden die dichter bij menselijke oordelen liggen, maar een niet-representatieve groep beoordelaars kan ongewenste vooroordelen in het model brengen.
Zo werkt het in de praktijk
In de maakindustrie onderzoeken teams reinforcement learning from human feedback voor robots die met mensen samenwerken. Een review van twintig studies beschrijft dit en testte feedback bij navigatie in virtual reality. Het bedrijf OpenAI trainde zo InstructGPT en zette het als standaardmodel op de API.
De publieke universiteit LMU München en het onderzoekscentrum DFKI onderzoeken robotica en besturing. Zij beschrijven actief leren, waarbij het systeem kiest welke vergelijking een mens ziet. Methoden voegen ook meerdere soorten feedback samen in één training.
OpenAI koppelt reinforcement learning from human feedback aan een beloningsmodel en aan PPO. Het beloningsmodel schat welke uitkomst mensen hoger waarderen. PPO is een leerregel die het model in kleine stappen naar die score stuurt.




