Waarom is dit belangrijk?
Grote leerprogramma's kunnen hierdoor stabiel trainen, met minder rekenkracht en minder tijd dan oudere methoden daarvoor vragen. In wetenschappelijk onderzoek naar robotica gebruiken onderzoeksteams deze methode vaak om een robotarm te besturen. Voor onderzoekers en studenten in de techniek kan een robotarm zo zelf bewegingen oefenen, al blijft het verzamelen van oefengegevens en het rekenwerk nog kostbaar bij ingewikkelde taken.
Zo werkt het in de praktijk
Bij OpenAI gold proximal policy optimization als standaardmethode voor reinforcement learning. Varianten van ChatGPT leren ermee van menselijke feedback op antwoorden. De methode traint ook programma's voor zelfrijdende auto's en voor het automatiseren van terugkerend kantoorwerk.
Onderzoek vraagt hoe taalmodellen beter aansluiten bij wat mensen goed vinden. Onderzoekers van de University of Illinois Urbana-Champaign bestuderen trage training met proximal policy optimization. Het schrijvende model moet wachten tot een tweede model het antwoord beoordeelt.
De methode hoort bij reinforcement learning from human feedback (leren met scores van mensen). Een model maakt eerst antwoorden, en een beloningsmodel geeft daar een cijfer aan op basis van menselijke voorkeuren. Proximal policy optimization gebruikt dat cijfer om het taalmodel bij te werken.




