Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Proximal policy optimization (PPO)

Engels: Proximal policy optimization (PPO) · Ook wel: PPO, proximal policy optimisation

In het kort

Proximal policy optimization (PPO) is een leermethode voor een agent, een programma dat zelf keuzes maakt. Het programma krijgt een beloning voor betere acties en past zijn beslissingsregel daarna alleen beperkt aan, zodat grote sprongen de prestatie niet laten instorten. Zo kan zo'n programma in een computerspel lastige zetten leren, stap voor stap, zonder dat eerdere vooruitgang daarbij verloren gaat.

Waarom is dit belangrijk?

Grote leerprogramma's kunnen hierdoor stabiel trainen, met minder rekenkracht en minder tijd dan oudere methoden daarvoor vragen. In wetenschappelijk onderzoek naar robotica gebruiken onderzoeksteams deze methode vaak om een robotarm te besturen. Voor onderzoekers en studenten in de techniek kan een robotarm zo zelf bewegingen oefenen, al blijft het verzamelen van oefengegevens en het rekenwerk nog kostbaar bij ingewikkelde taken.

Zo werkt het in de praktijk

Bij OpenAI gold proximal policy optimization als standaardmethode voor reinforcement learning. Varianten van ChatGPT leren ermee van menselijke feedback op antwoorden. De methode traint ook programma's voor zelfrijdende auto's en voor het automatiseren van terugkerend kantoorwerk.

Onderzoek vraagt hoe taalmodellen beter aansluiten bij wat mensen goed vinden. Onderzoekers van de University of Illinois Urbana-Champaign bestuderen trage training met proximal policy optimization. Het schrijvende model moet wachten tot een tweede model het antwoord beoordeelt.

De methode hoort bij reinforcement learning from human feedback (leren met scores van mensen). Een model maakt eerst antwoorden, en een beloningsmodel geeft daar een cijfer aan op basis van menselijke voorkeuren. Proximal policy optimization gebruikt dat cijfer om het taalmodel bij te werken.

Bron: en.wikipedia.org

Gecontroleerd op 5 november 2026