Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

State–action–reward–state–action (SARSA)

Engels: State–action–reward–state–action (SARSA) · Ook wel: SARSA

In het kort

SARSA is een algoritme voor reinforcement learning dat een gedragsregel leert voor opeenvolgende keuzes. Het slaat per stap de situatie, de gekozen actie, de beloning, de volgende situatie en de volgende actie op, en past de score van die keuze aan op de actie die het programma echt neemt. Daardoor leert een robot of een spelprogramma welke reeks acties op termijn meer beloning geeft, ook tijdens het uitproberen.

Waarom is dit belangrijk?

Programma's kunnen hiermee een stuurregel opbouwen die meebeweegt met de stappen die ze in de trainingsfase zelf zetten, zodat latere keuzes daarbij aansluiten. In wetenschappelijk onderzoek naar verkeersregeling is state–action–reward–state–action gebruikt om stoplichten af te stemmen op wachttijd en wachtende auto's. Voor weggebruikers kan dat korter wachten betekenen, maar een stoplicht dat nog leert kan ook een verkeerde groenfase kiezen.

Zo werkt het in de praktijk

Onderzoekers van West Virginia University en het National Energy Technology Laboratory testen state–action–reward–state–action op een model van selectieve katalytische reductie. Het algoritme past tijdens de proef een modelgebaseerde regelaar aan. Die regelaar richt zich op de uitstoot van stikstofoxiden in een proces met vertraging.

De studie test of deze bijstelling de afwijking van de gewenste waarde kleiner maakt. De beloning sluit aan op die regeltaak. Een tweede regelaar beperkt het ontsnappen van ammoniak en het verbruik ervan.

In de studie hoort state–action–reward–state–action bij temporal-difference learning en bij model predictive control. Temporal-difference learning werkt een schatting bij met een fout, bijgestuurd door een leersnelheid. Model predictive control plant de volgende stuurstappen met een rekenmodel.

Bron: en.wikipedia.org

Gecontroleerd op 5 november 2026