Waarom is dit belangrijk?
Programma's kunnen hiermee een stuurregel opbouwen die meebeweegt met de stappen die ze in de trainingsfase zelf zetten, zodat latere keuzes daarbij aansluiten. In wetenschappelijk onderzoek naar verkeersregeling is state–action–reward–state–action gebruikt om stoplichten af te stemmen op wachttijd en wachtende auto's. Voor weggebruikers kan dat korter wachten betekenen, maar een stoplicht dat nog leert kan ook een verkeerde groenfase kiezen.
Zo werkt het in de praktijk
Onderzoekers van West Virginia University en het National Energy Technology Laboratory testen state–action–reward–state–action op een model van selectieve katalytische reductie. Het algoritme past tijdens de proef een modelgebaseerde regelaar aan. Die regelaar richt zich op de uitstoot van stikstofoxiden in een proces met vertraging.
De studie test of deze bijstelling de afwijking van de gewenste waarde kleiner maakt. De beloning sluit aan op die regeltaak. Een tweede regelaar beperkt het ontsnappen van ammoniak en het verbruik ervan.
In de studie hoort state–action–reward–state–action bij temporal-difference learning en bij model predictive control. Temporal-difference learning werkt een schatting bij met een fout, bijgestuurd door een leersnelheid. Model predictive control plant de volgende stuurstappen met een rekenmodel.




