Waarom is dit belangrijk?
Computers kunnen zo zelf bij lange reeksen beslissingen tussentijds bijsturen, ook als het eindresultaat pas later vaststaat. In de neurowetenschap helpt temporal difference learning onderzoekers het verband tussen dopamine en leren te bestuderen, onder meer bij schizofrenie. Voor studenten en professionals maakt dat adaptief gedrag in software begrijpelijker, maar zo'n model vereenvoudigt echte hersenen en levert geen medische diagnose.
Zo werkt het in de praktijk
Gerald Tesauro ontwikkelde in de jaren negentig bij IBM het programma TD-Gammon. Een neuraal netwerk leerde met temporal difference learning de winkans bij backgammon schatten. Het trainde via partijen tegen zichzelf en kwam dicht bij sterke menselijke spelers.
Andrew Barto van de University of Massachusetts Amherst werkt uit hoe temporal difference learning voorspellingen maakt met lineaire functie-approximatie. Elke schatting is dan een gewogen som van invoersignalen. Onderzoekers combineren die vorm met detectoren die kenmerken uit de invoer halen.
Temporal difference learning vormt de basis van de adaptive critic in actor-critic, een opzet voor leren door beloning. Q-learning en Sarsa zijn verwante werkwijzen om verwachte beloning te schatten. Een systeem dat de hoogste schatting kiest, benut die kennis bij een actie.




