Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Temporal difference learning

Engels: Temporal difference learning · Ook wel: TD learning, TD-learning, temporal-difference learning

In het kort

Temporal difference learning is een groep methoden voor reinforcement learning, leren door beloning, zonder model van de omgeving. Het haalt stappen uit de omgeving en werkt de schatting meteen bij met de beloning en de eigen schatting van de volgende situatie. Zo leert een computer tijdens een spel al welke zetten later meer beloning opleveren, zonder te wachten tot de partij klaar is.

Waarom is dit belangrijk?

Computers kunnen zo zelf bij lange reeksen beslissingen tussentijds bijsturen, ook als het eindresultaat pas later vaststaat. In de neurowetenschap helpt temporal difference learning onderzoekers het verband tussen dopamine en leren te bestuderen, onder meer bij schizofrenie. Voor studenten en professionals maakt dat adaptief gedrag in software begrijpelijker, maar zo'n model vereenvoudigt echte hersenen en levert geen medische diagnose.

Zo werkt het in de praktijk

Gerald Tesauro ontwikkelde in de jaren negentig bij IBM het programma TD-Gammon. Een neuraal netwerk leerde met temporal difference learning de winkans bij backgammon schatten. Het trainde via partijen tegen zichzelf en kwam dicht bij sterke menselijke spelers.

Andrew Barto van de University of Massachusetts Amherst werkt uit hoe temporal difference learning voorspellingen maakt met lineaire functie-approximatie. Elke schatting is dan een gewogen som van invoersignalen. Onderzoekers combineren die vorm met detectoren die kenmerken uit de invoer halen.

Temporal difference learning vormt de basis van de adaptive critic in actor-critic, een opzet voor leren door beloning. Q-learning en Sarsa zijn verwante werkwijzen om verwachte beloning te schatten. Een systeem dat de hoogste schatting kiest, benut die kennis bij een actie.

Bron: en.wikipedia.org

Gecontroleerd op 5 november 2026