Waarom is dit belangrijk?
Dankzij backpropagation through time kunnen modellen bij gesproken taal klanken over een langere tijd met elkaar verbinden. In wetenschappelijk onderzoek naar spraakherkenning gebruiken onderzoekers deze training vaak om computers doorlopende gesproken zinnen te laten volgen. Voor mensen die zulke systemen gebruiken, hangt de herkenning van woorden af van deze training, maar bij lange fragmenten leert het model het begin minder goed en stijgt de kans op fouten.
Zo werkt het in de praktijk
Onderzoekers van de Technical University of Munich testen backpropagation through time met een netwerk en een simulator. Zij wisselen per tijdstap signalen uit bij een geleidingsmodel met afstoting, een cart-pole-taak en een kwantumsysteem. De vraag is of de gradiënt bruikbare sturing blijft geven als de taak complexer wordt.
Het leerboek Dive into Deep Learning beschrijft truncated backpropagation through time als de gangbare training. Men stopt de gradiënt na een vast aantal stappen, zodat het model vooral korte verbanden leert. De volledige som over de reeks is traag en kan ontsporen, dus die gebruikt men bijna nooit.




