Waarom is dit belangrijk?
Onderzoekers kunnen hiermee een model trainen dat een geleerde werkwijze ook toepast op langere of nieuwe invoer dan in de oefenset. In de wetenschap laat de neurale Turingmachine zien hoe een netwerk zelf een programma kan aanleren, met ideeën uit het werkgeheugen en uit computers. Voor studenten en ontwikkelaars blijft het vooral een onderzoeksmodel, want open implementaties zijn nog niet stabiel genoeg voor producten.
Zo werkt het in de praktijk
Onderzoekers bij Google DeepMind zetten de neurale Turingmachine in op reeksen van bits. Het model houdt in het geheugen bij hoe vaak het ene patroon op het andere volgt. Daarmee schat het de kans op het volgende bit, zoals een eenvoudig statistisch taalmodel.
In hun artikel beschrijven Graves, Wayne en Danihelka twee manieren om een geheugenplek te kiezen. De ene manier zoekt naar vergelijkbare inhoud, de andere gebruikt een vaste positie. Die positie is nodig bij rekenen waarbij de waarden zelf willekeurig zijn.
De training verloopt met gradiëntdaling, een methode die de fout met kleine stappen kleiner maakt. Elke taak is een losse reeks. Aan het begin zetten de onderzoekers de interne toestand terug.




