Waarom is dit belangrijk?
Een systeem kan zo zelf een reeks handelingen verbeteren tot een gewenst resultaat, zonder dat iemand elke stap vooraf uitschrijft. In de zorg gebruiken onderzoekers Q-learning zodat een revalidatierobot de hulp bij armoefeningen tijdens de sessie kan bijstellen. Patiënten en therapeuten krijgen daardoor oefeningen die meebewegen met de uitvoering, al heeft het systeem veel proefpogingen nodig en kan het bij wisselende omstandigheden een handeling te positief beoordelen.
Zo werkt het in de praktijk
Google DeepMind gebruikte Q-learning samen met een neuraal netwerk. Zo ontstond deep Q-learning, waarmee een systeem Atari-spellen op het niveau van ervaren spelers speelde. Een willekeurige selectie van eerdere acties verving daarbij de laatste actie, zodat opeenvolgende beelden het leren minder verstoorden.
Onderzoekers aan de University of Florida testen of Q-learning stabiel blijft bij een lineaire benadering van de actiewaarde. Die vraag lag tientallen jaren open. Een optimistische trainingsvorm houdt de schattingen begrensd, terwijl nog open is of zij altijd naar één oplossing lopen.
Q-learning hoort bij een Markov-beslisproces. In dat model volgen een toestand, een actie en een beloning elkaar op. Het algoritme zoekt een regel die de verwachte beloning over volgende stappen zo hoog mogelijk maakt.




