Waarom is dit belangrijk?
Teams kunnen een model eerst helemaal controleren op kwaliteit en het pas daarna inzetten voor terugkerende voorspellingen in de dagelijkse praktijk. In de zorg passen onderzoekers offline leren toe op eerder verzamelde gegevens, omdat direct oefenen in de echte situatie vaak niet haalbaar is. Werknemers en patiënten krijgen daardoor stabiele hulp bij beslissingen in de zorg, maar de uitkomsten kunnen achterlopen wanneer de situatie intussen is veranderd.
Zo werkt het in de praktijk
Google Research past offline leren toe op vastgelegde interacties in robotica en bij zelfrijdende voertuigen. Het team publiceerde de DQN Replay Dataset met spelervaringen van Atari 2600-spellen. Een agent leert daaruit een beleid, dus een keuze van acties, zonder tijdens de training te spelen.
Onderzoekers vragen of zo’n agent uit die oude ervaringen een beleid kan leren. Google Research vergeleek daarvoor modellen die alleen de DQN Replay Dataset zien. Een lastig punt is dat het model acties kan kiezen die weinig in de gegevens zitten.
Voor de beoordeling gebruiken zij offline beleidsevaluatie. Die methode schat de kwaliteit van een beleid op de bestaande gegevens. Google Research koppelt die evaluatie aan het afstellen van het model en aan vroeg stoppen.




