Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Markov-beslissingsproces (MDP)

Engels: Markov decision process (MDP) · Ook wel: MDP, Markov decision process, Markovian decision process

In het kort

Een Markov-beslissingsproces (MDP) is een wiskundig model voor keuzes die stap voor stap volgen. In het model kiest een beslisser telkens een actie, terwijl de uitkomst niet vaststaat: een deel volgt uit die keuze en een ander deel uit toeval. Onderzoekers gebruiken dit kader om optimalisatieproblemen te bestuderen en de beste reeks keuzes te zoeken, met dynamisch programmeren of reinforcement learning (leren door beloning).

Waarom is dit belangrijk?

Dankzij een Markov-beslissingsproces kunnen systemen vooruitkijken en een handeling kiezen die later meer oplevert dan een snelle winst. In de zorg, de economie en de telecommunicatie wordt het gebruikt om planning over een langere periode door te rekenen. Voor studenten en werknemers maakt dat duidelijk waarom een automatisch advies soms tegen de intuïtie ingaat; bij veel factoren wordt exact rekenen onhaalbaar en blijft alleen een benadering over.

Zo werkt het in de praktijk

De stokbalans in de OpenAI Gym-benchmark is een Markov-beslissingsproces uit de regeltechniek: hoek, snelheid en plaats van kar en stok vormen de toestand. In de robotica wordt een variant met extra beperkingen ingezet voor bewegingsplanning.

Aan de Technische Universiteit Delft zoeken Vos en Verwer een klein beslisboombeleid. Zij schrijven het Markov-beslissingsproces als een gemengd-geheeltalig lineair programma: een rekenmodel met gewone en hele getallen. Het model maximaliseert de verwachte beloning bij een vaste boomgrootte.

Voor eindige processen gebruiken analisten value-iteratie, het bijwerken van toestandswaarden, of policy-iteratie, het verbeteren van het beleid. Bij een grote toestandsruimte volgt online planning met Monte Carlo tree search. Een simulator geeft dan per actie een nieuwe toestand en beloning.

Bron: en.wikipedia.org

Gecontroleerd op 5 november 2026