Waarom is dit belangrijk?
Leermodellen die als black box werken, kunnen huidkanker op medische beelden herkennen en zo de diagnose van artsen ondersteunen. In de medische zorg gebruiken artsen dit soort systemen ook om ziektes op röntgenfoto's te ontdekken. Patiënten krijgen daardoor een extra controle op een mogelijke afwijking, maar vertrouwen op het resultaat blijft lastig zolang de arts de aanbeveling niet kan uitleggen.
Zo werkt het in de praktijk
Gemeente Amsterdam gebruikte in een pilot een algoritme bij aanvragen voor levensonderhoud. Medewerkers zagen of een aanvraag nader onderzoek nodig had. Omdat complexe systemen een black box kunnen zijn, toonde de gemeente per kenmerk een score voor belangrijkheid.
Het Europese project XAI onderzoekt hoe zo’n black box een besluit uitlegt. De Scuola Normale Superiore en de Universiteit van Pisa maken uitleg voor één concreet geval. Zij vatten veel van die uitleg samen in eenvoudige regels, ook voor fraudeopsporing.
Het Algoritmekader koppelt ondoorzichtige AI aan de AI-verordening, Europese regels voor risicovolle systemen. Hoog-risicosystemen moeten transparant zijn ontworpen, zodat gebruikers de uitkomst begrijpen. Mensen kunnen informatie over een besluit vragen, en een organisatie moet uitleggen hoe het algoritme daartoe kwam.




