Waarom is dit belangrijk?
Het herkennen van overmatig vertrouwen maakt een extra controle mogelijk voordat een advies van AI een besluit wordt. In het onderwijs nemen leerlingen soms een AI-antwoord over zonder andere bronnen te bekijken, waardoor foute of verzonnen informatie onopgemerkt blijft. Op school en tijdens een studie ligt een tekst daardoor sneller klaar, maar een fout antwoord kan meegaan in een opdracht of een cijfer.
Zo werkt het in de praktijk
Onderzoekers beschrijven overmatig vertrouwen bij de automatische piloot van Tesla. Zij doen dat ook bij incidenten van Boeing en Airbus in de luchtvaart. Bij het Amerikaanse leger en de marine gaat het om luchtverdediging.
Het Center for Security and Emerging Technology onderzoekt gebruikers, ontwerp en organisatie bij overmatig vertrouwen. Een mens in het proces voorkomt volgens het rapport niet alle fouten of ongelukken. Technische en menselijke vangnetten moeten daarom goed op elkaar zijn afgestemd.
De AI-verordening koppelt overmatig vertrouwen aan menselijk toezicht bij AI met een hoog risico. Artikel 14 vraagt alertheid voor de neiging om een uitkomst automatisch te volgen. Toezichthouders moeten die uitkomst kunnen duiden, terzijde leggen of het systeem stoppen.




