Waarom is dit belangrijk?
Met nauwkeurigheid kunnen teams voor gebruik kiezen welk model vaker een passend oordeel geeft over nieuwe gevallen. In de zorg toetsen onderzoekers er diagnostische systemen mee die patiënten op tijd als ziek of gezond indelen. Voor patiënten en zorgverleners weegt die keuze zwaar bij het starten van een behandeling, omdat een hoog percentage zeldzame ziektegevallen toch ten onrechte als gezond kan bestempelen.
Zo werkt het in de praktijk
In onderzoek en bij bedrijven vergelijken teams AI-systemen op vaste testsets. NIST rekent daarbij de nauwkeurigheid uit, de score op die set. Resultaten komen in ranglijsten en in beschrijvingen van een model.
Onderzoekers bij NIST toetsen of een score op één testset ook geldt voor nieuwe, vergelijkbare vragen. Zij scheiden de nauwkeurigheid op die vaste set van de nauwkeurigheid op soortgelijke opgaven. Daarvoor bekeken zij 22 taalmodellen op drie benchmarks.
De technische specificatie ISO/IEC TS 4213 legt vast hoe teams de prestaties van een classificatiemodel meten. Nauwkeurigheid staat daarin naast andere maten voor juiste en gemiste gevallen. Welke maat past, hangt af van het gebruiksdoel en kan anders zijn dan tijdens het trainen.




