Waarom is dit belangrijk?
Een gedeelde meetlat maakt het mogelijk om de prestaties en de veiligheid van systemen te beoordelen voordat ze breed worden ingezet. Binnen Europese regels dienen deze metingen als hulpmiddel om de risico's van systemen in te schatten. Op school en op het werk kan een hoge uitslag de keuze sturen, ook als de meting niet altijd klopt met de echte praktijk.
Zo werkt het in de praktijk
Het Amerikaanse instituut NIST test in het programma ARIA of een AI-systeem doet wat het belooft. De test gebeurt ook met echte gebruikers. Bedrijven vergelijken systemen met MLPerf van MLCommons op rekentijd en energie, en NVIDIA, Intel en AT&T steunen dit benchmarkwerk.
Aan Stanford University vergelijkt het Center for Research on Foundation Models taalmodellen met HELM. Elk model krijgt dezelfde taken. De AI-benchmark meet nauwkeurigheid, robuustheid, eerlijkheid en efficiëntie bij aanbieders als Google, Microsoft en OpenAI.
MLCommons legt taken, regels en een voorbeeldprogramma vast, waarna vakgenoten de uitslag controleren. NIST koppelt de AI-benchmark aan TEVV, een cyclus van testen, evalueren, verifiëren en valideren. Die cyclus geldt ook voor systemen die zelf stappen zetten.




