Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

LLM-as-a-judge

Engels: LLM-as-a-judge · Ook wel: LLM-as-judge, language model as a judge

In het kort

LLM-as-a-judge is een methode waarbij een sterk taalmodel het resultaat van een ander AI-systeem beoordeelt en een score geeft. Dat taalmodel leest de vraag, het antwoord en de criteria, en beoordeelt de betekenis in plaats van alleen woorden te tellen. Zo controleren ontwikkelaars veel open antwoorden zonder elk antwoord met de hand te lezen, bijvoorbeeld of een samenvatting klopt met de brontekst.

Waarom is dit belangrijk?

Zo kunnen teams de kwaliteit van veel verschillende AI-uitvoer snel vergelijken op momenten dat menselijke experts schaars zijn. In de zorg toetsen onderzoekers ermee medische AI-tekst op veiligheid, bijvoorbeeld bij patiëntvragen of training van artsen. Voor werknemers en studenten levert dat een snellere controle op, maar het oordeel kan soms vooroordelen bevatten of dezelfde fouten maken als het geteste AI-systeem.

Zo werkt het in de praktijk

Onderzoekers van UC Berkeley gebruiken LLM-as-a-judge bij Chatbot Arena en MT-bench. In Chatbot Arena vergelijken mensen chatassistenten in open gesprekken. Het team laat een taalmodel dezelfde soort antwoorden beoordelen met MT-bench, een set vragen over meerdere beurten.

Het onderzoek is gepresenteerd op de conferentie NeurIPS in 2023. De auteurs toetsen of het oordeel van het taalmodel aansluit bij wat mensen beter vinden. Zij leggen die oordelen naast stemmen van experts en naast keuzes van bezoekers in Chatbot Arena.

LLM-as-a-judge werkt via paarsgewijze vergelijking. Het model leest twee antwoorden op dezelfde vraag en kiest het betere antwoord. Die keuzes dienen als leersignaal bij RLHF en RLAIF, methoden die een model trainen met voorkeuren.

Bron: aanloopai.nl

Gecontroleerd op 5 november 2026