Waarom is dit belangrijk?
Zo kunnen teams de kwaliteit van veel verschillende AI-uitvoer snel vergelijken op momenten dat menselijke experts schaars zijn. In de zorg toetsen onderzoekers ermee medische AI-tekst op veiligheid, bijvoorbeeld bij patiëntvragen of training van artsen. Voor werknemers en studenten levert dat een snellere controle op, maar het oordeel kan soms vooroordelen bevatten of dezelfde fouten maken als het geteste AI-systeem.
Zo werkt het in de praktijk
Onderzoekers van UC Berkeley gebruiken LLM-as-a-judge bij Chatbot Arena en MT-bench. In Chatbot Arena vergelijken mensen chatassistenten in open gesprekken. Het team laat een taalmodel dezelfde soort antwoorden beoordelen met MT-bench, een set vragen over meerdere beurten.
Het onderzoek is gepresenteerd op de conferentie NeurIPS in 2023. De auteurs toetsen of het oordeel van het taalmodel aansluit bij wat mensen beter vinden. Zij leggen die oordelen naast stemmen van experts en naast keuzes van bezoekers in Chatbot Arena.
LLM-as-a-judge werkt via paarsgewijze vergelijking. Het model leest twee antwoorden op dezelfde vraag en kiest het betere antwoord. Die keuzes dienen als leersignaal bij RLHF en RLAIF, methoden die een model trainen met voorkeuren.




