Waarom is dit belangrijk?
Een doordachte keuze vooraf laat een voorspellend model duidelijk beter presteren dan wanneer de standaardinstelling ongewijzigd blijft staan. In de medische zorg zetten onderzoekers hyperparameteroptimalisatie in bij modellen die patiënten met een hoge zorgvraag proberen te herkennen. Zorgverleners krijgen daardoor ook bruikbaardere inschattingen van wie extra aandacht nodig heeft, maar soms kan een ongelukkige zoekmethode die geschatte kans flink scheef trekken.
Zo werkt het in de praktijk
Hyperparameteroptimalisatie wordt in de praktijk gebruikt om instellingen van leerprogramma's automatisch te kiezen. Bij AlphaGo van DeepMind deed een apart programma dat met Bayesiaanse optimalisatie. Die methode voorspelt eerst een kansrijke instelling en test die daarna op het spel.
Onderzoekers van University College London, de Universiteit Leipzig en de Università di Firenze beschrijven gangbare zoekmethoden. Zij onderzoeken hoe een automatische zoektocht handmatig proberen kan vervangen. Open vragen gaan over meta-leren en over het zoeken naar de opbouw van een neuraal netwerk.
In het vakgebied hoort hyperparameteroptimalisatie bij AutoML (geautomatiseerd machinaal leren). Teams schatten de fout vaak met kruisvalidatie, een herhaalde test op delen van de data. Geneste kruisvalidatie houdt daarvoor een aparte dataset buiten de zoektocht.




