Waarom is dit belangrijk?
Diepe netwerken kunnen sneller leren doordat de aanwijzingen voor het model tijdens het trainen niet te klein of te groot worden. In de zorg komt deze methode veel voor bij het trainen van modellen die afwijkingen op MRI-scans opsporen. Die modellen presteren minder goed als nieuwe scans sterk afwijken van de trainingsbeelden, wat het veilige gebruik in de zorg beperkt.
Zo werkt het in de praktijk
In beeldherkenning zit batchnormalisatie in vrijwel alle moderne convolutionele netwerken. Facebook AI Research beschrijft dit bij classificatietaken op ImageNet. In spraakherkenning onderzoekt de University of Science and Technology of China de methode in akoestische modellen voor het Mandarijn en Oeigoers.
Een onderzoeksvraag is welke groep voorbeelden de statistieken moet leveren. Facebook AI Research vergelijkt een lopend gemiddelde van trainingsbatches met een schatting over de hele trainingsset. Die keuze verandert de nauwkeurigheid bij visuele herkenning.
Bij het toepassen van een getraind model gelden andere regels dan tijdens het trainen. De statistieken komen dan uit de hele trainingsset, zodat de bewerking vast en lineair is. In veel bibliotheken voor diep leren is een exponentieel voortschrijdend gemiddelde de gebruikelijke schatting.




