Waarom is dit belangrijk?
Een netwerk leert hierdoor patronen die ook voor nieuwe metingen gelden, en niet alleen voor de oefengegevens. In de wetenschap gebruiken onderzoekers dropout bij modellen die de temperatuur van rivierwater voorspellen uit luchttemperatuur, rivierafvoer en de stand van de zon. Dat levert minder vaak zwakke modellen op, maar een te sterke toepassing kan het trainen verstoren en de voorspelling slechter maken.
Zo werkt het in de praktijk
Onderzoekers van IBM en de University of Toronto trainden netwerken met dropout voor Engelstalig nieuws uit uitzendingen. De University of Toronto testte dropout ook op gesproken zinnen in de set TIMIT. In dat onderzoek deelden netwerken nieuwsartikelen van Reuters in op onderwerp.
Liu en collega’s onderzochten op de International Conference on Machine Learning of dropout ook helpt bij te weinig leren. Zij zetten dropout alleen aan het begin van de training aan en daarna uit. Die modellen haalden een lagere trainingsfout dan zonder dropout.
In de softwarebibliotheek PyTorch hoort dropout bij de trainingsstand. De laag past dan de uitkomst aan, zodat het gemiddelde gelijk blijft. In de teststand laat de laag elke waarde ongewijzigd door.




