Waarom is dit belangrijk?
Dankzij de activatiefunctie kunnen netwerken ook lastige taken aan, zoals het herkennen van gesproken taal en geschreven tekst. In de wetenschap zetten onderzoekers zulke netwerken in om zware berekeningen, bijvoorbeeld voor weersverwachtingen, soms sneller na te bootsen. Voor leerlingen en werknemers hangen taal- en spraakhulpmiddelen hiervan af, maar de uitkomst blijft lastig uit te leggen wanneer iemand die wil controleren.
Zo werkt het in de praktijk
Het beeldmodel AlexNet en het model ResNet rekenen met de activatiefunctie ReLU. In het bedrijfsleven deed het model GPT-3 dat ook. In de neurowetenschap benadert de functie het vuurtempo van een zenuwcel.
Onderzoekers zoeken een volledig overzicht van bestaande activatiefuncties. Een studie bracht 400 functies samen en verwees naar de oorspronkelijke bron. Zonder zo’n overzicht bedenken onderzoekers soms opnieuw een functie die al bestaat.
De activatiefunctie hoort bij de vaste opzet van een netwerk. Bij classificatie met meerdere klassen zet softmax de scores om in een verdeling. In een transformer, een model voor reeksen, staat ReLU in het rekenblok van elke laag.




