Waarom is dit belangrijk?
Ingewikkelde opnamen kunnen daardoor deels automatisch worden beoordeeld, in plaats van elk detail met de hand na te lopen. In de zorg ondersteunt dat het afbakenen van een hersentumor op MRI-beelden, voor diagnose en het plannen van behandeling. Zorgverleners baseren een deel van het advies op die uitkomst, maar een fout kan een afwijking missen of gezond weefsel ten onrechte aanwijzen.
Zo werkt het in de praktijk
Google past het model BERT toe in Google Search. Zelfaandacht, een vorm van het aandachtsmechanisme, bepaalt daar welke woorden in een vraag bij elkaar horen. Bibliotheken en erfgoedinstellingen gebruiken het OpenAI-model Whisper, een transformer met een aandachtsmechanisme, om opnames te ondertitelen, waarna medewerkers van Emory University Libraries de tekst nog controleren.
Onderzoekers in de taaltechnologie bestuderen onder de naam BERTology welke verbanden de aandachtsgewichten in BERT tussen woorden leggen. Ontwerpers testen ook lichtere vormen van het aandachtsmechanisme, zoals Reformer, Linformer en Performer. Die vormen moeten lange reeksen met minder rekenkracht verwerken.




