Waarom is dit belangrijk?
Een model kan zo van een beeld een lopende, leesbare tekst maken, zonder dat een mens elk stuk tekst vooraf opschrijft. In de zorg gebeurt dat bij het beschrijven van röntgenfoto's, waarbij de tekst de grootte van organen of de bouw van botten noemt. Medewerkers en onderzoekers moeten zulke teksten daarom blijven controleren, omdat details van het beeld tijdens het schrijven verloren kunnen gaan.
Zo werkt het in de praktijk
Bij spraakherkenning schrijft de decoder gesproken woorden uit als tekst. OpenAI doet dat met Whisper, een model met een encoder en een decoder. Emory University Libraries gebruikt die tekst als ondertitel bij gedigitaliseerde opnamen.
Onderzoekers kijken hoe de decoder omgaat met zijn eigen vorige woorden. Bij teacher forcing krijgt hij tijdens het oefenen steeds het juiste vorige woord. Bij echt gebruik bouwt hij verder op zijn eigen woorden, en die stap wijkt af.
Amazon gebruikt in AlexaTM een decoder voor taken zoals samenvatten. De training mengt twee oefeningen: de decoder vult ontbrekende tekst aan en schrijft een gegeven tekst ook verder uit.




