Waarom is dit belangrijk?
Met een encoder kan een model losse gegevens ordenen en vergelijken, zonder voor elk geval een aparte regel te schrijven. In de zorg gebruiken onderzoekers dit soort netwerken om organen op CT- en MRI-scans af te bakenen. Zorgverleners krijgen zo hulp bij het intekenen van organen, maar bij vage grenzen kan die afbakening fout zijn en blijft een arts nodig.
Zo werkt het in de praktijk
Onderzoekers van Google bouwden het taalmodel BERT rond een encoder. Google Search zet dit model in bij Engelse zoekvragen. Het model wordt na de voortraining bijgesteld voor sentimentherkenning en voor het beantwoorden van vragen.
Onderzoek naar natuurlijke taalverwerking vraagt wat de encoder leerde. Het vakgebied BERTology probeert dat te verklaren. Onderzoekers testen de vectoren met een eenvoudig classificatiemodel en bekijken hoe aandacht tussen woorden samenhangt.
Bij semantisch zoeken maken BERT en Sentence-BERT betekenisvectoren van zinnen. Het systeem vergelijkt die vectoren en vindt teksten met een nabije betekenis. Hybride zoeken koppelt dit aan BM25, een woordzoekmethode, en laat een transformermodel de treffers ordenen.




