Waarom is dit belangrijk?
Onderzoekers kunnen hiermee grote hoeveelheden vrije tekst met elkaar vergelijken, ook als dezelfde inhoud heel anders is geformuleerd en er geen vaste regels voor bestaan. In de zorg zetten onderzoekers embeddings in op verslagen van de intensive care om taalpatronen in patiëntendossiers te onderzoeken. Voor patiënten en zorgverleners kan automatische verwerking van dossiers vooroordelen uit die teksten overnemen en ongelijkheid in de zorg versterken.
Zo werkt het in de praktijk
Word embeddings ondersteunen taken zoals zinsontleding en sentimentanalyse, het bepalen van de toon in een tekst. Een team bij Google maakte het programma word2vec, dat zulke embeddings berekent. Onderzoekers van de University of Washington maakten met het Allen Institute ELMo, een embedding die de zin volgt en woordverwijzingen helpt oplossen.
Onderzoekers onderzoeken hoe een embedding een woord met meerdere betekenissen weergeeft. Oudere methoden leggen al die betekenissen in één vector vast. ELMo en BERT geven elke keer dat het woord voorkomt een eigen vector.
Teams toetsen een embedding met vaste sets, zoals BEIR en MTEB. Die sets meten of de vector teksten goed groepeert en indeelt, over talen en vakgebieden heen. Zo vergelijken onderzoekers modellen op dezelfde taken.




