Waarom is dit belangrijk?
Computers kunnen dankzij een word embedding grote stukken tekst groeperen en vergelijken, zonder dat elk woord exact hetzelfde hoeft te zijn. In de zorg gebruiken onderzoekers deze voorstellingen breed bij allerlei computertaken op medische teksten. Patiënten en zorgverleners krijgen daardoor systemen die medische vaktaal beter kunnen volgen, maar de trainingsgegevens kunnen soms stereotypen over geslacht bevatten die latere toepassingen schaden.
Zo werkt het in de praktijk
In 2013 maakte een team van Google de toolkit word2vec, die een word embedding sneller traint dan eerdere methoden. Sketch Engine gebruikt fastText om word embeddings te berekenen voor online tekstverzamelingen. Die voorstellingen verbeteren zinsontleding en sentimentanalyse.
Een woord met meerdere betekenissen krijgt in een gewone word embedding één vector. Onderzoekers maken daarom aparte vectoren per betekenis. Bij ELMo en BERT krijgt elk voorkomen van een woord een eigen voorstelling, passend bij de context.
Een word embedding hoort bij distributionele semantiek, een methode die de betekenis van een woord schat via de woorden eromheen. Zoeksystemen voor documenten gebruikten eerst een vectorruimtemodel. Daarna volgden latente semantische analyse en software zoals GloVe van Stanford University.




