Waarom is dit belangrijk?
Computers rekenen met getallen, dus maakt tokenisatie het mogelijk om geschreven tekst om te zetten in getallen die een taalmodel kan verwerken. In de wetenschap gebruiken onderzoekers taalmodellen om teksten te analyseren, samen te vatten en te vertalen. Voor studenten en werknemers bepaalt het maximum aantal tokens hoeveel tekst een systeem tegelijk kan lezen, en tekens buiten de woordenschat worden als onbekend gemarkeerd.
Zo werkt het in de praktijk
Het ALEA Institute en Stanford CodeX ontwikkelden de KL3M-tokenizers voor rechtsteksten en financiële documenten. In de publieke sector leert Delphi-2M diagnoses en hun timing als tokens. De gegevens komen uit Deense gezondheidsregisters en de UK Biobank.
Lisa Beinborn en Yuval Pinter van de Vrije Universiteit Amsterdam toetsen tokenisatie aan woordherkenning. Zij vergeleken drie methoden met de reactietijd en de nauwkeurigheid van mensen. UnigramLM sloot minder aan bij die reacties en dekte afgeleide woorddelen slechter.
Veel taalmodellen gebruiken byte-pair encoding (BPE), een werkwijze die tekenparen samenvoegt tot een vaste woordenlijst. Het KL3M-onderzoek noemt BPE de gangbare methode. WordPiece is een verwante methode in het model BERT.




