Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Tokenisatie

Engels: Tokenization · Ook wel: tokenization, tokenisation, tokenisering

In het kort

Tokenisatie is een methode die tekst opdeelt in kleine eenheden, tokens genaamd, voor een taalmodel. Die tokens zijn hele woorden, delen van woorden of losse tekens, zodat het model de tekst als losse eenheden verwerkt in plaats van als één blok. Een chatbot zet een geschreven vraag daarom eerst om in tokens en bouwt het antwoord daarna token voor token weer op tot leesbare tekst.

Waarom is dit belangrijk?

Computers rekenen met getallen, dus maakt tokenisatie het mogelijk om geschreven tekst om te zetten in getallen die een taalmodel kan verwerken. In de wetenschap gebruiken onderzoekers taalmodellen om teksten te analyseren, samen te vatten en te vertalen. Voor studenten en werknemers bepaalt het maximum aantal tokens hoeveel tekst een systeem tegelijk kan lezen, en tekens buiten de woordenschat worden als onbekend gemarkeerd.

Zo werkt het in de praktijk

Het ALEA Institute en Stanford CodeX ontwikkelden de KL3M-tokenizers voor rechtsteksten en financiële documenten. In de publieke sector leert Delphi-2M diagnoses en hun timing als tokens. De gegevens komen uit Deense gezondheidsregisters en de UK Biobank.

Lisa Beinborn en Yuval Pinter van de Vrije Universiteit Amsterdam toetsen tokenisatie aan woordherkenning. Zij vergeleken drie methoden met de reactietijd en de nauwkeurigheid van mensen. UnigramLM sloot minder aan bij die reacties en dekte afgeleide woorddelen slechter.

Veel taalmodellen gebruiken byte-pair encoding (BPE), een werkwijze die tekenparen samenvoegt tot een vaste woordenlijst. Het KL3M-onderzoek noemt BPE de gangbare methode. WordPiece is een verwante methode in het model BERT.

Gecontroleerd op 23 oktober 2026