Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Token

Engels: Token

In het kort

Een token is een stukje data, vaak tekst, dat een taalmodel, de techniek achter chatbots, als basiseenheid verwerkt. Het model telt geen losse woorden, maar knipt tekst in tokens: een kort woord is vaak één token en een lang woord soms drie. Limieten en prijzen van aanbieders gaan vaak over tokens, en die telling kan invoer, uitvoer, opgeslagen invoer of intern redeneren omvatten.

Waarom is dit belangrijk?

Door tekst in tokens te meten, kunnen systemen bepalen hoeveel tekst ze in één keer meenemen bij samenvatten of vergelijken. In het onderwijs en op de werkvloer bepaalt die maat hoe lang een verslag of een studiebron mag zijn voordat een deel wegvalt. Gebruikers merken dat een antwoord soms een stuk van een lang document mist, waardoor controle op volledigheid nodig blijft.

Zo werkt het in de praktijk

Microsoft rekent in Azure OpenAI de capaciteit in tokens per minuut. Beheerders in de ict koppelen die capaciteit aan een modeluitrol. De TU Dortmund beschrijft dat LLaMA het Duitse woord Tischtennis in losse delen knipt, omdat de verdeling op Engels is afgestemd.

Onderzoekers pasten byte-pair encoding aan voor modellen zoals GPT-4. De methode bouwt een vaste verzameling tokens en zoekt geen maximale compressie. Onderzoekers breidden dezelfde aanpak ook uit naar gebarentaal.

Teams gebruiken hiervoor vaste rekenmethoden. Byte-pair encoding voegt het meest voorkomende tekenpaar samen tot een nieuw token. WordPiece bij BERT en SentencePiece bij T5 en LLaMA wegen de delen op een andere manier.

Gecontroleerd op 23 oktober 2026