Naar inhoud
BetaAI Begrippen

AI-begrippen in gewone taal. Zoek een begrip, blader op letter of filter op onderwerp.

Latentie

Engels: Latency · Ook wel: latency, inference latency

In het kort

Latentie is de tijd die een AI-model nodig heeft om een prompt te verwerken en een antwoord te maken. Die tijd telt twee momenten: hoe snel het eerste tekstdeel verschijnt, en hoe lang het duurt tot het laatste tekstdeel klaar is. Bij een chatbot met een lopend antwoord zien gebruikers eerst het begin van de tekst, terwijl de totale latentie pas stopt bij het laatste tekstdeel.

Waarom is dit belangrijk?

Een lage latentie maakt het mogelijk dat een AI-systeem in de zorg advies geeft terwijl de toestand van de patiënt verandert. Op de spoedeisende hulp en de intensive care moet dat advies binnen seconden komen, bijvoorbeeld bij een hartstilstand of problemen met de beademing. Voor zorgmedewerkers betekent hoge latentie dat hulp te laat komt, terwijl een fout signaal onnodige alarmen kan geven of een echt gevaar kan missen.

Zo werkt het in de praktijk

Speciale chips voeren AI-modellen uit aan de rand van het netwerk, volgens de KU Leuven. Die modellen moeten daar met lage latentie draaien. MLCommons test taalmodellen op het samenvatten van overheidsrapporten en gebruikt daarvoor het model Llama van het bedrijf Meta.

Een doctoraatsproject aan de KU Leuven onderzoekt de indeling van rekenlagen. Bestaande tools missen het samenvoegen van rekenlagen en chips met meerdere kernen. Onderzoekers bouwen modellen die delen van lagen samen berekenen en toetsen die op energie en latentie.

MLPerf Inference is de meetset van MLCommons voor de snelheid van AI-systemen. De set legt een grens voor de latentie vast en meet ook het aantal verwerkte taken. De referentiecode gebruikt vLLM, een programma dat het model op verschillende chips draait.

Gecontroleerd op 23 oktober 2026