Waarom is dit belangrijk?
Medische scans, erfelijkheidsgegevens en dossiers kunnen samen worden gelezen, zodat een multimodaal model afwijkingen eerder laat opvallen bij het opsporen van kanker. In de zorg zetten ziekenhuizen dit in bij de diagnostiek, zodat artsen een ziektebeeld beter kunnen beoordelen. Patiënten en zorgverleners krijgen daarmee extra steun bij beslissingen, maar het samenbrengen van bronnen kan iemand herkenbaar maken, ook als elke bron apart anoniem is.
Zo werkt het in de praktijk
In het onderwijs verwerkt een multimodaal model zoals Gemini van Google beeld en video naast tekst. Docenten ontwerpen daarmee lesmateriaal voor de klas. In de industrie bestuurt een verder getraind PaLM-model van Google robots, en DALL·E van OpenAI maakt in de creatieve sector beelden uit tekst.
Het tijdschrift npj Science of Learning beschrijft kansen en risico's in het onderwijs, zoals nauwkeurigheid en menselijk toezicht. Een onderzoeksvraag is hoe een multimodaal model tekst en beeld op elkaar afstemt en samenvoegt.
ISO/IEC 42001 beschrijft een managementsysteem voor organisaties die AI-systemen maken of gebruiken. Zij leggen beleid, doelen en processen vast voor verantwoord gebruik, ook van een multimodaal model. Het systeem verbetert via de cyclus plannen, doen, controleren en bijstellen.




