Waarom is dit belangrijk?
In medisch onderzoek maakt semantische chunking het mogelijk dat een zoeksysteem een geneesmiddel en een gemelde bijwerking als één verband terugvindt. In ziekenhuizen en onderzoekscentra doorzoeken systemen hiermee medische vakliteratuur om een antwoord met bronnen te onderbouwen. Medewerkers krijgen daardoor gerichtere antwoorden tijdens het opzoekwerk, maar de selectie kan binnen één deel van het document blijven en bewijs elders missen.
Zo werkt het in de praktijk
Semantische chunking wordt gebruikt in retrieval-augmented generation. Een taalmodel zoekt dan eerst passages op en schrijft daarna een antwoord. De tools LangChain en LlamaIndex bieden de methode aan voor zulke zoeksystemen.
Onderzoekers van de University of Wisconsin–Madison en Vectara vroegen of de extra rekentijd loont. Zij zetten semantische chunking af tegen eenvoudiger splitsen. De test keek naar documentzoeken, bewijszoeken en het genereren van antwoorden.
Bij Artefact hoort de methode bij het klaarzetten van teksten voor zoeken. Naburige zinnen gaan samen als hun betekenis sterk overeenkomt. Het project ArGiMi, met steun van BPIFrance, zette dit naast splitsen op zinnen, tokens en programmacode.




