Waarom is dit belangrijk?
Modellen kunnen rommelige meetreeksen pas omzetten in bruikbare voorspellingen nadat datapreprocessing die gegevens stap voor stap heeft voorbereid. In de zorg gebruiken ziekenhuizen datapreprocessing voordat modellen patiëntgegevens analyseren voor onderzoek naar ziekteverloop. Voor patiënten kan een medisch advies daardoor op zorgvuldiger gegevens steunen, maar onzorgvuldig schrappen van afwijkende metingen kan echte signalen verbergen en de uitleg van het model bemoeilijken.
Zo werkt het in de praktijk
In fabrieken gebruiken teams datapreprocessing om knelpunten in de productiestroom op te sporen. Onderzoekers van Chalmers University of Technology beschrijven een echt productiesysteem waarin analisten eerst een definitieve dataset bouwen. Daarna analyseert een model waar de doorstroming vastloopt.
Onderzoekers aan dezelfde universiteit volgen hoe maakbedrijven AI-projecten opzetten en onderhouden. Zij laten zien dat datavoorbereiding de dataset voor het model oplevert. Het onderzoek bekijkt ook welke vakkennis teams nodig hebben om die voorbereiding vol te houden.
Datapreprocessing hoort bij CRISP-DM, een open werkwijze voor datamining. Die werkwijze heeft een aparte fase waarin analisten de dataset klaarmaken. In het KDD-proces (kennis halen uit databases) komt preprocessing vóór het zoeken naar patronen.




