Waarom is dit belangrijk?
Zonder vooraf bekende antwoorden kunnen computers grote hoeveelheden ruwe gegevens zelf ordenen en afwijkingen opsporen. In de zorg wordt dit ingezet bij medische diagnoses, om ongebruikelijke gevallen tussen gewone waarnemingen te vinden. Voor werknemers en studenten levert dat sneller inzicht in omvangrijke bestanden op, maar een afwijking is niet altijd een echt probleem en vraagt daarom ook om menselijke controle.
Zo werkt het in de praktijk
In de praktijk halen teams ongelabelde tekst van het web, zoals bij het project Common Crawl. Die verzameling krijgt alleen lichte filtering. Facebook gebruikt ongelabelde spraak in wav2vec, een methode voor spraakherkenning.
Onderzoek naar onbegeleid leren bekijkt hoe modellen eerst leren tekst te produceren. Die stap heet generatieve voortraining en gebruikt een ongelabelde tekstverzameling. Daarna stellen onderzoekers het model bij voor het indelen van teksten.
Zelfgestuurd leren is een werkwijze die leersignalen uit de data zelf haalt. Het model oefent eerst op een hulp-taak met pseudo-labels, labels die het zelf toekent aan ongelabelde data. Semi-gesuperviseerd leren voegt daar een klein deel gelabelde data aan toe.




