Waarom is dit belangrijk?
Dankzij dit model kunnen computers beelden gebruiken om weerpatronen te herkennen en om de omgeving van een voertuig te volgen. In de wetenschap zetten onderzoekers de vision transformer in voor weer- en klimaatvoorspellingen met zulke beelden. Voor burgers en werknemers komt dit terug in weersverwachtingen en in zelfrijdende voertuigen, maar het model leert minder zuinig dan veel andere beeldmodellen en heeft veel voorbeeldbeelden nodig.
Zo werkt het in de praktijk
In de zorg testen onderzoekers van het National College of Ireland een vision transformer op longfoto's. De foto's komen van de National Institutes of Health en tonen longontsteking. In de maakindustrie testen andere onderzoekers deze modellen voor kwaliteitscontrole op de testverzamelingen MVTec AD en BTAD.
Na het eerste model verschenen varianten voor een specifiek domein. De Swin Transformer zoekt objecten op foto's uit de verzameling COCO. Meta AI Research liet met DINOv2 een vision transformer leren zonder labels.
Het National College of Ireland koppelt de vision transformer aan MLOps. Dat is een werkwijze om een model te trainen, te testen en in gebruik te nemen. Zij plaatsten het model op Microsoft AzureML. Zo voeren zij dezelfde stappen opnieuw uit.




