Waarom is dit belangrijk?
Met LoRA kan één basismodel wisselen tussen vakgebieden, onder meer de geneeskunde, zonder voor elk vak een apart volledig model te bewaren. Onderzoek in de zorg laat zien dat ziekenhuizen zo gegevens uit medische dossiers kunnen halen, zonder patiëntgegevens onderling te delen. Zorgmedewerkers kunnen zo hulp krijgen bij het uitlezen van dossiers, maar die dossiers bevatten gevoelige gezondheidsgegevens die beschermd moeten blijven.
Zo werkt het in de praktijk
Hugging Face past Low-Rank Adaptation toe in Diffusers, bij het beeldmodel Stable Diffusion. Makers trainen een klein extra bestand, bijvoorbeeld op de Pokémon-set van Lambda Labs. Zij laden dat bestand later op het bestaande model, dat dan beelden in die stijl maakt.
Microsoft Research testte Low-Rank Adaptation op RoBERTa, DeBERTa, GPT-2 en GPT-3. De kwaliteit bleef minstens vergelijkbaar met een volledige training. Een overzicht van Yale University en de Chinese University of Hong Kong noemt vragen over de theorie en grotere modellen.
Low-Rank Adaptation hoort bij parameterefficiënte fijnafstelling, een werkwijze voor gerichte modelaanpassing. Hugging Face koppelt de methode aan DreamBooth, waarin een beeldmodel een nieuw onderwerp leert uit enkele foto's.




