Waarom is dit belangrijk?
Teams kunnen vooraf een grens stellen aan de fout van een leermethode en zo bepalen wanneer extra gegevens weinig opleveren. In de robotica kost een zoekmethode die veel voorbeelden nodig heeft veel berekeningen, alsof het systeem elke situatie apart naloopt. Op school en op het werk helpt dat bij een realistische beoordeling, want zonder beperking op taken leert geen methode elke taak goed met eindig veel voorbeelden.
Zo werkt het in de praktijk
Bij actief leren past men computationele leertheorie toe: het algoritme vraagt labels voor zelf gekozen invoer, zodat de kost van veel labels daalt. Bayesiaanse inferentie uit hetzelfde vakgebied leverde ook geloofsnetwerken op.
Onderzoek vergelijkt modellen met andere aannames over generalisatie uit beperkte gegevens. Exact leren, van Dana Angluin, en online leren, uit het werk van Nick Littlestone, horen bij die modellen. Elk model legt vast hoe een algoritme een algemene regel afleidt.
Empirisch risicominimalisatie, een werkwijze die het model met de kleinste fout op de trainingsdata kiest, hoort bij deze theorie. Tikhonov-regularisatie voegt een straf toe voor een complex model. Daardoor blijven de geleerde functies consistenter op nieuwe gegevens.




