Waarom is dit belangrijk?
Het voorbereiden van toezicht krijgt prioriteit, omdat een intelligentie-explosie de tijd om systemen nog bij te sturen sterk kan verkorten. In de wetenschap en bij overheden ontstaan daardoor voorstellen voor regels over onderzoek, nog voordat nieuwe systemen breed worden ingezet. Voor leerlingen en werknemers kan kennis over veilige omgang met zulke systemen snel achterlopen, met het risico dat bijsturen te laat komt.
Zo werkt het in de praktijk
In de ict schrijft Claude van het bedrijf Anthropic meer dan 80 procent van de samengevoegde programmacode. Zulke systemen kunnen een sterkere opvolger helpen bouwen. In het onderwijs leidt Singularity University leiders op om exponentiële technologie toe te passen.
Onderzoekers kijken of die keten een intelligentie-explosie wordt. Meta AI test taalmodellen die zichzelf belonen tijdens de training. Google DeepMind liet de agent AlphaEvolve algoritmen stap voor stap verbeteren.
Specialisten gebruiken capability control, een werkwijze om een AI-systeem te volgen en te begrenzen. Een sandbox houdt het systeem in een afgesloten computeromgeving. Nick Bostrom koppelt die inperking aan methoden die de doelen van het systeem op mensen afstemmen. Californië versnelt wetten die een noodstop kunnen bevatten.




