Waarom is dit belangrijk?
Taalmodellen lopen anders vast als een eerste keuze later niet meer past bij een groter plan. In wetenschappelijk onderzoek gebruiken onderzoekers tree-of-thought bij taken die vooruitdenken vragen, zoals het opbouwen van een samenhangende tekst. Studenten en werknemers krijgen zo vaker een uitgewerkt voorstel, al kan het model soms een goede optie te vroeg overslaan en een fout antwoord toch als zeker presenteren.
Zo werkt het in de praktijk
Onderzoekers van Princeton University en Google DeepMind pasten tree-of-thought toe op korte kruiswoordpuzzels. Het model zoekt woorden bij aanwijzingen en kan een stap terug doen. De proeven staan in een artikel voor de conferentie NeurIPS in 2023.
Het artikel onderzoekt of een taalmodel kan plannen door te zoeken in een boom van tussenstappen. De auteurs sluiten aan bij ouder werk van Newell, Shaw en Simon. Die beschreven probleemoplossen als zoeken in een boom van deeloplossingen.
Tree-of-thought koppelt die zoektocht aan twee zoekmethoden uit de informatica: breedte-eerst en diepte-eerst. Bij breedte-eerst bekijkt het model meerdere stappen op hetzelfde niveau. Bij diepte-eerst volgt het één pad en keert het terug naar een andere tak.




