Deze taal is machinaal vertaald en is niet door een mens gecontroleerd.

Wetenschap · Artikel

Theorie van geest: wat het betekent in psychologie en waarom AI-onderzoekers erover debatteren

Gepubliceerd:

In het kort

Theorie van geest is het cognitieve vermogen om jezelf en anderen mensen overtuigingen, verlangens en intenties toe te schrijven, wat het mogelijk maakt voorspellingen over gedrag te doen, zelfs wanneer het perspectief van een ander persoon op werkelijkheid afwijkt van het jouwe. Het concept, lange tijd bestudeerd door middel van kinderontwikkelingstests zoals de Sally-Anne-taak, is opnieuw in het openbare debat teruggekeerd nadat een Stanford-onderzoeker rapporteerde dat grote taalmodellen zoals GPT-4 veel van dezelfde tests doorstaan, een bewering die andere wetenschappers betwisten.

Deze versie is een machinevertaling van het origineel (English). Lees het origineel

Wat theorie van geest in psychologie betekent

Theorie van geest (ToG) wordt gedefinieerd als het vermogen om andere individuen te begrijpen door mentale toestanden aan hen toe te kennen, volgens Wikipedias overzicht van het concept. Hiermee kan een persoon erkennen dat iemand anders overtuigingen, verlangens of intenties kan hebben die verschillen van de zijne, en kan deze erkenning gebruiken om gedrag te voorspellen of uit te leggen.

De term kwam in moderne onderzoek via het artikel uit 1978 'Heeft de chimpansee een theorie van geest?' van David Premack en Guy Woodruff, wat psychologen ertoe aanzette de capaciteit over soorten en kinderontwikkeling heen te bestuderen, volgens Wikipedia. Later ontstonden twee rivaliserende verklaringen voor hoe ToG werkt: de 'theorie-theorie', die stelt dat mensen regels van volkse psychologie toepassen om mentale toestanden van anderen af te leiden, en simulatietheorie, die stelt dat mensen anderen mentaal modelleren door zich in hun plaats in te beelden.

De Sally-Anne-test

Het standaardinstrument voor het testen van ToG bij kinderen is de onwaar-geloof-taak, meestal gepresenteerd als het Sally-Anne-verhaal: Sally legt een knikker in haar mand en verlaat de kamer; Anne verplaatst de knikker vervolgens naar een doos. Een kind slaagt voor de test door te voorspellen dat Sally naar de knikker in de mand zal zoeken — haar originele, nu onwaar, geloof — in plaats van waar deze zich werkelijk bevindt, zoals Wikipedia uitlegt. Een gerelateerde versie, de onverwacht-inhoud-taak, vraagt kinderen wat iemand anders denkt dat in een misleidend gelabelde doos zit.

Kinderen ontwikkelen deze vaardigheden doorgaans in een vastgestelde volgorde tussen ongeveer drie en vijf jaar oud, gaande van het begrijpen dat mensen verschillende dingen kunnen willen, tot het begrijpen dat mensen verschillende overtuigingen kunnen hebben, tot het doorstaan van volledige onwaar-geloof-tests. Wikipedia merkt op dat de exacte volgorde per cultuur verschilt: kinderen in Iran en China begrijpen bijvoorbeeld 'kennistoegang' eerder maar doen er langer over om 'diverse overtuigingen' te begrijpen, wat onderzoekers verbinden met collectivistische culturele waarden.

Waarom kunstmatige intelligentie in het debat is gekomen

De interesse in machine theorie van geest groeide nadat Michal Kosinski, een computationeel psycholoog van Stanford, dezelfde onwaar-geloof-taken die bij kinderen worden gebruikt door een reeks taalmodellen leidde. Volgens de pagina van het werkpapier op de website van Stanford Graduate School of Business construeerde Kosinski 40 onwaar-geloof-scenario's, plus bijbehorende waar-geloof-controleversies, en testte deze op taalmodellen die tussen eind 2010 en 2023 werden uitgebracht.

GPT-modelprestaties op onwaar-geloof-taken, zoals gerapporteerd op de werkpapierpagin van Stanford GSB
ModelReleasperiodeSuccespercentage (Stanford GSB)Dichtstbijzijnde kinderleeftijd-benchmark
Modellen pre-2020vóór 2020dicht bij 0%onder typische testleeftijd
GPT-3mei 2020ongeveer 40%~3,5-jarigen
GPT-3, bijgewerkte versiejanuari 2022ongeveer 70%~6-jarigen
GPT-3.5november 2022ongeveer 90%~7-jarigen
GPT-4maart 2023ongeveer 95%nadert volwassen niveau

Een afzonderlijk verslag van het onderzoek op PsyPost geeft verschillende cijfers voor wat het beschrijft als een latere testrondes die 11 modellen bestrijkt: het rapporteert dat GPT-3-varianten slechts ongeveer 20% van de taken oplostten, en 'ChatGPT-4' 75% in totaal oplostte, met een splitsing van 90% op onverwacht-inhoud-taken maar slechts 60% op de moeilijkere onverwacht-transfer-versie. De twee bronnen beschrijven verschillende testbatches en modelversies, wat een waarschijnlijke reden is waarom de percentages niet overeenkomen; beide wijzen echter op een duidelijke verbetering in nieuwere modellen in vergelijking met oudere.

LLM's zijn niet alleen taalmodellen—ze zijn in wezen modellen van de menselijke geest.

— Michal Kosinski, Stanford Graduate School of Business, geciteerd door PsyPost

De tegenreactie: patroonherkenning of echt begrip?

Kosinskis conclusie is niet onbetwist gebleven. Harvard-psycholoog Tomer Ullman publiceerde een artikel op arXiv getiteld 'Large Language Models Fail on Trivial Alterations to Theory-of-Mind Tasks', stellende dat kleine herformuleringen die dezelfde onderliggende psychologische logica behouden de reactie van een model van correct naar incorrect kunnen doen omslaan. Ullmans positie, samengevat in de eigen formulering van het artikel, is dat onderzoekers vanaf een sceptische basislijn moeten beginnen bij het evalueren van machine-psychologie, en dat verspreide mislukkingen op bijna identieke taken meer uitmaken dan een gemiddeld succespercentage.

PsyPosts dekking van het Stanford-onderzoek wijst ook rechtstreeks op deze beperking: omdat GPT-modellen op enorme hoeveelheden tekst worden getraind die soortgelijke onwaar-geloof-verhalen kunnen bevatten, is het moeilijk uit te sluiten dat een model een vertrouwd patroon herkent in plaats van te redeneren over de mentale toestand van een onzichtbaar personage. De onderzoekers probeerden nieuwe scenario's te ontwerpen om dit risico te verkleinen, maar het artikel merkt op dat dit niet volledig kan worden gegarandeerd.

Waarom de vraag buiten het laboratorium belangrijk is

Dezelfde testbatterij die bij kinderen en chimpansees wordt gebruikt, wordt nu op software toegepast omdat, zoals de Stanford GSB-pagina opmerkt, theorie van geest centraal staat voor menselijke sociale interactie, communicatie, empathie, zelfbewustzijn en moraliteit. Zowel het Stanford-materiaal als het Ullman-artikel zijn het er echter mee eens dat het doorstaan van een vaste reeks testvragen niet hetzelfde is als het vaststellen dat een systeem theorie van geest bezit op de manier waarop cognitieve wetenschappers de term voor mensen gebruiken.

Vragen

Wat is theorie van geest in eenvoudige termen?
Het is het vermogen om te erkennen dat andere mensen hun eigen overtuigingen, verlangens en intenties hebben, die anders kunnen zijn dan de jouwe, en dat te gebruiken om hun gedrag te voorspellen, zoals gedefinieerd in Wikipedias overzicht van theorie van geest.
Wat is de Sally-Anne-test?
Het is een onwaar-geloof-taak waarbij een kind moet voorspellen dat een personage genaamd Sally naar het object zal zoeken waar zij het voor het laatst heeft achtergelaten, hoewel het heimelijk is verplaatst door een ander personage, Anne, terwijl zij weg was — een test van het begrijpen dat geloven onwaar kan zijn, volgens Wikipedia.
Heeft GPT-4 theorie van geest?
Stanford-onderzoeker Michal Kosinski rapporteerde dat GPT-4 een groot aandeel klassieke onwaar-geloof-taken oplostte, volgens zijn werkpapierpagina en PsyPosts dekking, maar andere onderzoekers, waaronder Tomer Ullman van Harvard in een arXiv-artikel, betogen dat dit waarschijnlijk patroonherkenning in trainingsgegevens weerspiegelt in plaats van echt redeneren over mentale toestanden.
Op welke leeftijd doorstaan kinderen doorgaans onwaar-geloof-taken?
Wikipedias overzicht stelt dat kinderen doorgaans de reeks capaciteiten die ten grondslag liggen aan theorie van geest tussen ongeveer drie en vijf jaar oud ontwikkelen, met de exacte volgorde die enigszins per cultuur verschilt.
Waarom twijfelen critici aan AI-resultaten op theorie-van-geest?
Tomer Ullmans arXiv-artikel toont aan dat kleine woordwijzigingen in anderszins gelijkwaardige onwaar-geloof-taken ertoe kunnen leiden dat een model dat eerder correct antwoordde faalt, wat volgens hem suggereert dat het vertrouwt op oppervlaktepatronen in plaats van robuuste redeneringen over mentale toestanden van anderen.

Bronnen

  1. Wikipedia — Theory of mind
  2. Stanford Graduate School of Business — Theory of Mind May Have Spontaneously Emerged in Large Language Models
  3. PsyPost — Stanford scientist discovers that AI has developed an uncanny human-like ability
  4. arXiv — Large Language Models Fail on Trivial Alterations to Theory-of-Mind Tasks (Ullman)

Dit stuk is gemaakt met kunstmatige intelligentie en vóór publicatie automatisch op bronnen gecontroleerd. Ziet u een fout, vraag dan om een correctie. Correctie of weerwoord aanvragen · Hoe we dit maken

Gerelateerd