Roger Penrose’s theory of consciousness in the light of active externalism

Virtual Reality Learning Lab

Roger Penrose’s theory of consciousness in the light of active externalism

Final paper for my Philosophy of Science BA, written in 2010. In this paper I discuss the theory of Roger Penrose’s theory of consciousness in which non-computable processes are essential, in the light of active externalism, as put forward by Andy Clark.

———————————————————————————————————–

Vergroten van wiskundig inzicht met externe computationele processen
Penrose in het licht van technologische uitbreidingen

Er bestaat veel weerstand tegen de stelling dat ‘sterke KI’, sterke Kunstmatige Intelligentie[1], mogelijk zou zijn. In deze paper zal ik de stelling van sterke KI aanhouden die John Searle introduceert in zijn paper Minds, Brains and Programs (Searle, 1980):

 “The appropriately programmed computer with the right inputs and outputs would there­­by have a mind in exactly the same sense human beings have minds.” (Searle, 1980, p2)

 Een aanzienlijk deel van de weerstand die mensen tegen deze stelling uiten is intuïtief van aard. In plaats van rationele argumenten probeert men duidelijk te maken dat sterke KI niet mogelijk kan zijn door te stellen dat “Een machine nooit…”, gevolgd door zinsdelen als: kan genieten van een blauwe lucht, humor kan hebben, natuurlijke taal kan gebruiken, vriendelijk kan zijn, iets nieuws kan doen, etc. Van de meeste van deze dingen kunnen we ons inderdaad nauwelijks voorstellen dat een machine er toe in staat zou zijn. Alan Turing merkt deze argumentatiemethode op in zijn paper ‘Computing Machines and Intelligence’ (Turing, 1950). Hij benadrukt echter dat deze manier van argumenteren gebaseerd is op wetenschappelijke inductie: mensen extrapoleren de prestaties van de computers waar ze tot dusver kennis van hebben[2] om te bepalen waartoe computers in staat zouden zijn. Aangezien de capaciteiten van computers sterk groeien is het bijzonder moeilijk te voorspellen waartoe computers in de toekomst in staat zullen zijn. De stelling dat er aspecten bestaan van het menselijke cognitieve systeem die nooit kunnen worden nagebootst door een machine, moet daarom gefundeerd worden door een principieel argument om overtuigend te zijn.

Gedurende de afgelopen decennia zijn er inderdaad ook principiële argumenten geformuleerd tegen de stelling van sterke KI. Tot de bekendste behoort het gedachte-experiment van de Chinese Kamer waarmee John Searle zelf argumenteert tegen de mogelijkheid van sterke KI. Dit experiment behandelt de vraag of een machine, als deze overtuigend een intelligent gesprek kan voeren, ook daadwerkelijk begrip kan hebben.  Als een computer zo geprogrammeerd is dat hij een bepaalde cognitieve capaciteit X heeft (in dit geval overtuigend een intelligent gesprek voeren), is deze capaciteit dan precies hetzelfde als dezelfde capaciteit X van een mens? Searle laat zien dat dit niet het geval is, een computersimulatie kan geen subjectieve ervaring van begrip veroorzaken

Een andere bekende argumentatie tegen sterke KI is die van de Engelse wiskundige fysicus Roger Penrose, welke ik in deze paper nader zal beschouwen.  Net als Searle stelt Penrose dat computers niet in staat zijn tot het begrijpen[3] van een probleem, computers kunnen niet denken zoals mensen dat kunnen. Volgens Searle is simulatie van de output van het resultaat van begrip echter wel mogelijk. Als alle fysieke acties van de hersenen worden gesimuleerd, zal de output hetzelfde zijn als van een mens. Penrose gaat ‘een stap verder’ en stelt dat ook het resultaat niet kan worden gesimuleeerd. Computers zijn niet in staat tot het oplossen van bepaalde problemen, waar mensen dat wel kunnen.  Dit zijn problemen waarbij inzicht en begrip essentieel zijn volgens Penrose. De technologie die in staat zou zijn tot begrijpen bestaat nog niet. Sterker nog: de mens beschikt nog niet over de natuurkundige kennis waarvan deze technologie gebruik zou moeten maken.

 

 

Penrose’s eis voor non-computationaliteit

Penrose zet zijn visie uiteen in een aantal papers, maar vooral in zijn twee, voor een breed publiek toegankelijke boeken: The Emperor’s New Mind (Penrose, 1989) en Shadows of the Mind (Penrose, 1994). De boodschap van deze boeken is grofweg dezelfde. In het eerste boek gaat Penrose echter op een wat wildere manier langs de grenzen van de menselijke kennis van de natuur. In Shadows of the Mind is de argumentatie van Penrose een stuk gestructureerder, waarom ik me zal concentreren op dit tweede boek. In dit boek hanteert Penrose een duidelijke tweedeling. Het eerste deel is getiteld: Why We Need New Physics to Understand the Mind. Hierin beargumenteert Penrose waarom de geest niet verklaard kan worden in het huidige wereldbeeld. De geest kan namelijk niet computationeel van aard zijn, voor het ontstaan van de geest zijn niet-computationele processen noodzakelijk. In het tweede deel, getiteld What New Physics We Need to Understand the Mind, gaat hij op zoek waar in de natuur mogelijkheden zijn voor deze non-computationele processen.

Penrose beargumenteert dus eerst waarom we de geest niet kunnen verklaren in termen van computationele processen. Hier is een nieuwe fysische theorie voor nodig. Hiermee argumenteert Penrose dus ook tegen de mogelijkheid van sterke KI: als de geest non-computationeel van aard is, kan deze onmogelijk worden nagebootst door een computer.

Het argument dat Penrose geeft is wiskundig van aard. De problemen die mensen kunnen oplossen transcenderen namelijk de formele logica. Mensen kunnen de waarheid van bepaalde wiskundige stellingen direct inzien, ook al kan bewezen worden dat er geen algoritme bestaat om deze stellingen te bewijzen.

Penrose maakt gebruik van een bewerking van Gödel’s eerste onvolledigheidsstelling. De publicatie van het bewijs van deze stelling in 1931[4] betekende een omslag in de wiskundige filosofie, doordat het beperkingen oplegt aan de bewijsbaarheid van wiskundige stellingen. Het laat zien dat er in elke tak van wiskunde proposities zullen zijn waarvan niet kan bewezen worden of ze waar of onwaar zijn, gebruik makend van de regels en axioma’s van dat wiskundige systeem. Alle complexe logische systemen zijn dus per definitie incompleet: elk systeem bevat meer ware proposities dan binnen het systeem bewezen kunnen worden.

Om Gödels onvolledigheidsstelling in verband te brengen met de werking van computationele[5] systemen (computerprogramma’s), bedient Penrose zich van de terminologie van Turing’s ‘Halting Problem’ in zijn bewijsvoering. Dit probleem luidt als volgt: gegeven een beschrijving van een computerprogramma, beslis of dit programma op een bepaald moment zal stoppen, of dat het voor altijd zal blijven doordraaien. Aan de hand van dit probleem kan Penrose duidelijk maken dat de beperking van de bewijsbaarheid in een formeel systeem gezien kan worden als een beperking van computationele systemen. Penrose laat zien dat er geen algoritme bestaat dat kan bepalen of een programma stopt. Er bestaat geen procedure van computationele regels waarmee dat bewezen kan worden:

“no knowably sound set of computational rules (…) can ever suffice for ascertaining that computations do not stop, since there are some non-stopping computations (…) that must elude these rules.” (Penrose, 1994, p. 75)

Er zijn echter programma’s waarvan een een wiskundige volgens Penrose direct kan inzien dat ze nooit zullen stoppen, hoewel er dus geen algoritme bestaat om dit te bewijzen. Eenieder die logisch kan nadenken en begrijpen kan dit inzicht hebben. Het menselijk wiskundig inzicht ontstijgt dus de beperkingen van een computationeel systeem en kan dientengevolge niet gemodelleerd worden door een computer[6]. Penrose concludeert dat het menselijk wiskundig inzicht non-computationeel van aard moet zijn.

De menselijke geest kan dus niet geheel door een computationeel systeem worden nagebootst. De mens beschikt over wiskundig inzicht waar een computer nooit toe in staat zal zijn. Het beoefenen van wiskunde hoort echter niet bij de taken waarvan vaak wordt betwijfeld of ze uitvoerbaar zijn door computationele systemen. Uit dagelijkse ervaring weten we dat computers erg goed zijn in het uitwerken van wiskundige problemen. Computers lijken meer moeite te hebben met taken waarbij ‘gezond verstand’ van belang is. Als we een bewijs willen dat sterke KI onmogelijk is, moet dan niet de onmogelijkheid van het uitvoeren van dit soort taken bewezen worden? Waarom gaat Penrose juist in op die taak waar computers beter in lijken te zijn dan mensen: het beoefenen van wiskunde? De reden hiervoor is

” that it is only within mathematics that we can expect to find anything approaching a rigorous demonstration that some, at least, of conscious activity must be non-computational. The issue of computation, by its very nature, is indeed a mathematical one. We cannot expect to provide anything like a ‘proof’ that some activity is not computational unless we turn to mathematics.” (Penrose, 1995, p52)

Vanuit de stelling dat voor wiskundig inzicht non-computationele processen nodig zijn, kan Penrose verder beargumenteren dat deze ook vereist zijn voor uitvoering van algemeen inzicht, hoewel hij hier niet erg strikt is in zijn bewijsvoering:

“Once it is shown that certain types of mathematical understanding must elude computational description, then it is established that we can do something non-computational with our minds. This being accepted, it is a natural step to conclude that non-computational action must be present in many other aspects of mental activity. The floodgates will indeed be open!” (Penrose, 1995, p51)

Penrose claimt dat de non-computationele processen van begrijpen niet alleen belangrijk zijn voor bijvoorbeeld het inzicht in de oneindigheid van natuurlijke getallen, maar ook in het bevatten van de betekenis van een woord, bij het losmaken van knopen, of voor het doen van intelligente schaakzetten[7]. Penrose gebruikt een redelijk basale, intuïtieve beschrijving van de relatie tussen begrijpen en bewustzijn. In plaats van een volledige definitie van één van deze begrippen te geven[8], formuleert hij twee uitgangspunten:

“(a) ‘intelligence requires ‘understanding’ and

  (b) ‘understanding’ requires ‘awareness’ ” (Penrose, 1995, pp38-39)

Het argument van Penrose gaat niet direct over bewustzijn[9], intelligentie of geest, maar is ook relevant voor die concepten, zo legt hij uit:

“there should be a clear relevance of that discussion to those concepts also, since the common-sense terminology that I have indicated above implies that awareness ought indeed to be an essential ingredient of our understanding, and that understanding must be a part of any genuine intelligence. ” (Penrose, 1995, p40)

Sterke KI, zoals gedefinieerd door John Searle, is onmogelijk volgens Penrose: een computer kan onmogelijk zó geprogrammeerd worden dat kan gezegd worden dat de computer een geest heeft.

“the technology of electronic computer-controlled robots will not provide a way to the artificial construction of an actually intelligent machine–in the sense of a machine that understands what it is doing and can act upon that understanding.” (Penrose, 1995, p393)

Penrose sluit echter niet uit dat technologie ooit wel écht intelligent gedrag kan vertonen en tot begrijpen in staat kan zijn. Hiervoor moet deze technologie echter gebruik maken van non-computationele processen.

In het tweede deel van zijn boek Shadows of the Mind gaat Penrose op zoek naar de (on)mogelijkheden van non-computationele processen in de natuur. Deze processen worden namelijk niet alleen niet gebruikt in onze hedendaagse technologie; de natuurkunde waarin zulke processen een rol spelen moet zelfs nog beschreven worden. Penrose benadrukt echter dat hoewel de mensheid nog niet beschikt over deze natuurkundige kennis, dit natuurlijk niet uitsluit dat de biologie gebruik maakt van dit soort processen. Sterker: aangezien Penrose in het eerste deel bewijst dat voor begrip non-computationele processen vereist zijn, moet het wel zo zijn dat de menselijke hersenen zó zijn opgebouwd dat ze gebruik maken van dergelijke fysische processen[10].

In zijn zoektocht naar non-computationele processen bestudeert Penrose diverse beschrijvingen van de natuur. Zo beschouwt hij of er plaats is voor dergelijke processen in de klassieke en kwantummechanica. De klassieke mechanica kan volledig computationeel beschreven worden concludeert Penrose: deeltjes volgen immers natuurwetten die wiskundig beschreven kunnen worden. Als je op een bepaald tijdstip alle data[11] van een klassiek systeem hebt is de toekomst van dat systeem geheel gedetermineerd en kan zij berekend worden door een computationeel systeem. Penrose laat zien dat ook de kwantummechanica computationeel beschreven kan worden, zij het eventueel met een random-element erin. Volgens Penrose zijn er echter mogelijkheden voor non-computationele processen in  “the interplay (..) between quantum and classical levels of activity.” (Penrose, 1995, p376) Er moet een nieuwe fysische theorie ontwikkeld worden waarin de principes van de kwantummechanica en de relativiteitstheorie worden gecombineerd. In deze kwantum-gravitationele theorie zou ruimte zijn voor non-computationele processen.

Een grote uitdaging voor Penrose is om een plek te vinden in de hersenen waar deze non-computationele processen een rol zouden kunnen hebben. Deze processen zouden immers essentieel moeten zijn voor het ontstaan van wiskundig inzicht en algemener van het bewustzijn en de geest. In het heersende beeld van de hersenen verzenden neuronen impulsen door hun axonen richting de synapsen, alwaar het signaal door neurotransmitters overgebracht kan worden naar het volgende neuron. Volgens Penrose hebben neuronen en synapsen in dit beeld een soortgelijke rol als de transistors en kabels van computers. Hij ziet ook geen reden om te betwijfelen dat een dergelijk systeem niet computationeel geëmuleerd kan worden, zolang de synaptische verbindingen en de individuele sterktes van deze verbindingen statisch zijn. Deze sterktes kunnen echter variëren over tijd, een fenomeen dat hersenplasticiteit wordt genoemd. Volgens Penrose is het in deze variaties van synaptische connecties dat non-computationele processen invloed hebben op het hersengedrag. Deze processen zouden zich in het cytoskelet van een cel afspelen. Hier kunnen kwantum-gravitationele processen plaatsvinden die dus non-computationeel van aard zijn. Via kwantumcoherentie zouden deze processen ‘gekoppeld’ zijn met de processen in de cytoskeletten van andere cellen. Dit zou het ‘globale karakter’ van het bewustzijn mogelijk maken.

Hoewel de boeken van Penrose bijzonder populair zijn, is er veel kritiek geweest[12] op zowel de toepassing van Gödel’s incompleetheidstheorema als de suggestie van non-computationele kwantummechanische processen in de cytoskeletten van neuronen. In de volgende hoofdstukken zal ik de theorie van Penrose in een breder perspectief plaatsen. Bij het oplossen van problemen maken mensen intensief gebruik van externe processen die computationeel van aard zijn. Om de rol van deze processen te beoordelen, zal ik eerst de theorie van het actief externalisme in beschouwing nemen. Vanuit dit kader probeer ik op eenvoudige wijze inzichtelijk te maken dat Penrose’s eis van non-computationaliteit niet erg geloofwaardig is.

De uitgebreide geest

Andy Clark en David Chalmers[13] introduceerden het idee van een Extended Mind‘ in hun gelijknamige paper uit 1998. De theorie van de ‘uitgebreide geest’ stelt de door skin and skull opgelegde grenzen van het cognitieve systeem ter discussie. Menselijke hersenen hebben een dusdanig sterke relatie met externe hulpmiddelen, dat Clark en Chalmers voorstellen niet langer de ingewikkelde wisselwerking tussen techniek en de mens te beschrijven aan de hand van inputs en outputs, maar om het technologische gereedschap deel te maken van het cognitieve proces. Gezien de actieve rol die hierbij wordt toegekend aan de buitenwereld, wordt deze visie ook wel het actief externalisme[14] genoemd.

In zijn recente boek, Supersizing the Mind (Clark, 2008) zet Clark uiteen wat het belang is van belichaming (embodiment) voor geest en cognitie, en welke rol externe factoren kunnen spelen in het cognitieve proces. In de komende alinea’s zal ik een onderzoek beschouwen waarbij snelle oogbewegingen (saccades) worden gemeten tijdens het oplossen van een puzzel. Aan de hand van dit voorbeeld kan ik vervolgens een beeld schetsen van de standpunten van Clark op belichaming en mogelijke fysieke uitbreidingen van de cognitieve vermogens.

De proefpersonen van het onderzoek (Ballard et al, 1995) kregen een puzzel op de computer zoals die weergegeven in de figuur hieronder. Doel hiervan is het kopiëren van een model, opgebouwd uit gekleurde blokken. Met behulp van een muis kunnen de proefpersonen de blokken vanaf de voorraad (resource) naar de werkruimte (workspace) slepen. Terwijl de proefpersoon de puzzel oplost worden de bewegingen van hun ogen gevolgd en kan zo bepaald worden naar welk deel van de puzzel ze op dat moment kijken.

We zijn geneigd te denken dat de aanpak hierbij simpel is. Je kijkt naar het model, kiest een blok, bepaalt en onthoudt de kleur en positie ervan, zoekt een blok met dezelfde kleur in de voorraad en plaatst dit op dezelfde plek in de werkruimte. Wat echter bleek uit het onderzoek was dat de ogen van de proefpersonen veel meer saccades maakten dan je zou verwachten. De proefpersonen richtten hun ogen bijvoorbeeld zowel voor als na het pakken van een blok op het model.

Vanwege dit resultaat werd het onderzoek uitgebreid. De onderzoekers gebruikten een computerprogramma waarmee af en toe de kleur van een blok uit het model werd veranderd, terwijl de ogen ergens anders op gericht waren. Hieruit kwam als resultaat dat deze verandering van kleur vaak niet werd opgemerkt, ook wanneer de proefpersoon het betreffende blok al meerdere malen had bekeken.

Clark verbindt twee conclusies aan dit onderzoek. Ten eerste maakt het duidelijk dat het lichaam een belangrijke rol speelt in het cognitieve proces. De oogbewegingen maken visuele fixatie mogelijk op één stuk informatie. De beweging van de ogen is volgens Clark vergelijkbaar met het opvragen van informatie uit het biologisch geheugen. In beide gevallen wordt de aandacht verlegd naar een ander stuk informatie, alleen bevindt de informatie zich nu buiten het lichaam.

Ten tweede laat het onderzoek zien hoe de hersenen met de buitenwereld omgaan. Niet alle informatie van een waargenomen onderwerp wordt door de hersenen opgeslagen in het biologisch geheugen. Het bovenstaande onderzoek lijkt erop te wijzen dat telkens maar één aspect van het onderwerp wordt opgeslagen. De hersenen ‘vertrouwen’ erop dat de informatie te vinden is in de omgeving en onttrekken de  informatie pas als het nodig is voor het oplossen van het probleem.[15]

De geest, zo beargumenteert Clark, ontstaat niet alleen uit de processen die zich in de hersenen afspelen. Ook de rest van het lichaam speelt een belangrijke rol in onze mentale processen. Daarbij hebben de hersenen zich door evolutie en leren zo aangepast dat ze de buitenwereld benutten om een deel van de cognitieve taken uit te voeren, in plaats van geheel door processen in de hersenen. De grens van de geest moet niet langer worden bepaald door de grens van het lichaam. Net zoals we de verschillende hersendelen niet als losstaande entiteiten beschouwen die met elkaar wisselwerken via in- en outputs, moeten we ook het lichaam en die delen van de buitenwereld die een actieve rol spelen bij cognitieve taken opnemen in het cognitieve systeem. Dit is de essentie van de theorie van de uitgebreide geest, die de gangbare opvatting van de geest en zijn relatie tot het lichaam radicaal verandert.

In een steeds hoger tempo maakt de mens gebruik van deze capaciteiten om de buitenwereld te benutten voor het oplossen van problemen. De enorme toename van technologische hulpmiddelen maakt het mogelijk steeds meer externe bronnen te gebruiken voor informatieverwerking. De mens heeft steeds meer objecten in de directe omgeving die volgens de visie van de uitgebreide geest zijn opgenomen in het cognitieve proces. In de volgende paragraaf zal ik betogen dat de wisselwerking tussen mens en diverse externe hulpmiddelen erg sterk is en de mens hierdoor zeer afhankelijk is van deze hulpmiddelen. Om aansluiting te vinden met de argumentatie van Penrose, zal ik verschillende technieken bespreken waarvan mensen gebruik maken bij het beoefenen van wiskunde.

Technologische uitbreidingen van het wiskundig inzicht

Iedereen weet uit ervaring hoeveel gemakkelijker het oplossen van een wiskundig probleem kan worden door de juiste hulpmiddelen daarvoor te gebruiken. Een staartdeling wordt een stuk eenvoudiger met pen en papier, een rekenmachine helpt erg bij het berekenen van de uitkomsten van exponentiële functies en geavanceerde computerprogramma’s maken het modelleren van complexe systemen mogelijk. Hierbij is vaak de kritiek dat het gebruik van dit soort hulpmiddelen ten koste zou gaan van het begrip van het probleem. Bijvoorbeeld in het onderwijs in Nederland is er daarom veel kritiek op het gebruik van een reken-, of meer recentelijk,  een grafische rekenmachine. Leerlingen zouden hierdoor geen inzicht meer verwerven in rekenen of in vergelijkingen oplossen. Hoewel deze kritiek volgens mij gedeeltelijk terecht is, kunnen technologische hulpmiddelen anderzijds het wiskundig begrip ook sterk vergroten doordat zij mensen in staat stellen complexere problemen op te lossen. Het gebruik van dergelijke techologische hulpmiddelen is volgens mij essentieel geweest voor de geschiedenis van de wiskunde.

Laten we bekijken hoe we een vermenigvuldiging van grote getallen oplossen met behulp van pen en papier[16]. Pen en papier zijn dusdanig opgenomen in het dagelijks leven, dat we bijna zouden vergeten dat het een technologisch hulpmiddel is. Toch heeft het een belangrijke rol bij het beoefenen van wiskunde.

Om het product te berekenen van twee getallen wordt meestal een algoritme gebruikt waarbij je allereerst de getallen onder elkaar zet. Vervolgens kijk je naar het rechter cijfer van het onderste getal en vermenigvuldigt dit met het rechter cijfer van het bovenste getal. Hierbij maak je gebruik van de tafels van 1-10 die je uit je hoofd hebt geleerd. Het rechter cijfer van de uitkomst hiervan schrijf je onder de twee begingetallen. Het linker cijfer zet je boven het tweede cijfer van het bovenste getal. Nu vermenigvuldig je het rechter cijfer van het onderste getal met het tweede cijfer van het bovenste getal, waarna je het cijfertje erboven erbij optelt, enzovoort.

Deze beschrijving van de eerste stappen laat zien hoe dit algoritme het vermenigvuldigen van willekeurig grote getallen opdeelt in zeer eenvoudige bewerkingen, waarbij je alleen getallen kleiner dan 10 moet kunnen vermenigvuldigen en optellen. Belangrijk hier is hoeveel eenvoudiger het gebruik van pen en papier dit maakt. Maar weinig mensen kunnen twee viercijferige getallen uit hun hoofd met elkaar vermenigvuldigen. Hier moet je eenvoudigweg teveel getallen voor onthouden. Het gebruik van pen en papier schept echter de mogelijkheid om het geheugen uit te breiden buiten het lichaam. In plaats van het algoritme ‘uit je hoofd’ uit te voeren, waarbij je de verschillende cijfers in het biologisch korte termijn geheugen opslaat en daar de benodigde informatie weer opvraagt, gebruik je hier nu het papier als opslagplek. De informatie van het papier opvragen doe je, net als bij het oplossen van de puzzel van de vorige paragraaf, door je visueel te fixeren op de benodigde informatie, in dit geval een cijfer.

Kunnen we hier spreken over een cognitief systeem dat uitgebreid is met processen in de buitenwereld? Laten we bekijken wat daarvoor vereist is, aan wat voor voorwaarden hulpbronnen moeten voldoen. Clark en Chalmers formuleerden een criterium dat bekend is geworden als het ‘Parity principle’:

“If, as we confront some task, a part of the world functions as a process which, were it to go on in the head, we would have no hesitation in accepting as part of the cognitive process, then that part of the world is (for that time) part of the cognitive process.” (Clark & Chalmers, 1998, p. 8).

Clark heeft dit criterium verder gepreciseerd aan de hand van drie eisen waaraan externe processen tenminste moeten voldoen om tot het (uitgebreide) cognitieve systeem gerekend te kunnen worden:

1          De hulpbron moet betrouwbaar toegankelijk en oproepbaar zijn. Je bent je niet altijd     bewust van alle informatie die in het biologisch geheugen is opgeslagen. Deze       informatie is echter in principe altijd oproepbaar[17]. Eenzelfde eis geldt voor externe        processen, die moeten betrouwbaar toegankelijk zijn om tot het cognitieve systeem           gerekend te worden.

2          De informatie van de hulpbron moet direct geloofd worden. Mensen vertrouwen            doorgaans zo sterk op hun biologische geheugen dat ze de erin opgeslagen      informatie voor waar aannemen. Ditzelfde vertrouwen moet er ook zijn in een extern           proces om tot het cognitieve systeem te worden gerekend.

3          De hulpbron moet makkelijk toegankelijk zijn. Ook hier kunnen we een vergelijking         trekken met het biologische geheugen. Hier is de informatie erg makkelijk toegankelijk: het wordt bijvoorbeeld actief als aan gerelateerde onderwerpen wordt      gedacht. Om tot het cognitieve systeem gerekend te worden moeten externe             processen zo eenvoudig mogelijk toegankelijk zijn, bijvoorbeeld door een handige            interface en intuïtieve bediening.

Het is duidelijk dat het beschreven gebruik van pen en papier aan deze eisen voldoet. Gedurende het maken van de som is de informatie makkelijk en betrouwbaar toegankelijk en vertrouw je op de genoteerde cijfers. Volgens de visie van de uitgebreide geest kunnen we daarom stellen dat terwijl je de som maakt de pen en het papier deel uit maken van het cognitieve proces. Het begrip van het vermenigvuldigen van getallen is niet minder geworden, je voert nog steeds alle stappen zelf uit. Door de hulpbron kun je echter de methode toepassen op veel complexere problemen, bijvoorbeeld het vermenigvuldigen van tiencijferige getallen. Zonder externe hulpmiddelen, met enkel gebruik van het biologische geheugen zal veel mensen dit waarschijnlijk nooit lukken.

Laten we nu kijken naar de rol van geavanceerdere hulpmiddelen, zoals elektronische computers. Deze zijn door veel mensen voor allerlei functies in het dagelijks leven opgenomen. De oudste toepassing van computers, het oplossen van wiskundige problemen, strekt van het gebruik van eenvoudige rekenmachines tot het gebruik van geavanceerde computersimulaties uitgevoerd op supercomputers.

We bekijken een zakrekenmachine die de basale aritmetische functies heeft: optellen, aftrekken, vermenigvuldigen, en delen. In plaats van pen en papier, wordt nu deze rekenmachine gebruikt om vermenigvuldigingen in het vorige voorbeeld op te lossen. De externe hulpbron heeft nu niet alleen de functie van het tijdelijk opslaan van tussenresultaten. De bewerkingen worden uitgevoerd door de rekenmachine en de gebruiker hoeft alleen de som op te geven. We kunnen ons afvragen of het gebruik van een rekenmachine voldoet aan de criteria van het pariteitsprincipe. Door de relatieve eenvoud van een rekenmachine is de omgang ermee erg eenvoudig. Als de batterijen vol zijn is de toegankelijkheid van deze hulpbron betrouwbaar en mits de rekenmachine goed functioneert, wordt zal de gebruiker de output direct geloven. Volgens het actief externalisme kunnen we daarom de rekenmachine als deel beschouwen van het uitgebreide cognitieve systeem.

Veel mensen zullen echter weerstand voelen tegen de stelling dat er sprake is van begrip van de vermenigvuldiging binnen dit uitgebreide systeem. De gebruiker heeft alleen de som ingevoerd en de rekenmachine heeft enkel wat digitale bewerkingen uitgevoerd. Het is inderdaad mogelijk dat de gebruiker zelfs niet weet wat een vermenigvuldiging is en alleen weet hoe je dit type sommen oplost. Type de gegeven getallen aan weerszijden van het vermenigvuldigingsteken en druk op ‘=”. Dit zou echter ook het geval kunnen zijn bij het gebruik van pen en papier. Het is mogelijk het algoritme hiervan uit je hoofd te kennen, zonder dat je weet wat een vermenigvuldiging betekent, of wat je met het eindantwoord kunt[18]. Aan de andere kant is het ook mogelijk dat de gebruiker alles weet over het algoritme en elektrische schakelingen van de rekenmachine. Hoeveel voegt deze kennis toe aan het begrip van het uitvoeren van een vermenigvuldiging? Als je de som uit je hoofd uitvoert is toch ook niet vereist dat je begrijpt hoe de hersengebieden die de som uitvoeren precies werken? Of gaat het erom dat het externe proces geïnternaliseerd moet kunnen worden?

Het is duidelijk dat het moeilijk te bepalen is wanneer een systeem een probleem begrijpt en welke processen daarbij betrokken zijn, hetgeen denk ik niet alleen geldt voor uitgebreide systemen. Voor deze paper kunnen we echter volstaan met een grove omschrijving van wat in ieder geval vereist is om het externe hulpmiddel een rol te laten spelen in het cognitieve proces van begrijpen. De gebruiker moet in ieder geval voldoende kennis hebben over hoe het hulpmiddel wordt aangestuurd, wat  de betekenis is van de in- en outputs van het hulpmiddel en wat de mogelijkheden hiervan zijn. Als dit het geval is kunnen de hersenen van de gebruiker namelijk de uitkomsten van de hulpbron gebruiken om complexere problemen op te lossen. Doordat een deel van de rekenkracht en werkgeheugen die nodig is om een probleem op te lossen wordt uitbesteed aan het hulpmiddel, kunnen de hersenen zich bijvoorbeeld bezighouden met andere aspecten van een groter, overkoepelend probleem. De kern van mijn argument ligt daarin, dat door gebruik van externe hulpmiddelen mensen begrijpen hoe ze ingewikkeldere problemen moeten oplossen. Hierom is mijn belangrijkste criterium om te beoordelen of een hulpmiddel een rol speelt in het proces van begrijpen, of de hulpbron zo gebruikt kan worden dat het uitgebreide systeem complexere problemen kan oplossen.

In het volgende voorbeeld beschouw ik een wiskundig fenomeen waarvan de ontdekking sterk afhankelijk is geweest van het gebruik van een computer. Dit voorbeeld illustreert dat het gebruik van externe hulpmiddelen het niet alleen mogelijk maakt om complexere problemen op te lossen, maar dat dit ook essentieel is geweest voor de ontwikkeling van de wiskunde.

Op 1 maart 1980 zag Benoit Mandelbrot voor het eerst een beeld van de set die bekend zou worden als de Mandelbrot set. Dit is een verzameling complexe[19] getallen die voldoet aan een relatief simpele voorwaarde. Een eenvoudige manier om inzicht te krijgen hoe we de Mandelbrot set verkrijgen is kijken naar het volgende stuk pseudocode (Flake, 1998).

“For each number, c, in a subset of the complex plane:

Set x0 = 0

For t = 1 to t = tmax

– Compute xt = xt2 + c

– If |xt| > 2, break out of loop

   If t < tmax, then color point c white

   If t = tmax, then color point c black”

Door te kijken of de lengte |xt| van de vector gevormd door een complex getal groter is dan 2, kan bewezen worden dat de functie xt = xt2 + c voor dat getal naar oneindig gaat. Dit getal, dat dan wit wordt gekleurd hoort niet bij de Mandelbrot set, die gedefinieerd is als die getallen waarvoor de eerdergenoemde functie niet naar oneindig gaat.

De complexiteit van deze set werd pas duidelijk toen Mandelbrot een soortgelijk algoritme gebruikte om afbeeldingen te maken van deze verzameling, met behulp van een IBM computer. Hieronder is een aantal afbeeldingen te zien, waarbij van links naar rechts, van boven naar beneden telkens wordt ingezoomd op de aangegeven rechthoek van de vorige figuur.

 

 

 

 Mandelbrot’s eerste reactie bij het zien van de eerste afbeelding was dat er of iets mis was gegaan bij het berekenen van de verschillende computaties, of dat de details een soort bijverschijnsel waren van hoe de computer de iteraties uitvoerde. Dit bleek echter niet waar te zijn. Hoe verder er wordt ingezoomd, hoe meer detail duidelijk wordt van de set. Door het gebruik van de computer is het mogelijk geweest om vele mysteries van de Mandelbrot set zichtbaar te maken. Door de mogelijkheid om op elk gewenste gebied in te zoomen, is op meerdere plekken zelfgelijkenis gevonden: door bijvoorbeeld x keer in te zoomen en y graden te draaien, vind je weer dezelfde figuur. Er zijn echter ook mysteries in de set waarover nog veel minder duidelijk is. Zo vond Boll bij toeval een serie iteraties, waarvan de uitkomst een benadering vormde voor het getal π.  Het is onwaarschijnlijk dat zonder de numerieke benadering van de computer de mens de emergentie van zulke onverwachte patronen had kunnen voorspellen. Zonder gebruik van de computer zou dus wellicht nooit enig, of in ieder geval niet zulk diepgaand, inzicht zijn vergaard in deze wiskundige verzameling.

Eerder hebben we betwijfeld of er begrip optrad bij het uitvoeren van een vermenigvuldiging met behulp van de rekenmachine. Analoog hieraan kunnen we ons afvragen of er begrip optreedt bij het uitvoeren van het algoritme van de Mandelbrot set. Ook hier worden de bewerkingen door de gebruiker uitbesteed aan een externe hulpbron. Deze hulpbron voldoet aan de eisen van het pariteitsprincipe. Als op een soortgelijke manier het algoritme van Mandelbrot veelvuldig zou worden uitgevoerd door de hersenen van een geniaal wiskundige zou het zonder twijfel tot het cognitieve proces worden gerekend. Kan er ook gezegd worden dat het uitgebreide systeem van de gebruiker en de IBM-computer de uitvoering van het algoritme begrijpt? En wat is de bijdrage van de computer aan het ontstaan van dit begrip?

Ook deze vragen zijn weer lastig te beantwoorden. Er kan beargumenteerd worden dat de geniale wiskundige wiens hersenen de Mandelbrot set berekenen, écht de set zou begrijpen[20]. Begrijpen kent echter vele gradaties en kan niet uitgelegd worden als binaire staat van wel of geen begrip. Voor mijn argument is van belang dat door het gebruik van de IBM computer inzicht is kunnen ontstaan in de complexe emergerende structuren van de Mandelbrot set, dat er anders wellicht nooit was geweest. Het gebruik van externe hulpbronnen kan het begrip van een probleem doen toenemen. De ontdekking van de Mandelbrot set illustreert hoe dit essentieel is geweest voor de ontwikkeling van de wiskunde.

We hebben een aantal externe hulpbronnen besproken die mensen gebruiken bij het oplossen van wiskundige problemen. Als we het actief externalisme volgen zijn deze hulpbronnen deel van het cognitieve systeem en ik heb laten zien dat deze processen begripsverhogend zijn. Belangrijk is dat deze technologische hulpmiddelen allemaal computationeel van aard zijn. Zoals we hebben gezien ging Penrose op zoek naar een nieuwe natuurkundige theorie waarin non-computationele processen een rol spelen. Pen en papier en elektronische computers kunnen echter met klassieke mechanica worden beschreven en dus gemodelleerd worden in een computationeel systeem. De mens gebruikt dus externe processen waarvan we weten dat ze computationeel van aard zijn en waarvan we hebben gezien dat ze bijdragen aan wiskundig inzicht.

We kunnen dus constateren dat het wiskundig inzicht van mensen kan worden vergroot door het gebruik van externe computationele hulpmiddelen. Het cognitieve systeem beschikt daardoor over ‘extra’ begrip, zonder dat er sprake is van extra non-computationele processen, die volgens Penrose essentieel zijn voor het ontstaan van wiskundig inzicht. Wat zijn de conclusies die we daaruit kunnen trekken? Intuïtief doet me dit twijfelen aan de stelling van Penrose dat deze non-computationele processen essentieel zouden zijn voor wiskundig inzicht en begrijpen in het algemeen.

Dit zou echter geen geldige conclusie zijn. Dat computationele processen een belangrijke rol in wiskundig inzicht kunnen hebben, betekent niet dat de non-computationele processen niet essentieel zouden kunnen zijn. Met het argument in deze paper kunnen we dus niet in het algemeen bewijzen dat de noodzakelijkheid van non-computationele processen voor begrijpen en daarmee de onmogelijkheid van sterke KI, zoals beargumenteerd door Penrose, niet correct kan zijn. Aangezien de boeken van Penrose gepubliceerd zijn voor de introductie van het actief externalisme, bespreekt hij echter niet expliciet de mogelijke begripsverhogende rol van cognitieve extensies. In het volgende zal ik, in de vorm van een korte, imaginaire dialoog, verkennen hoe Penrose zich de rol van non-computationele processen in de hersenen precies voorstelt en wat mijn argument wél laat zien.

Een korte, kritische dialoog met Penrose

Penrose: “In deze paper wordt aangetoond dat technologie mentale capaciteiten kan vergroten. Dat is echter niet waar mijn argumentatie tegen gericht is. In het eerste hoofdstuk van ‘Shadows of the Mind’ onderscheid ik twee verschillende rollen die technologie kan hebben: een ondersteunende functie en de functie van autonoom functionerende intelligentie. Technologie kan wel een ondersteunende functie hebben: “our technology (…) also expands our mental capabilities by greatly improving upon our abilities to perform many routine tasks.” (Penrose, 1994, p9). Mijn argumentatie is gericht op de onmogelijkheid van intelligente computationele systemen, niet op ondersteunende technologie. “

– Ik neem inderdaad de ondersteunende rol van technologie in beschouwing. Het belang van deze ondersteunende technologie is echter groter dan vaak wordt verondersteld. Het samengaan van de mens met technologie lijkt momenteel een belangrijkere ontwikkeling dan de opkomst van autonoom functionerende computers. En als we de theorie van de uitgebreide geest volgen hebben de externe hulpmiddelen een dusdanig grote invloed op ons dat ze deel uitmaken van ons cognitieve systeem. De hoeveelheid kennis die we hebben vergaard door gebruik te maken van externe hulpbronnen is enorm. Door de grote rekenkracht van elektronische computers heeft inzicht kunnen ontstaan in bijvoorbeeld de Mandelbrot set. Door computationele modellen op supercomputers hebben we inzicht in het verloop van de eerste secondes van ons universum. De computationele hulpmiddelen die wij gebruiken, die deel uitmaken van het uitgebreide cognitieve systeem, zijn een grote oorzaak van nieuw inzicht. Aan de hand van deze constatering wil ik in deze paper duidelijk maken welke beperking geldt voor uw visie op de geest.[21]

Penrose: “Misschien heb ik inderdaad het belang van de ondersteunende technologie onderschat. Mensen maken steeds functioneler gebruik van computers, waardoor ze in staat zijn tot het oplossen van complexere problemen. Het is echter specifiek te wijten aan de menselijke hersenen dat begrip kan ontstaan. De processen van de technologische hulpmiddelen zijn niks meer dan mindless computations. Het menselijke vermogen tot begrijpen en inzicht maakt het mogelijk de externe processen zinvol te benutten.

– Uw doel is te laten zien dat non-computationele processen essentieel zijn voor de menselijke geest. Uit uw boeken wordt het echter niet geheel duidelijk wat de precieze rol is van deze non-computationele processen en of er ook een rol is voor processen die wel computationeel te beschrijven zijn. Ontstaat alleen het bewuste wiskundige inzicht uit non-computationele processen? Worden onbewuste berekeningen bij het oplossen van een som wel uitgevoerd door computationele processen? Is er wisselwerking tussen deze verschillende processen? Aan het eind van Shadows of the Mind gaat u op zoek naar een manier hoe non-computationele, kwantum-gravitationele processen een rol kunnen spelen in de hersenen. We hebben al gezien dat… Het volgende citaat laat zien hoe u de opbouw van de hersenen ziet waar de non-computationele processen een essentiële rol hebben.

            “the computer-like classically interconnected system of neurons would be continually        influenced by this cytoskeletal activity, as the manifestation of whatever it is that we refer to as ‘free will’. The role of neurons, in this picture, is perhaps more like a             magnifying device in which the smaller-scale cytoskeletal action is transferred to         something which can influence other organs of the body– such as muscles.             Accordingly, the neuron level of description that provides the currently fashionable   picture of the brain and mind is a mere shadow of the deeper level of cytoskeletal–and        it is at this deeper level where we must seek the physical basis of mind!” (Penrose,         1995, p376)

Hier blijkt dat volgens uw visie het neurale netwerk een niveau van beschrijven is die vooral geschikt is voor het beschrijven van de invloeden op andere organen. De echt essentiële hersenactiviteit  bestaat uit de non-computationele processen die zich in de cytoskeletten afspelen. Het lijkt er alleszins op dat u voor u ziet dat aan elk cognitief proces, aan elke neurale actie een non-computationeel proces ten grondslag ligt. Als we, zoals ik heb gedaan, het actief externalisme volgen, zijn de besproken externe hulpbronnen echter deel van het cognitieve systeem. Deze hulpbronnen zijn computationeel van aard; niets wijst er op dat non-computationele processen hier van belang zouden zijn. Er bestaan dus cognitieve processen die computationeel van aard zijn. We kunnen concluderen dat de argumentatie die ik heb gegeven laat zien dat het beeld dat u hier voor ogen lijkt te hebben waarbij elk cognitief proces in de kern non-computationeel van aard is, ongeloofwaardig is.

 Literatuur

– Ballard et al. Deictic codes for the embodiment of cognition. Behavioral and Brain Sciences 20,  723-767

– Blackmore, S.J. (2003) Consciousness: An Introduction. Londen, Hodder Education.

– Chalmers, D. (1995) Minds, Machines and Mathematics  – A Review of Shadows of the Mind by Roger Penrose, Published in a PSYCHE symposium.

– Clark, A. (2003) Natural-Born Cyborgs. Minds, Technologies, and the future of human intelligence. Oxford Univ. Press.

– Clark, A. & D. Chalmers (1998) The Extended Mind. Analysis 58, 10-23.

Clark, A. (2008) Supersizing the Mind. Embodiment, Action, and Cognitive Extension., Oxford Univ. Press

– Dennett, D.C. (1991) Consciousness explained. Little, Brown and Co.

– Denton, W. Gödel’s Incompleteness Theorem, http://www.miskatonic.org/Gödel.html, laatst bekeken 20-05-2010

– Diverse auteurs, Computer-assisted proof, http://en.wikipedia.org/wiki/Computer-assisted_proof, laatst bekeken 29-05-2010.

– Diverse auteurs, Embodied cognition, http://en.wikipedia.org/wiki/Embodied_cognition, laatst bekeken 29-05-2010.

– Diverse auteurs, Experimental mathematics, http://en.wikipedia.org/wiki/Experimental_mathematics, laatst bekeken 29-05-2010.

-Diverse auteurs, Heuristic (computer science), http://en.wikipedia.org/wiki/Heuristic_(computer_science), laatst bekeken 29-05-2010

– Diverse auteurs, Mandelbrot set, http://en.wikipedia.org/wiki/Mandelbrot_set, laatst bekeken 31-05-2010.

– Flake, G. W. (1998) The Computational Beauty of Nature. Computer Explorations of Fractals, Chaos, Complex Systems, and Adaptation. The MIT Press.

– Friedenberg, J. & G. Silverman (2006) Cognitive science. An introduction to the Study of Mind, Sage

– Kurzweil, R. (2005) The Singularity is near. When humans transcend biology. Penguin Books

– Lange, de, R.M.E. (2008) Transhumaan begrip.

– Moravec, H. (1995) Roger Penrose’s Gravitonic Brains. A Review of Shadows of the Mind by Roger Penrose. Psyche 2(6).

– Penrose, R. (1989) The Emperor’s New Mind. Concerning Computers, Minds, and the Laws of Physics. Vintage

– Penrose, R. (1994a) Shadows of the Mind. A search for the missing science of consciousness.  Oxford Univ. Press

– Searle, J. (1980) Minds, Brains and Programs. Behavioral and Brain Sciences 3, 417-457.

– Turing, A. (1950) Computing Machinery and Intelligence. Mind 59, 433-460


[1] strong Artificial Intelligence

[2]De verzameling ervaringen van waaruit geëxtrapoleerd kon worden ten tijde van de paper van Turing, was uiteraard veel geringer dan tegenwoordig.

[3] Voor de Engelse, door Penrose veelvoudig gebruikte term ‘understanding’ zal ik ‘begrijpen’, ‘begrip’, of waar meer toepasselijk ‘inzicht’ gebruiken.

[4] In het artikel “Über formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme” (“Over formeel onbeslisbare uitspraken van de Principia Mathematica en soortgelijke systemen”)

[5] Onder een computatie wordt verstaan een actie van een Turing Machine, hetgeen een aritmetische bewerking, maar ook een logische operatie kan zijn.

[6] Dit kunnen we ook formuleren in termen toepasselijker voor de onvolledigheidsstelling. De mens kan zekerheid hebben over de waarheid van wiskundige stellingen, ook al kunnen die niet worden bewezen in een formeel systeem. Penrose stelt: “the insights that are available to human mathematicians–indeed, to anyone who can think logically with understanding and imagination–lie beyond anything that can be formalized as a set of rules” (Penrose, 1995, p72)

[7] In Shadows of the Mind (pp. 46-47) laat Penrose een schaaksituatie zien waar een schaakcomputer verliest van een menselijke speler door een stuk te slaan. Voor de menselijke speler is het echter betrekkelijk eenvoudig te zien dat een remise behaald kan worden door enkel nog de koning te bewegen en de ondoordringbare rij van pionnen in tact te laten.

[8] Dat Penrose dit achterwege laat is niet onbegrijpelijk, gezien de enorme hoeveelheid literatuur waarin met name de definitie en randvoorwaarden van bewustzijn wordt bediscussieerd.

[9] Penrose maakt een onderscheid tussen de actieve en de passieve kant van ‘consciousness‘: respectievelijk ‘free will‘ en ‘awareness´. Aangezien dit onderscheid hier niet relevant is, zal ik ook voor ‘awareness’ de term ‘bewustzijn’ gebruiken.

[10] Penrose maakt erg duidelijk dat zijn claims verschillen van die mentalisme, waarbij de geest los staat van de materiële wereld en niet natuurwetenschappelijk kan worden uitgelegd.

[11] Denk aan massa’s, impulsmomenten, snelheden, etc.

[12] Zie bijvoorbeeld (Moravec, 1995) en (Chalmers, 1995)

[13] Deze eerste paper werd geschreven door Clark en Chalmers. Vooral Andy Clark zich bezig gehouden met het verder uitwerken van deze theorie in zijn latere boeken.

[14] Deze term werd vooral gebruikt om het actief externalisme af te zetten tegen het externalisme van bijvoorbeeld Hilary Putnam. Hoewel ‘enactivisme’ tegenwoordig een veelgebruikte naam is, zal ik de oorspronkelijke term gebruiken, daar dat m.i. de actieve rol van de buitenwereld goed benadrukt.

[15] Het is gebleken dat het ook in de robotica nuttig is om niet een geïnternaliseerd model te maken van de buitenwereld, maar de buitenwereld te laten functioneren als model voor zichzelf. Zie (Blackmore, 2003, pp190-92)

[16] Of andere, oudere technieken om symbolen af te beelden, bijvoorbeeld papyrus of kleitabletten. Aangezien de essentie hiervan gelijk is, zal ik refereren aan pen en papier.

[17] Ook bij het biologisch geheugen zijn er beperkingen in de toegankelijkheid. Gedurende de slaap kan sommige informatie bijvoorbeeld niet opgeroepen worden. Een ander voorbeeld is de verdrukking van sterk emotioneel geladen herinneringen, waardoor de informatie alleen toegankelijk is via intensieve therapie. Ook processen als

[18] Vergelijk met het Chinese Kamer argument van Searle

[19] Een complex getal is een getal dat bestaat uit een reëel en een imaginair deel. Het kan geschreven worden in de vorm a + bi, waarbij a en b reële getallen zijn en i gedefinieerd is als i 2 = −1.

[20] Overigens zou deze wiskundige waarschijnlijk wel gebruik hebben gemaakt van andere externe hulpmiddelen als pen en papier.

[21]In deze paper heb ik dus niet het formeel logische bewijs dat Penrose geeft in beschouwing genomen. Hiervoor verwijs ik naar (Chalmers, 1995). Volgens Chalmers ligt de onjuistheid erin dat Penrose een verkeerde weergave geeft van het formele systeem dat het menselijk wiskundig inzicht zou kunnen beschrijven. Hierdoor worden ook de verkeerde onbewijsbare Gödelzinnen in beschouwing genomen, aangezien deze horen bij een formeel systeem. Penrose beschouwt dit computationele systeem als een eenvoudig algoritme van regels en axioma’s, terwijl het een systeem moet zijn dat alle fysieke processen van de hersenen moet beschrijven. Hierom is het niet uitgesloten dat ons wiskundig inzicht beschreven kan worden door een formeel systeem waarvan we niet weten of het waar is. Dit biedt een alternatief op de theorie dat ons wiskundig inzicht non-computationeel van aard moet zijn.

 

Leave a Reply

Your email address will not be published. Required fields are marked *