Willem Jan Otten en Christian Wiman: My bright abyss

Vrijdag 14 oktober waren Chris Wiman en Willem Jan Otten te gast bij de TU Kampen en de mensen van het literaire tijdschrift Liter.
Ik heb het eerste deel van de middag meegemaakt: twee korte lezingen en daarna een voordracht van Christian Wiman. Hij droeg enkele gedichten voor for otherwise my talk will become too abstract. Hij kende de gedichten uit het hoofd, en declameerde in een soepel ritme: mooi.

Voor wie het ontgaan is: Willem Jan Otten vertaalde het boek My bright abyss van Christian Wiman. Begin 2016 verscheen Mijn heldere afgrond - overpeinzingen van een moderne gelovige. Literair genie vertaalt literair genie. Het is te begrijpen dat de christen - woordkunstenaar Otten gegrepen is door zijn Amerikaanse compagnon Christian Wiman, die momenteel godsdienst en literatuur doceert aan de Yale Divinity School, en dichter is van meerdere bundels. Bij beiden spat hun hartstocht voor poëzie en voor geloven van de regels. Passie dus, maar ook worsteling en wanhoop.

Een halfjaar geleden heb ik My bright abyss  gelezen. Het zijn de overpeinzingen van de doodzieke Wiman, die worstelt met een agressieve vorm van beenmergkanker.
Wat een boek ! Om te haten vanwege zijn ontoegankelijkheid, en dan weer zo vol van diepe inzichten. Ik heb het boek maar voor een klein deel begrepen. Dat heeft wellicht te maken met de vermomming waarin het zich presenteert: het lijkt proza, maar het is veel meer poëzie. Ik heb het met bladzijden tegelijkertijd gelezen, maar misschien is het beter om een klein stukje hardop  te lezen, en het dan binnen te laten komen.
Wiman denkt na, en deelt zijn gedachten in de taal van de dichter. Dat nadenken gebeurt niet vrijblijvend, op afstand, achter een comfortabel bureau. Hij worstelt, lijdt immense pijn door zijn ziekte, zoekt God, maar vindt geen begaanbare weg in de traditionele woorden. Hij groeide op in een diep gelovig Baptisten gezin in Texas. Maar de geloofstaal van zijn jeugd is hij kwijt geraakt. Vele jaren heeft hij zonder God geleefd. En dan, als hij rust vindt in zijn liefde voor en met Danielle Chapman, verschijnt God. Ze gaan samen bidden, aarzelend, lacherig soms. En dan openbaart zich de kanker....

Wiman schrijft dit mystieke boek, boordevol eigen gedachten en poëzie fragmenten van geliefde dichters.
Het doet me denken aan het bekende boek Merkstenen van Dag Hammarskjöld, de Zweedse topdiplomaat die baas van de Verenigde Naties werd. Hij verongelukte in 1961 onder verdachte omstandigheden bij een vliegtuigongeval in Afrika. Na zijn dood vond men de teksten die nu in Merkstenen staan. Hammarskjöld bleek een christen-mysticus te zijn die evenals Wiman zijn diepste gedachten, vreugdes, en twijfels op poëtische wijze verwoordde.

Christian Wiman

My bright abyss is een worsteling met wetenschap, en met de christelijke traditie. Hoe breng je die twee op een eerlijke manier bij elkaar, zodat wetenschap goede wetenschap blijft, en geloven een integere levenshouding is ?
Wiman beukt met zijn woorden en zinnen op de christelijke traditie. Veel wordt aan de dijk gezet, en het is me niet goed duidelijk wat hij overhoudt. Het laat zich nog nauwelijks verwoorden. Misschien is het ook niet te delen, omdat het de weg is die Wiman gaat, als vlijmscherpe en eerlijke denker en als dichter. Dat maakt zijn getuigenis, in de vorm van poëzie,  hoogst individueel en voor veel mensen niet toegankelijk.

Toch raakt het boek velen, ook in Kampen zijn er tientallen mensen naar zijn lezing gekomen. Er is klaarblijkelijk een groep mensen bij wie dit weerklank vindt. En tegelijkertijd word ik ook bevestigd in mijn leeservaring: het boek wordt moeilijk en weerbarstig gevonden, zo hoor ik uit verschillende monden.
Vreemd dat een boek moeilijk te vatten is, en toch aangrijpt.

Slimme robots zijn nog steeds machines.

Ik wil het gaan hebben over robots uitgerust met kunstmatige intelligentie en motoriek, de "menselijke robot" dus. Deze robots worden steeds slimmer. Ze zullen naar verwachting in 2030 intelligenter zijn dan wij.  Dat kan veel aangenaams met zich mee brengen, maar het tegenovergestelde is ook denkbaar: misschien zullen robots dan besluiten dat mensen overbodige wezens zijn die maar beter onder de knoet kunnen worden gehouden, of zelfs uitgeroeid: de robopocalypse.

Over de betrouwbaarheid van deze toekomstvoorspellingen zo dadelijk meer, maar allereerst wil ik het volgende uitgangspunt kiezen:
Robots en hun kunstmatige intelligentie zijn machines, door mensen bedacht en gemaakt, met de bedoeling ons het leven te vergemakkelijken omdat ze vervelende of saaie taken zonder gedoe uitvoeren.
Ze lijken steeds meer op ons, en met name de kunstmatige intelligentie van robots gaat met sprongen vooruit, maar... robots zijn machines.

Ik vind dit een belangrijk uitgangspunt omdat ik steeds vaker merk dat robots worden gezien als gelijkwaardig met ons, mensen. Sommigen gaan nog een stap verder en stellen de vraag waarom wij, mensen, superieur zouden zijn aan de super-intelligentie die we aan het ontwikkelen zijn. Een in mijn ogen alarmerend citaat: There is no reason why intelligence can't exist outside a biological substrate. Als je vindt dat intelligentie los kan worden gezien van stoffelijkheid dan open je toch wel een doos van Pandora.
Mijn bezorgdheid is dat we bij onze omgang met robots in een al te menselijke belevingswereld terechtkomen. Kunstmatige intelligentie vergemakkelijkt dit.  Nog steeds bedenken en maken wij deze technologie. Maar nu is ze abstract en veel gemakkelijker te zien als gelijkwaardig met het menselijke denken. Die gelijkstelling zal steeds sterker worden, omdat de kunstmatige intelligentie krachtiger wordt en ons de indruk geeft dat robots "net zo denken" als mensen. Dan vergeten we dat robots machines zijn, en dat wij de taak hebben de werking en het gebruik van robots te bepalen en zo nodig in te perken. Ook hun kunstmatige intelligentie.
Naar mijn overtuiging zijn we rentmeesters op aarde. Het is onze job om techniek aan te wenden voor de invulling van dat rentmeesterschap. En dat kan samen met mensen met een andere overtuiging maar met hetzelfde doel. Wij hebben de taak om aan deze technologie grenzen te stellen, zodat ze aan ons dienstbaar blijft en geen schade aanricht aan ons of onze leefomgeving.
Dat is geen nieuws, we doen dit al honderden jaren en verankeren het bijvoorbeeld  in wet- en regelgeving. Denk aan milieuwetgeving die eisen stelt aan de uitstoot van schadelijke stoffen, of het verbod op het gebruik van chemische wapens (dat helaas met voeten wordt getreden in dit verlichte tijdperk). Voor robots met kunstmatige intelligentie zullen we dus een machine ethiek moeten gaan ontwikkelen.
Ik geef eerst een paar voorbeelden van soms heel nabije ontwikkelingen:

1. Robots gaan diagnoses stellen in geneeskundige onderzoeken, of vonnissen uitspreken in de rechtspraak. Dankzij het vermogen van robots om grote hoeveelheden gegevens snel te analyseren zullen medisch specialisten en rechters tot betere medische of juridische oordelen komen.
2. Robots gaan een gevoelsleven nabootsen. Ik gebruik nadrukkelijk niet het woord ontwikkelen, omdat robot-emoties geprogrammeerde implementaties zijn van onze modellen van emoties. In de Zweedse SF-serie Real Humans over een samenleving waarin "human robots" of ook wel "hubots" met mensen samenleven, wordt dit heel boeiend verfilmd. Wat als je verliefd wordt op een hubot ? En heeft een hubot ook stemrecht ?
3. Robots gaan een belangrijke rol in de uitvoerende zorg spelen. In Japan wordt druk geëxperimenteerd met robots in de ouderenzorg 
4. Robots gaan schilderwerken maken en muziekstukken componeren. Ik vraag me wel af hoeveel belangstelling er zal zijn voor een robot-Picasso in je woonkamer. Als het nieuwtje er af is gaan we weer gewoon "echte" kunst kopen of naar "echte" nieuwe muziek luisteren. We zullen aan machinale kunst geen grote waarde toekennen, omdat we de menselijke grootheid erin zullen missen.
5. Robots zullen steeds meer deel gaan uitmaken van ons lichaam en onze hersenen (ik gebruik hier niet "geest" omdat ik als dualist onderscheid maak tussen die beiden). Er wordt druk geëxperimenteerd met exo-skeletten en met de integratie van het menselijke brein met kunstmatige intelligentie.

De spannende vraag is nu hoe we het gedrag van robots gaan normeren, hoe ziet de machine ethiek voor robots er uit ?

In 1942 deed de SF-schrijver Isaac Asimov een eerste poging met het formuleren van "de drie wetten van de robotica":

1. Een robot mag een mens geen letsel toebrengen of door niet te handelen toestaan dat een mens letsel oploopt.
2. Een robot moet de bevelen uitvoeren die hem door mensen gegeven worden, behalve als die opdrachten in strijd zijn met de Eerste Wet.
3. Een robot moet zijn eigen bestaan beschermen, voor zover die bescherming niet in strijd is met de Eerste of Tweede Wet.

Later werd de nulde wet toegevoegd: Een robot mag geen schade toebrengen aan de mensheid, of toelaten dat de mensheid schade toegebracht wordt door zijn nalatigheid.
De meeste AI-experts zijn het er over eens dat de wetten van Asimov geen toereikende basis zijn voor een machine-ethiek. De romans van Asimov lijken dat te bevestigen: de ontoereikendheid van de robotica wetten zijn aanjagers voor de plots van zijn verhalen.
 
Er is veel literatuur te vinden over robots en kunsmatige (super) intelligentie. Ik ga citeren uit een boeiend interview met Benjamin Goertzel en Louie Helm.  Beiden zijn  frontline AI-experts, hun wetenschappelijke blogs staan hier (Goertzel) en hier (Helm).
Ze verwachten dat "mensachtige robots" een tussenfase zullen zijn en dat de uitdaging niet zozeer zit in het beheersen van deze machines, maar in de veilige ontwikkeling van "super artificial intelligence" (SAI). Welke machine-ethiek hebben we nodig voor intelligentie die de menselijke ver zal gaan overtreffen, in snelheid,  in denkkracht, en in creativiteit ?

Beiden vinden dat de Asimov robotica wetten geen goede basis voor een machine ethiek vormen. Eén van de argumenten is dat een op regels gebaseerde ethiek (een deontologie) geen basis  kan vormen, omdat de uitgangspunten ervan niet deugen. Waarom dat zo is wordt niet me duidelijk. Ik kan me voorstellen dat dit een scherp debat tussen voor- en tegenstanders kan opleveren, want dit soort grondslagendiscussies hebben vaak meer te maken met de eigen overtuiging dan met wetenschappelijke argumenten.

Helm vindt dat we geen SAI met een eigen bewustzijn moeten gaan ontwikkelen. Hij verwacht dat de AI-wetenschappers dit niet zullen gaan doen: Most AI developers are ethical people, so they will avoid creating what philosophers would refer to as "beings of moral significance."  Hoe de machine ethiek er dan uit moet gaan zien blijft in de lucht hangen:
" I favor machine ethics approaches that are more cooperative, more reflectively consistent, and are specified with enough indirect normativity that the system can recover from early misunderstandings or mis-programmings of its ethics and still arrive at a sound set of ethical priciples anyway".
"Indirecte normativiteit" is wel wat zweverig. Bovendien moet het systeem uitkomen bij een sound set of ethical principles, maar dat is logisch inconsistent met de eerdere uitspraak dat een op regels gebaseerde ethiek niet deugt. 

Goerzler komt er ook niet goed uit: If an AGI (artificial general intelligence) is created to have an intuitive, flexible, adaptive sense of ethics - then, in this context, ethical precepts can be useful to that AGI as a "rough guide" to applying its own ethical intuition. But in that case the precepts are not the core of the AGI's ethical system, they're just one aspect. This is how it works in humans - the ethical rules we learn work, mainly as guidance for nudging the ethical instincts and intuitions we have - and that we would have independantly of being taught ethical rules
Naar mijn smaak is ook dit weer "sloppy thinking": een op regels gebaseerde machine ethiek wordt verworpen al startpositie, maar keert steeds terug als te bereiken einddoel. Daarnaast worden begrippen  als ethisch instinct en ethische intuïtie geïntroduceerd als zelfstandige entiteiten, terwijl niemand precies weet hoe ons ethisch bewustzijn zich vormt. 

Helm en Goerzler hopen dat we in de nabije toekomst de problemen te boven zullen komen: Hopefully in that way we will be able to formulate good theories of AGI ethics, which will enable us to understand the topic better. But right now, theorizing about AGI ethics is pretty difficult, because we don't have any good theories of ethics nor any really good theories of AGI
Mijn conclusie: er wordt hard gewerkt aan het ontwikkelen van superintelligentie en we weten nog niet welke ethische spelregels we aan die super intelligentie meegeven.

Gelukkig zijn er initiatieven om in deze leemte te voorzien. Eén van de belangrijkste is misschien wel de Open Brief uit 2015 waarin gepleit wordt voor AI toepassingen die ten goede komen aan de samenleving. Deze brief is inmiddels ondertekend door bijna 9000 wetenschappers en captains-of-industry, waaronder de fysicus Stephen Hawking, Elon Musk (Tesla), Steve Wozniak (Apple), en Bill Gates (Microsoft).
Ook is er een grote sense of urgency over de risico's van autonome killer robots die nu door militaire research laboratoria worden getest. Ook hier over is in 2015 een Open Brief over autonome wapens gepubliceerd, en deze is opnieuw ondertekend door o.a. Hawking, Musk, Wozniak, en Gates.