Slimme apparaten maken ons dom. En kwetsbaar.

Op 31 mei crashte vlucht 447 van Rio Janeiro naar Parijs ergens boven de Atlantische Oceaan. Het vliegtuig was een Airbus 330 met automatische piloot. Dit is een boordcomputer die als het ware tussen de piloot en de besturing (de rolroeren en dergelijke) zit. De automatische piloot corrigeert de pilot. Hij interpreteert diens bedoelingen en voert vervolgens de gewenste manoeuvre perfect uit. Nog nooit eerder was een Airbus van dit type gecrasht, en men dacht dat de automatische piloot dan ook perfect was. Een latere analyse liet zien dat er echter een fundamenteel probleem was met de automatische piloot.

Tijdens de vlucht (het vliegtuig vloog toen door slecht weer) schakelde de automatische piloot uit vanwege ijs op een sensor, kennelijk zonder dat de piloot dit door had. De piloot kreeg daarom minder hulp en meer directe controle over vliegtuig. Als gevolg daarvan begon het vliegtuig meer te schudden (de automatische piloot corrigeerde immers niet meer). De piloot besloot daarom over de storm heen te vliegen. Hij trok daarbij echter te sterk aan de stuurknuppel, gewend als hij was dat de automatische piloot hem wel zou corrigeren. Als gevolg daarvan vloog het vliegtuig te steil omhoog, waardoor de vliegsnelheid drastisch daalde en daarmee het draagvermogen van de vleugels onder de kritische grens kwam. Een zogenaamde 'stall' situatie. In plaats van over de storm heen te vliegen daalde het vliegtuig met grote snelheid naar beneden. En crashte in zee.

Hoe was het in hemelsnaam mogelijk dat de piloot niet doorhad dat de automatische piloot uitgeschakeld was? En dat hij het stall-alarm negeerde? Of was het misschien dat hij dacht dat het alarm betekende dat de automatische piloot wel werkte en probeerde de situatie te corrigeren. Achteraf bleek dat de piloot veel had gevlogen, maar voornamelijk met ingeschakelde automatische piloot. De weinige uren die hij zonder automatische piloot had gevlogen waren tijdens opstijgen of landen, of even gedurende een 'normale' vlucht. De piloot was dus niet meer gewend een vliegtuig zonder hulp te besturen. Laat staan in een noodsituatie.

Dit wordt de automatiserings-paradox genoemd: hoe beter de geautomatiseerde besturing, hoe minder de menselijke bestuurders hebben geoefend, en hoe extremer de situaties waarin de menselijke bestuurders gevraagd worden om de controle over te nemen. Situaties die dan zo complex zijn dat de menselijke bestuurder, vanwege zijn gebrek aan training, geen idee heeft wat te doen.

Het voorbeeld van de Air France piloten is extreem. Maar een voor iedereen herkenbaar simpel voorbeeld is dat niemand meer telefoonnummers uit zijn hoofd kent, omdat we ze opslaan in onze adressenlijst op onze smartphone. En binnenkort zullen de eerste ongelukken met zelfrijdende auto's ook tot de verbeelding spreken. Slimme apparaten maken ons dom. En kwetsbaar.

De automatiserings-paradox wordt veroorzaakt doordat de autopilot de taken van de piloot volledig overneemt, in plaats van de vervelende, repetitieve, taken over te nemen. Dat betekent dat we slimme apparaten anders moeten ontwerpen. We moeten ze niet het roer laten overnemen. Maar ze zo ontwerpen dat ze mensen ondersteunen, klaar om in te grijpen als mensen fouten maken. Computers zijn immers geduldig, nooit moe, en hebben geen oefening meer nodig zodra ze een taak kunnen uitvoeren. Waarom vragen we dan mensen om machines te monitoren, in plaats van andersom. Het is beter als een arts eerst zelf een diagnose stelt en deze dan controleert door middel van een computer, dan andersom. Het is als het verschil tussen een oefenopgave zelf maken en het antwoord controleren versus meteen het antwoord opzoeken bij de oplossingen en je dan afvragen of je het antwoord begrijpt.

Onlangs was ik op de Dutch Design Week. Daar verwees iemand in een presentatie naar de paard-en-ruiter metafoor van Donald Norman (bekend van The Design of Everyday Things). Daarin vergelijkt hij de samenwerking tussen mens en machine met de natuurlijke samenwerking van paard en ruiter. Deze vormen een symbiose, die constant onderhandelen over wie controle heeft: als de teugels lang zijn heeft het paard controle, en als de teugels kort zijn de ruiter. Deze symbiose vormt een vloeiende samenwerking tussen twee autonomen entiteiten. Het is die symbiose waar we naar toe moeten werken. En gelijkwaardige werkrelatie tussen mens en machine. En geen slaafse afhankelijkheid van de machine (netzomin als dat een geoefende ruiter slaaf van zijn paard is).

Deze column verscheen op 19 november 2016 in het Morgen katern van het FD