Slimme apparaten maken ons dom. En kwetsbaar.

November 21, 2016

Op 31 mei crashte vlucht 447 van Rio Janeiro naar Parijs ergens boven de Atlantische Oceaan. Het vliegtuig was een Airbus 330 met automatische piloot. Dit is een boordcomputer die als het ware tussen de piloot en de besturing (de rolroeren en dergelijke) zit. De automatische piloot corrigeert de pilot. Hij interpreteert diens bedoelingen en voert vervolgens de gewenste manoeuvre perfect uit. Nog nooit eerder was een Airbus van dit type gecrasht, en men dacht dat de automatische piloot dan ook perfect was. Een latere analyse liet zien dat er echter een fundamenteel probleem was met de automatische piloot.

Tijdens de vlucht (het vliegtuig vloog toen door slecht weer) schakelde de automatische piloot uit vanwege ijs op een sensor, kennelijk zonder dat de piloot dit door had. De piloot kreeg daarom minder hulp en meer directe controle over vliegtuig. Als gevolg daarvan begon het vliegtuig meer te schudden (de automatische piloot corrigeerde immers niet meer). De piloot besloot daarom over de storm heen te vliegen. Hij trok daarbij echter te sterk aan de stuurknuppel, gewend als hij was dat de automatische piloot hem wel zou corrigeren. Als gevolg daarvan vloog het vliegtuig te steil omhoog, waardoor de vliegsnelheid drastisch daalde en daarmee het draagvermogen van de vleugels onder de kritische grens kwam. Een zogenaamde 'stall' situatie. In plaats van over de storm heen te vliegen daalde het vliegtuig met grote snelheid naar beneden. En crashte in zee.

Hoe was het in hemelsnaam mogelijk dat de piloot niet doorhad dat de automatische piloot uitgeschakeld was? En dat hij het stall-alarm negeerde? Of was het misschien dat hij dacht dat het alarm betekende dat de automatische piloot wel werkte en probeerde de situatie te corrigeren. Achteraf bleek dat de piloot veel had gevlogen, maar voornamelijk met ingeschakelde automatische piloot. De weinige uren die hij zonder automatische piloot had gevlogen waren tijdens opstijgen of landen, of even gedurende een 'normale' vlucht. De piloot was dus niet meer gewend een vliegtuig zonder hulp te besturen. Laat staan in een noodsituatie.

Dit wordt de automatiserings-paradox genoemd: hoe beter de geautomatiseerde besturing, hoe minder de menselijke bestuurders hebben geoefend, en hoe extremer de situaties waarin de menselijke bestuurders gevraagd worden om de controle over te nemen. Situaties die dan zo complex zijn dat de menselijke bestuurder, vanwege zijn gebrek aan training, geen idee heeft wat te doen.

Het voorbeeld van de Air France piloten is extreem. Maar een voor iedereen herkenbaar simpel voorbeeld is dat niemand meer telefoonnummers uit zijn hoofd kent, omdat we ze opslaan in onze adressenlijst op onze smartphone. En binnenkort zullen de eerste ongelukken met zelfrijdende auto's ook tot de verbeelding spreken. Slimme apparaten maken ons dom. En kwetsbaar.

De automatiserings-paradox wordt veroorzaakt doordat de autopilot de taken van de piloot volledig overneemt, in plaats van de vervelende, repetitieve, taken over te nemen. Dat betekent dat we slimme apparaten anders moeten ontwerpen. We moeten ze niet het roer laten overnemen. Maar ze zo ontwerpen dat ze mensen ondersteunen, klaar om in te grijpen als mensen fouten maken. Computers zijn immers geduldig, nooit moe, en hebben geen oefening meer nodig zodra ze een taak kunnen uitvoeren. Waarom vragen we dan mensen om machines te monitoren, in plaats van andersom. Het is beter als een arts eerst zelf een diagnose stelt en deze dan controleert door middel van een computer, dan andersom. Het is als het verschil tussen een oefenopgave zelf maken en het antwoord controleren versus meteen het antwoord opzoeken bij de oplossingen en je dan afvragen of je het antwoord begrijpt.

Onlangs was ik op de Dutch Design Week. Daar verwees iemand in een presentatie naar de paard-en-ruiter metafoor van Donald Norman (bekend van The Design of Everyday Things). Daarin vergelijkt hij de samenwerking tussen mens en machine met de natuurlijke samenwerking van paard en ruiter. Deze vormen een symbiose, die constant onderhandelen over wie controle heeft: als de teugels lang zijn heeft het paard controle, en als de teugels kort zijn de ruiter. Deze symbiose vormt een vloeiende samenwerking tussen twee autonomen entiteiten. Het is die symbiose waar we naar toe moeten werken. En gelijkwaardige werkrelatie tussen mens en machine. En geen slaafse afhankelijkheid van de machine (netzomin als dat een geoefende ruiter slaaf van zijn paard is).

Deze column verscheen op 19 november 2016 in het Morgen katern van het FD

In case you spot any errors on this page, please notify me!
Or, leave a comment.
Bart Jaspers
, 2016-11-21 08:37:11
(reply)

Prima idee, dat het waarschijnlijk niet haalt. Academisch juist, economisch onhaalbaar, want ‘winstmaximalisatie’. De auteur heeft deze tekst ook niet met giftige drukinkt laten afdrukken op omgezaagde bomen en laten bezorgen bij mogelijk geïnteresseerde partijen.

Maatschappelijke partijen en vooral economische partijen willen met zo min mogelijk effort, zo veel mogelijk opbrengst. Dus als iemand niet meer zelf hoeft te tillen, zagen, scheppen, sturen, bezorgen, onthouden en inplakken en de vrij gekomen tijd, aandacht, energie nuttiger (per persoon anders) kan besteden, zal dat ook gebeuren. Zo is de mens (nog) sterker dan de computer. Maar ook afhankelijker.

Theo Mensen
, 2016-11-21 08:54:40
(reply)

Nee Henk, slimme apparaten maken ons niet dom. Dat is niet wat jij in jouw voorbeeld laat zien. Je laat wél zien dat we er heel dom mee om kunnen gaan. Denk ook aan het gebruik van een vluchtsimulator voor de opleiding van piloten en andere praktijksimulaties in het beroepsonderwijs. In “The Second Machine Age” betogen Erik Brynjolfsson en Andrew McAfee dat “amid this bounty will also be wrenching change”. Zij stellen voor om er een “race with the machines” van te maken en dat maakt het tot zo’n optimistische visie en inspirerende boek.

Jaap-Henk
, 2016-11-21 08:59:40
(reply)

Zolang het maar “race with” en niet “race against” is zijn we het wel eens volgens mij. De kop “we maken verkeerd gebruik van slimme apparaten en daarom worden we dom” is wat te lang en minder ‘catchy’ ;-)

Rob Haans
, 2016-11-21 20:53:35
(reply)

Hier ook een goede analyse van de air Franse crash: https://www.theguardian.com/technology/2016/oct/11/crash-how-computers-are-setting-us-up-disaster

"The paradox of automation, then, has three strands to it. First, automatic systems accommodate incompetence by being easy to operate and by automatically correcting mistakes. Because of this, an inexpert operator can function for a long time before his lack of skill becomes apparent – his incompetence is a hidden weakness that can persist almost indefinitely. Second, even if operators are expert, automatic systems erode their skills by removing the need for practice. Third, automatic systems tend to fail either in unusual situations or in ways that produce unusual situations, requiring a particularly skilful response. A more capable and reliable automatic system makes the situation worse.

There are plenty of situations in which automation creates no such paradox. A customer service webpage may be able to handle routine complaints and requests, so that staff are spared repetitive work and may do a better job for customers with more complex questions. Not so with an aeroplane. Autopilots and the more subtle assistance of fly-by-wire do not free up the crew to concentrate on the interesting stuff. Instead, they free up the crew to fall asleep at the controls, figuratively or even literally. One notorious incident occurred late in 2009, when two pilots let their autopilot overshoot Minneapolis airport by more than 100 miles. They had been looking at their laptops."

Jaap-Henk
, 2016-11-22 08:48:56
(reply)

Klopt. Dat is ook precies het artikel waar de eerste link van mijn post naar verwijst ;-)

Henk van Cann
, 2016-11-21 21:41:05
(reply)

Goede blog-post naar mijn mening. De schrijver heeft hier een belangrijk punt te pakken om te overdenken en heeft een goede metaforen (telefoonnummers en paard/ruiter) om daar een begin mee te maken. Hoe vullen we dat straks in: symbiose met een machine / programmatuur. Kunnen we een vliegende start maken door te leren van de robotica en AI die bijvoorbeeld in kunst-armen en -benen zit en samen met de gebruiker ervan lopen en iets oppakken?

De Week « Bits of Freedom
, 2016-11-25 19:54:02
(reply)

[…] Hoepman schreef een interessante column over de manier waarop we door ‘slimme’ apparaten dom én kwetsbaar gemaakt […]

Duurzame relatie met tech: focus op lange termijn en zelfstandigheid | Curated Culture
, 2016-12-12 12:55:33
(reply)

[…] so the earning model is that you learn from the app, and then move on. Dit deed me denken aan de paard en ruiter metafoor van Donald Norman(auteur van “The design of everyday things”): Daarin vergelijkt hij de samenwerking tussen mens […]