Mensen zijn zelden objectief. Beslissingen die zij nemen zijn gebaseerd op vooroordelen. Bovendien controleren mensen zelden achteraf of hun beslissingen juist waren, om zo hun eventuele vooroordelen bij te stellen. Met als gevolg dat, bijvoorbeeld, leerlingen met laag opgeleide ouders op een lager schoolniveau terecht komen dan even slimme leerlingen met hoog opgeleide ouders. Immers: de CITO score is niet langer leidend, maar het oordeel van de juf of de meester. In de Volkskrant van 13 september pleit Laura Menenti er daarom voor om de mens uit dit soort beslissingen te halen. En dus (maar dat zegt ze niet letterlijk) de computer belangrijke beslissingen over ons leven te laten nemen, op basis van data en professionele expertise.
De suggestie is dat alleen mensen subjectieve beslissingen nemen, en computers objectief zijn. Dat laatste is echter niet juist. Ook beslissingen van computers zijn per definitie subjectief. Dat lijkt vreemd: computers zijn immers kille rekenmeesters, dus hoe kunnen die nu subjectief beslissingen nemen? Maar eigenlijk is het heel logisch: de subjectiviteit zit namelijk in de keuze van het algoritme, de rekenregels, die gebruikt wordt om de beslissing te berekenen. Daarnaast zijn de gegevens die gebruikt worden om de beslissing op te baseren subjectief. En tenslotte zijn sommige gegevens zeer relevant, maar moeilijk te verkrijgen. Die worden dan uit gemakzucht maar niet meegenomen.
De Citotoets zelf is hiervan een mooi voorbeeld. De selectie van de vragen lijkt misschien objectief, maar wordt wel degelijk bepaald door de vooroordelen van de professionals die de Citotoets opstellen. Het is moelijk om creativiteit, motivatie, inzet en werklust te meten: dat doet de toets dus niet. Sommige kinderen zijn handiger in het beantwoorden van de toetsvragen dan anderen. Met andere woorden: handige kinderen scoren beter dan niet handige kinderen, zelfs als ze even slim zijn. Ook het toetsmoment is van invloed.
Er is nog een ander probleem. Het is veel moeilijker om een computer aan te spreken op een beslissing. "Computer says no". Bij wie moet je dan gaan klagen? Bij de maker van de computer? De leverancier van de software? De verzamelaars van de gegevens op basis waarvan de beslissing is genomen? Het bedrijf dat de analyse heeft uitgevoerd? Of de organisatie die de beslissing moet uitvoeren? Dat laatste lijkt voor de hand te liggen, maar zij zal gezien de complexiteit en ondoorzichtigheid van het proces en de plek waar de echte beslissing is genomen allerlei mogelijkheden zien om haar verantwoordelijkheid af te schuiven.
Er is een mooi, maar wrang, voorbeeld van de risico's die gepaard gaan met het gebruik van computers om belangrijke beslissingen te 'objectiveren'. In de Verenigde Staten bepaalt, ondermeer, de kans op recidive of een verdachte op borgtocht vrijkomt en hoe hoog de borg is. Hier bestaat natuurlijk het risico dat vooroordelen van rechters de hoogte van de borg beïnvloeden. Vandaar dat software van een extern bedrijf werd gebruikt om de kans op recidive van verdachten 'objectief' te bepalen.
Echter, het gebruikte algoritme was bedrijfsgeheim, en ook was onduidelijk welke gegevens als invoer werden gebruikt. Analyse van de beslissingen die het systeem de afgelopen jaren had genomen lieten een schokkend resultaat zien: de kans op recidive van zwarte mensen werd overschat, en de kans op recidive van blanke mensen werd onderschat. Met andere woorden: als je blank bent wordt je, onterecht, met een lage borg vrij gelaten. Als je zwart bent, heb je grote kans dat je borg veel te hoog wordt gezet. Als je al op borgtocht wordt vrij gelaten.
Dit voorbeeld laat zien dat het een slecht idee is om de mens uit dit soort beslissingen te halen zoals Laura Menenti bepleit, en deze beslissingen puur geautomatiseerd te nemen. Bovendien: volgens artikel 42 van de Wet bescherming persoonsgegevens mag het niet eens:
Niemand kan worden onderworpen aan een besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem in aanmerkelijke mate treft, indien dat besluit alleen wordt genomen op grond van een geautomatiseerde verwerking van persoonsgegevens bestemd om een beeld te krijgen van bepaalde aspecten van zijn persoonlijkheid.
Bij dit soort beslissingen moet altijd een mens het uiteindelijke oordeel vellen.
Nog niet overtuigd? Lees er de Talking Heads nog maar eens op na!
Naschrift: zie ook dit interview met Duncan Watts in de Volkskrant van 10 september, waarin hij stelt dat meer en betere data niet genoeg is. De sociale wetenschap is veel complexer dan de natuurwetenschap: de sociale wereld is veel complexer dan de fysieke wereld!
Ben het ermee eens dat een mens altijd het uiteindelijke oordeel moet vellen, maar zou daaraan nog willen toevoegen dat het algorithme beschikbaar moet zijn voor publieke review. Eigenlijk zou je ook willen eisen dat het algorithme uitlegt hoe/waarom het tot een bepaald oordeel komt, zodat de uiteindelijk beslissende mensen dat effectiever kan toetsen/controleren.