De Europese Commissie wil serieus werk maken van de bestrijding van online kindermisbruik. Vanwege de gevoeligheid van het onderwerp, en de grote impact die het oorspronkelijke voorstel voor een Verordening zou hebben op zowel de bedrijfsvoering van online dienstverleners als de fundamentele rechten van Europese burgers, is hierover nog steeds geen overeenstemming bereikt.
Gezien de ernst van kindermisbruik is de voortvarendheid van de Commissie volledig te begrijpen. Maar ook aan het meest recente compromisvoorstel, dat in concept is opgesteld onder het Hongaarse voorzitterschap, kleven fundamentele bezwaren. Het totale pakket aan voorgestelde maatregelen is breed, maar ik wil me hier beperken tot het zogenaamde detectiebevel.
Het detectiebevel verplicht aanbieders van end-to-end versleutelde communicatiediensten (zoals WhatsApp, iMessage, en Signal) maatregelen te nemen om de verspreiding van kinderpornografie tegen te gaan. Het voorstel laat open hoe ze hieraan gevolg moeten geven. Maar als aan de bescherming van end-to-end encryptie zelf niet getornd mag worden (zoals het kabinet, de Kamer en ook de Commissie steeds in niet mis te verstane woorden hebben aangegeven), dan zal het scannen van kinderpornografisch materiaal op de telefoons van de burgers zelf moeten plaatsvinden, voordat de berichten versleuteld worden. Iedere te verzenden afbeelding wordt dan vergeleken met bekend kinderpornografisch materiaal, opgeslagen in een (gecodeerde) database. Bij een match wordt het materiaal en de eigenaar van de telefoon aan een nader onderzoek onderworpen. Hiertoe stuurt de telefoon een melding aan een nog op te richten EU Center (onderdeel van Europol), die na nadere beoordeling de melding doorstuurt naar de nationale politie. Dit heet ‘client-side scanning’.
In het laatste compromisvoorstel is deze verplichting vooralsnog beperkt tot enkel het detecteren van bekende afbeeldingen van kindermisbruik. Waarbij opgemerkt moet worden dat de verplichte detectie van onbekend materiaal en grooming in tekstberichten (met behulp van kunstmatige intelligentie) zeker niet definitief van tafel is: volgens het voorstel kan de Commissie deze na een nadere beoordeling alsnog verplicht stellen, en is er grote druk op dienstaanbieders om dit ook ‘vrijwillig’ te implementeren.
Maar zelfs aan deze beperkte verplichting tot client side scanning van bekend materiaal kleven fundamentele bezwaren. Laat mij deze kort toelichten. In de bijgevoegde ‘open letter’ van een groot aantal wetenschappers op het gebied van informatiebeveiliging en privacybescherming worden deze bezwaren in meer detail besproken.1
Ten eerste is ook de technologie voor het detecteren van bekend kinderpornografie inherent onbetrouwbaar. Weliswaar is de kans op toevallige fouten minimaal, maar dat geldt niet voor moedwillige acties. Kinderpornografisch beeldmateriaal is eenvoudig zo aan te passen dat het niet als zodanig herkend wordt. Ook is het makkelijk om ogenschijnlijk onschuldige foto’s zo te manipuleren dat ze als kinderpornografisch worden gezien, en de nietsvermoedende en onschuldige ontvanger of doorstuurder op een lijst van verdachten voor verder onderzoek te plaatsen.2 Dit maakt de maatregel zowel ineffectief als riskant.
Ten tweede is end-to-end encryptie een middel om het grondrecht op vertrouwelijke communicatie in technische zin te waarborgen, en geen doel op zich. Client side scanning (dat ongericht is, daarover later meer) omzeilt die waarborg. Het briefgeheim is betekenisloos als de overheid over je schouder kan meekijken met iedere brief die je schrijft, voordat je hem in een envelop stopt. En dat is in feite wat client side scanning doet: op je eigen telefoon meekijken bij ieder bericht dat je verstuurt, om te controleren of je niet stiekem een afbeelding van kindermisbruik meestuurt, voordat het bericht versleuteld wordt. In tegenstelling tot wat de Minister van Veiligheid in Justitie tot nu heeft gesteld (“op dit moment lijkt client side scanning de enige manier waarop de maatregelen in de Verordening kunnen worden uitgevoerd zonder end-to-end encryptie aan te tasten”3) wordt de essentie van end-to-end encryptie dus wel degelijk ondermijnd als client side scanning wordt ingevoerd. En daarmee ook de toegevoegde waarde van end-to-end versleutelde communicatiediensten. Bepaalde aanbieders van end-to-end versleutelde communicatiediensten hebben daarom al gedreigd de Engelse markt te verlaten als vergelijkbare voorstellen aldaar worden aangenomen.4
Onze telefoon is zeer persoonlijk: we hebben hem altijd bij ons en zetten alles wat we doen, zien of denken in onze telefoon. Je zou je telefoon kunnen zien als je digitale huis.5 Het voorstel introduceert een fundamenteel nieuwe opsporingsmethode waarbij de opsporingsdiensten in feite toegang krijgen tot je digitale huis en daar een “verklikker” mogen laten installeren, die een melding naar de autoriteiten kan sturen bij iedere match met de database. Het wetsvoorstel komt er dus op neer dat opsporingsinstanties technisch de mogelijkheid krijgen mee te kijken in ons privéleven. Dat dit middel volgens het voorstel alleen maar ingezet wordt voor het detecteren van bekend kinderpornografisch materiaal maakt hierbij niet uit: er wordt een fundamentele grens overschreden. Alle Europese burgers worden zo onderworpen aan een panopticon: “Als alles wat je doet zichtbaar is, maar je nooit zeker weet wanneer je wordt bespied, gedraag je je uiteindelijk alsof je altijd wordt bekeken”6.
Ten vierde is zo’n detectiebevel ongericht. Stel (even als voorbeeld) dat WhatsApp een detectiebevel opgelegd zou krijgen. Dan zou dat betekenen dat WhatsApp client side scanning moet inbouwen in de eerstvolgende versie van WhatsApp voor de Europese markt. Dat zou dus betekenen dat bij alle Europese WhatsApp gebruikers een verklikker meekijkt met welke afbeeldingen ze versturen. Nou zou in theorie die verklikker na installatie eerst nog uit kunnen staan en later op afstand geactiveerd kunnen worden. Echter, het voorstel vereist dit niet, en het zou in de praktijk ook onwerkbaar zijn omdat op voorhand niet altijd duidelijk is wie eventueel kinderporno verspreidt. Dit is fundamenteel anders dan andere opsporings- en handhavings- methoden die in essentie gericht (horen) te zijn.
Als laatste bepaalt de inhoud van de database wat door de verklikker als verdacht materiaal wordt gezien. Daarmee is de scope van wat verdacht is dus eenvoudig uit te breiden: dat is een simpele update van de database. Op die manier kan het systeem ook gebruikt worden om ander ongewenst materiaal te detecteren, zoals terroristisch promotiemateriaal, of haatzaaiende afbeeldingen. Omdat de database gecodeerd is en dus ook de inhoud hiervan voor de dienstaanbieders zelf (logischerwijs) niet zichtbaar is, is onafhankelijk toezicht op dergelijk misbruik moeilijk. Dat enkel een procedurele maatregel hierbij in de weg staat, is niet erg geruststellend gezien de vele voorbeelden van misbruik van een dergelijke mogelijkheid tot ‘function creep’. Zie bijvoorbeeld de ophef over het misbruik van spyware door opsporingsdiensten in Europese landen.7 Dit maakt burgers, maar ook ambtenaren, politici, journalisten, CEOs – die allemaal wel gebruik maken van een end-to-end versleutelde communicatiedienst – potentieel kwetsbaar.
Het bestrijden van kindermisbruik is ontegenzeggelijk van groot belang. Maar ik hoop dat deze brief duidelijk heeft gemaakt dat ook het afgezwakte voorstel van de Commissie een gevaarlijk precedent schept ten aanzien van de mogelijkheid tot verregaande inmenging van een (Europese) overheid in het privéleven van Europese burgers.
Deze blog is als open brief aan de Minister van Justitie en Veiligheid, de Staatssecretaris Rechtsbescherming, de Staatssecretaris Digitalisering en Koninkrijksrelaties, de Minister van Binnenlandse Zaken en Koninkrijksrelaties, de Minister van Economische Zaken en de Minister van Buitenlandse Zaken verstuurd.
2024-09-18: Een aantal andere personen en organisaties is ook in de pen geklommen tegen dit voorstel:
Joint statement of scientists and researchers on EU’s proposed Child Sexual Abuse Regulation: 4 July 2023. https://edri.org/wp-content/uploads/2023/07/Open-Letter-CSA-Scientific-community.pdf↩︎
Prokos, J. et al. “Squint Hard Enough: Attacking Perceptual Hashing with Adversarial Machine Learning”. In: 32nd USENIX Security Symposium (Aug. 9–11, 2023). Anaheim, CA, USA, 2023, pp. 211–228. https://www.usenix.org/conference/usenixsecurity23/presentation/prokos↩︎
Beslisnota inzake Motie Van Ginneken c.s. over client side scanning, 20 april 2023.↩︎
Signal would ‘walk’ from UK if Online Safety Bill undermined encryption, BBC News, 2023. https://www.bbc.com/news/technology-64584001↩︎
Hoepman, J.-H. & Koops, B.-J. Offering ‘home’ protection to private digital storage spaces, 15 Aug 2020, In: SCRIPTed. 17, 2, p. 359-388.↩︎
Kobus Versteegh, Door de toevoeging van cameraschermen bij zelfscankassa’s wordt boodschappen doen een stuk dystopischer, De Volkskrant, 11 september 2024. https://digitalekrant.volkskrant.nl/volkskrant/2279/article/2116131/24/3/render/?token=ffea79384ddc9c62da3ab826e69a26b1↩︎
Sophie in ’t Veld: ‘Europa is een soort eldorado voor de spyware-industrie’, NRC, 6 oktober 2023. https://www.nrc.nl/nieuws/2023/10/06/sophie-in-t-veld-europa-is-een-soort-el-dorado-voor-de-spyware-industrie-a4176390↩︎