Hoeders van digitale burgerrechten

Dit is deel 4 in een reeks artikelen over de Masterclass Netpolitiek 2022.

Bits of Freedom zet zich sinds 1999 in voor een open en rechtvaardige informatiesamenleving. De burgerrechtenorganisatie beïnvloedt beleid en wet- en regelgeving door belangenbehartiging, campagnes en juridische actie. In een vrije samenleving moeten macht en tegenmacht in balans zijn. Inlichtingendiensten hebben vergaande bevoegdheden die grote impact kunnen hebben op digitale burgerrechten. Bits of Freedom houdt het werk van geheime diensten en hun toezichthouders daarom nauwlettend in de gaten.

Toezicht op surveillance

Geheime diensten opereren achter de schermen. De controlerende taak ligt bijna uitsluitend op de schouders van de toezichthouders. Dit toezicht staat onder druk. De Commissie van Toezicht op Inlichtingen- en Veiligheidsdiensten (Cvtid) kan nu door een gebrek aan bindende bevoegdheden niet zelf ingrijpen als dat nodig is, bijv. wanneer diensten illegaal gegevens bewaren of gebruiken. Hiernaast krijgen de diensten meer speelruimte om cyberaanvallen tegen te gaan. In 2018 is in de Wet op de inlichtingen- en veiligheidsdiensten (Wiv) bepaald dat tappen onder scherp toezicht moet plaatsvinden: van tevoren, tijdens en achteraf. De Toetsingscommissie Inzet Bevoegdheden (TIB) controleert nu vooraf of inzet noodzakelijk is, in verhouding staat tot het doel en zo gericht mogelijk is. In de voorgestelde Cyberwet wordt onder het mom van snelheid het toezicht vooraf verruild voor ‘dynamisch toezicht’ tijdens en achteraf. Diensten hoeven dan niet meer goedkeuring te vragen voor gegevensverzameling in grootschalige tapacties. Digitale mensenrechten zoals het recht op privacy, communicatievrijheid en vrijheid van meningsuiting komen hierdoor in het gedrang.

Inzet van Bits of Freedom

Bits of Freedom zet verschillende middelen in om bewustwording te creeëren over de groeiende macht van de geheime diensten en tegenmacht te stimuleren:

• Campagnes. In 2017 organiseerde Bits of Freedom een campagne rondom het raadgevend referendum over de Wiv, ook wel de Sleepwet genoemd. Een meerderheid van de kiezers sprak zich uit tegen de Sleepwet: 49,66% stemde tegen en 46,53% voor. De regering moest door deze uitspraak de wet heroverwegen.
• Beïnvloeding van beleid. Bits of Freedom spreekt regelmatig beleidsmakers aan over wat beter kan of moet en gaat ook met hen in gesprek. De organisatie heeft bijv. het wetsvoorstel voor de Cyberwet uitgebreid onderzocht en kritische noten en adviezen gedeeld via een brief aan betrokken ministers en via deelname aan een ronde tafel in de Tweede Kamer.
• Participatie in maatschappelijk debat. Medewerkers werken mee aan interviews en schrijven opiniestukken over risico’s van de Cyberwet en het belang van scherp toezicht, zoals ‘Inlichtingendiensten moeten juist onder streng toezicht staan’.
• Indienen van klachten. Omdat de toezichthouder zelf niet kan ingrijpen, heeft Bits of Freedom namens alle burgers in 2022 een class action klacht ingediend tegen het illegaal bewaren en gebruiken van bulkdatasets door de geheime diensten. Bits of Freedom heeft gelijk gekregen. De AIVD en MIVD moeten de gegevens van miljoenen burgers die als bijvangst in bulk worden binnengehaald zo snel mogelijk verwijderen.

Omarming van toezichthouders

In de masterclass lichtte Bits of Freedom toe dat hun werkwijze leunt op drie pijlers: afdwinging in technologie, facilitering van burgers en omarming van toezichthouders. In de praktijk is de macht van toezichthouders vaak beperkt en kunnen ze hun rol niet effectief uitoefenen. Zo kampte de Autoriteit Persoonsgegevens in de vier jaar na invoering van de AVG met een tekort aan budget. Hierdoor had ze onvoldoende capaciteit om te handhaven en konden functionarissen gegevensbescherming (FG’s) in de gemeentes niet goed functioneren. De kritiek van Bits of Freedom op ondermijning van toezicht krijgt vaak bijval van experts uit het veld. Zo is volgens een opgestapte oud-toezichthouder het wetsvoorstel voor de Cyberwet ‘bijna onverantwoord’ en onnodig, want ‘bijna alles wat men met deze tijdelijke wet zegt te willen bereiken kan onder de huidige wet ook, maar dan met adequaat toezicht’. Ook een andere oud-toezichthouder van de geheime diensten waarschuwt dat grondrechten op het spel staan.

Een van de thema’s van Amnesty International is bescherming van mensenrechten in het digitale tijdperk. De Nederlandse tak van de organisatie kijkt kritisch naar inzet van technologie door onze nationale en lokale overheid. Heikel punt is dat organisaties zoals de Belastingdienst, gemeenten en politie risicoprofielen, algoritmes en big data gebruiken om risico’s in te schatten en fraude op te sporen. Discriminatie en privacyschendingen kunnen dan het gevolg zijn.

Xenofobe machines

In het rapport ‘Xenofobe machines’ legt Amnesty International uit hoe ongereguleerd gebruik van algoritmes heeft geleid tot misstanden in het Toeslagenschandaal. De Belastingdienst voerde in 2013 een algoritmisch besluitvormingssysteem in voor opsporing van onjuiste aanvragen van kinderopvangtoeslag. Een van de gebruikte risico-indicatoren was nationaliteit: Nederlanderschap ja/nee. Aanvragers met een niet-Nederlandse nationaliteit kregen een hogere risicoscore. Dit leidde tot een verschil in behandeling op grond van etniciteit en tot discriminatie. Het algoritmisch systeem was daarnaast een zogenoemde black box: de input en de werking waren niet zichtbaar voor gebruikers of andere partijen zoals burgers. Een zelflerend algoritme zorgde bovendien dat het systeem zelfstandig kon leren en de manier waarop het werkte kon wijzigen, zonder dat dit ingevoerd was door een programmeur. Dit verhinderde transparantie en de Belastingdienst kon hierdoor onvoldoende verantwoording afleggen over beleid en besluiten, wat voor de overheid een wettelijke plicht is.

Inzet van Amnesty International

Amnesty International zet zich via lobby, wetsadvisering en aanspanning van rechtszaken al een aantal jaren in voor de volgende maatregelen m.b.t. inzet van big data en algoritmes:

• Verbod op gebruik van etniciteit en nationaliteit als indicator in risicoprofielen die worden ingezet voor wetshandhaving. Het kabinet heeft deze maatregel nog niet genomen, maar een belangrijke stap in deze richting is het verbod op etnisch profileren door de Koninklijke Marechaussee.
• Verbod op toepassing van autonome en zelflerende algoritmes bij uitvoering van overheidstaken die veel impact hebben op mens en maatschappij. Uit een verslag van de commissie Digitale Zaken blijkt dat er nog veel onduidelijkheid is over de toepassing van dit soort risicovolle algoritmes.
• Transparantie over gebruik van algoritmes door tegengaan van black boxes en door ontwikkeling van een openbaar register. Volgens een onderzoek van de Algemene Rekenkamer is van black boxes bij de rijksoverheid geen sprake: de meeste algoritmes zijn simpel en de werking valt altijd te achterhalen. Wel krijgt het kabinet het advies om kwaliteitseisen en afspraken over de inzet van algoritmes vast te leggen en continue te monitoren. Inmiddels is er een openbaar algoritmeregister, maar volgens sommige experts blijft de beoogde transparantie uit omdat de opzet te vrijblijvend is.
• Instelling van een onafhankelijke algoritmetoezichthouder. Algoritmetoezicht is per 1 januari 2023 belegd bij de Autoriteit Persoonsgegevens.
• Invoering van een bindende mensenrechtentoets vóór gebruik van algoritmes en geautomatiseerde besluitvorming. Het Ministerie van BZK heeft een Impact Assessment Mensenrechten en Algoritmes (IAMA) ontwikkeld; de Tweede Kamer heeft in 2022 een motie aangenomen die toepassing van deze toets verplicht stelt.

Noodzakelijk kwaad

In de masterclass is flink gediscussieerd over de inzet van algoritmes. Een kritische kijk op het fenomeen is belangrijk, maar feit is ook dat de overheid niet meer zonder kan. Volgens de Algemene Rekenkamer kan de overheid dankzij algoritmes miljoenen handelingen per maand uitvoeren; problemen oplossen of voorspellingen doen. Een persoonlijke afhandeling of beoordeling is niet alleen veel minder efficiënt, maar vergroot ook de kans op menselijke fouten of inconsistent beleid. Verder blijkt uit de presentatie van Amnesty International dat verantwoorde inzet sterk afhankelijk is van de context. Toepassing van een factor zoals nationaliteit of etniciteit is niet per definitie uit den boze: bij opsporing ter preventie van erfelijke ziektes kan dit juist toegevoegde waarde bieden. En een factor zoals postcodegebied lijkt misschien neutraal, maar kan in de praktijk leiden tot een oververtegenwoordiging van een bevolkingsgroep en ongelijke behandeling. Een complex vraagstuk kortom, dat veel kennis en inzicht vereist.

Het Racism and Technology Center wil zichtbaar maken hoe racisme in de Nederlandse samenleving zich manifesteert in technologie. Doel is zo ‘systemen van onderdrukking en onrechtvaardigheid te ontmantelen’. Het kenniscentrum is actief op verschillende dossiers die vaak ook hoog op de agenda staan van Amnesty International: datagedreven wetshandhaving, algoritmische ‘bias’, Big Tech. Een hot topic dat recent veel in het nieuws is geweest is de impact van gezichtsherkenningssoftware.

Vooringenomenheid in software

Bij misstanden rondom gezichtsherkenningssoftware denk je misschien meteen aan het beruchte surveillance systeem van China, maar er zijn ook cases dichterbij huis. Een Nederlandse studente aan de VU moet tijdens de coronapandemie proctoring software (antispieksoftware) installeren om op afstand tentamens te kunnen doen. De software maakt gebruik van gezichtsdetectie en neemt haar niet waar, totdat ze continue een felle lamp op haar gezicht laat schijnen. De studente vermoedt dat dit komt door haar donkere huidskleur: medestudenten met een lichte huidskleur hoeven dit niet te doen.
Het is al lang bekend dat gezichtsherkenningssoftware nadelig uitwerkt voor mensen van kleur. Uit een studie van Joy Buolamwini blijkt dat hoe donkerder de huid is, hoe slechter de software presteert. Een algoritme in gezichtsherkenningssoftware produceert output o.b.v. input en wordt getraind met voorbeelden van gezichten. Als in die set weinig foto’s van mensen met kleur voorkomen, dan zal de software deze gezichten minder goed herkennen. Mocht je meer willen weten over het onderwerp dan is de documentaire Coded Bias een aanrader.

Inzet van Racism and Technology Center

Het Racism and Technology Center vraagt op verschillende manieren aandacht voor racistische technologie:

• Kennisdeling door middel van een nieuwsbrief, presentaties/lezingen en een kennisbank. In de uitzending 'Hoe temmen we de big 5?' vertelt een medewerkster over haar onderzoek naar online uitsluiting (o.b.v. bijv. ras of geslacht) door grote digitale platformen. De openbare online kennisbank bevat internationale artikelen over technologie en racisme geclusterd in thema’s als AI, algoritmische bias en gezichtsherkenning en biometrie. Je kunt zoeken op onderwerpen (digitale rechten, ethiek, etc.), sectoren (onderwijs, gezondheidszorg, etc.) en betrokken bedrijven (Google, Microsoft, etc).
• Beïnvloeding van de publieke opinie in de vorm van interviews en opiniestukken. In een column in het Parool kaarten medewerkers van het centrum de inzet van racistische surveillance software door onderwijsinstellingen als de VU aan. Dit heeft geleid tot kamervragen en een reactie van de Minister van Onderwijs Ingrid Engelshoven dat grootschalig gebruik van online proctoring vermeden moet worden.
• Ondersteuning van particulieren en activistische organisaties in hun strijd tegen racisme. N.a.v. bovenbeschreven case bij de VU heeft het centrum met de betrokken student in 2022 een klacht ingediend bij het College voor Rechten van de Mens (CRM). Het CRM is in een tussenuitspraak tot de conclusie gekomen dat er waarschijnlijk sprake is van algoritmische discriminatie. Een unieke uitspraak, want niet eerder lukte het iemand deze vorm van discriminatie aannemelijk te maken. De bal ligt nu bij de VU om haar verweer dat het systeem geen onderscheid maakt te bewijzen.

Een goede spiegel maar geen oplossing

In de masterclass benadrukten sprekers van het Racism and Technology Center dat er een paar wijdverbreide misverstanden zijn over technologie en racisme. Allereerst de aanname dat technologie neutraal is. In de praktijk bepalen mensen van vlees en bloed de input en het functioneren van technologie: de keuze voor factoren in een algoritme; de werking van gezichtsherkenningssoftware. Je kunt een ontwerp dus zien als ‘toegepaste ethiek’. Ten tweede het idee dat technologie alleen racistisch kan zijn als deze met een foute intentie is ontworpen. Helaas kan inzet van technologie ook onbedoeld tot discriminatie leiden, bijv. door een beperkt perspectief bij de ontwerpers waar ze zich niet bewust van zijn of door niet-representatieve trainingsdata. Als laatste de misvatting dat verbetering van technologie de problemen zal oplossen. Racisme is in de basis een maatschappelijk probleem dat je niet kunt bestrijden met (alleen) technologische ingrepen.

Wat is de relatie met ons werk als ontwerpers? Alle drie de cases zijn voorbeelden van (voorstellen voor) beleid of ondersteunende tooling waarin publieke waarden zoals het recht op gelijke behandeling of privacy onvoldoende geborgd zijn. Het is te prijzen dat genoemde organisaties de vinger stevig aan de pols houden en bij misstanden in actie komen. Voorkomen is echter beter dan genezen. Het onlangs ontwikkelde mensenrechten impact assessment is een praktisch hulpmiddel. De overheid zou m.i. bij ontwikkeling/inzet van software én beleid veel baat kunnen hebben bij toepassing van ontwerpprincipes. Denk aan uitgangspunten die wij al (lang) hanteren zoals: waardengedreven ontwerp; vroegtijdig en duurzaam betrekken van gebruikersgroepen; investering in een divers/inclusief ontwerpteam; validatie van oplossingen of beleidsvoorstellen onder diverse gebruikersgroepen. De overheid heeft te maken met wettelijke kaders en moet vaak lastige afwegingen maken tussen botsende waarden zoals openbare veiligheid en privacy. Maar uiteindelijk is de overheid van en voor de burgers. Design thinking kan de overheid helpen om temidden van de vele uitdagingen methodisch beleid en tools te ontwikkelen waarbij de belangen van burgers centraal staan.