Wat is er mis met discriminatie?
Gepubliceerd op 25-01-2023
Geschreven door Rijk Mercuur
Discriminatie? Ja, dat is de bedoeling.
Ik kijk Fred glunderend aan. Hij begrijpt wat ik begrijp. Discriminatie is het maken van onderscheid. De zelflerende algoritmes waar Fred - een bevriende data scientist – mee werkt, maken onderscheid tussen voorspellende variabelen en niet voorspellende variabelen. Bijvoorbeeld, om mensen met een bijstandsuitkering te profileren op fraude gebruikten Nederlandse gemeenten ‘fraudeverleden’ als voorspeller voor fraude [1]. Met andere woorden, als iemand eerder fraude had gepleegd, voorspelde het risicomodel een hoger risico op een onjuiste aanvraag. Uiteindelijk onderscheiden Nederlandse gemeenten zo aanvragen met een hoogrisicoprofiel en een laagrisicoprofiel. Fred voorspelt, maakt onderscheid, discrimineert.
Natuurlijk verwijst discriminatie vaak naar de bekende nauwere betekenis: het onrechtmatig onderscheid maken tussen mensen of groepen [2]. De toeslagenaffaire is het bekendste voorbeeld waar discriminatie door algoritmes werd veroordeeld. Zo stelt een rapport van Amnesty onrechtmatigheid vast: “de Nederlandse Belastingdienst heeft het recht op gelijkheid en non-discriminatie van de betrokken aanvragers geschonden” [3]. Echter, ‘onrechtmatig’ dekt het sentiment, maar legt niet uit. Zoals gezegd, algoritmes maken per definitie onderscheid. Wanneer wordt onderscheid discriminatie?
Even kleur bekennen. Ik ben net bij Hiro begonnen waar ik ben gaan werken omdat ze staan voor inclusiviteit, idealisme en integriteit. Onze missie is een eerlijke, niet-discriminerende en inclusieve impact van AI. Discriminatie is alomtegenwoordig en wreed. Niet worden aangenomen omdat je een vrouw bent [4]. Niet de juiste medische hulp krijgen omdat je zwart bent [5]. Een lager schooladvies krijgen door je migratieachtergrond [6]. (Zie ook Rosa’s vorige blog [7]. over het probleem van zulke ongenuanceerde voorbeelden.) Discriminatie is een feit en zo’n ongelijke behandeling beïnvloedt de mentale en lichamelijke gezondheid van de slachtoffers [8]. We verspillen talent en waardevolle perspectieven. We sluiten diegenen buiten die iets begrijpen van uitsluiting. Niet dezelfde kansen krijgen als anderen door bijvoorbeeld je gender, huidskleur of afkomst is wreed. Dat is – zelfs als witte man – voorstelbaar pijnlijk.
Geef de technofielen vrij spel en de toeslagenaffaire is pas het begin van een discriminatie-dystopie. Geef de technofoob vrij spel en ze verbieden met de botte bijl “de inzet van zelflerende algoritmen”.
Toch wil ik verhelderen wat discriminatie is. Waarom? Er staat wat op het spel: de toekomst van een ethisch gebruik van zelflerende algoritmes. Geef de technofielen vrij spel en de toeslagenaffaire is pas het begin van een discriminatie-dystopie. Geef de technofoob vrij spel en ze verbieden met de botte bijl “de inzet van zelflerende algoritmen”. Zo vermoed ik dat Fred vooral een goede voorspelling wilt maken; en zo eist Amnesty een verbod op de inzet van zelflerende algoritmes bij besluitvorming met grote impact op de samenleving [9]. Ik verwacht vooral dat de samenleving een afweging moet gaan maken tussen de voor- en nadelen van zelflerende algoritmes. Door scherp te krijgen wat algoritmes doen en wat discriminatie is maken we de keuzes duidelijker. Met de toeslagenaffaire als leerschool wil ik Fred helpen, wanneer wordt onderscheid discriminatie?
Is onderscheid op nationaliteit en inkomen discriminatie?
In de toeslagenaffaire gebruikte een risicomodel tientallen factoren om fraudulente van niet-fraudulente aanvragen te onderscheiden. Helaas zijn de factoren en mate van voorspellen niet openbaar gemaakt. Echter, ik stel me zo voor dat het aantal kinderen waarvoor je toeslag aanvraagt voorspellend is voor een onjuiste aanvraag (een typo van 1 naar 10) of, zoals bij de eerdergenoemde bijstandsuitkering, het fraudeverleden. Het algoritme maakte dus onderscheid in aanvragen op tientallen factoren, maar slechts twee van deze onderscheiden zijn ook discriminatie volgens Amnesty. Ten eerste, nationaliteit werd direct gebruikt als voorspellend voor fraude. Als je een niet-Nederlandse nationaliteit hebt, werd het risico op fraude hoger ingeschat. Ten tweede, nationaliteit werd gebruikt per proxy: nationaliteit correleert met economische status en economische status werd gebruikt in het risicomodel.
"Dat [RM: het discriminerende algoritme en overheidsoptreden] trof mensen met een lagere economische status vaker en harder. Deze groep mensen behoorden vaak tot een etnische minderheid. Het toeslagenschandaal moet daarom worden beschouwd als intersectionele discriminatie." [10]
Amnesty veroordeelt onderscheid maken op nationaliteit en economische status onverbiddelijk: dit is discriminatie en in strijd met de grondwet.
Onderscheid maken op nationaliteit of economische status is niet per definitie discriminatie. Een voorbeeld: bij het verstrekken van een hypotheek maken we onderscheid op economische status (d.w.z. inkomen). Mensen met een hoger inkomen krijgen een hogere hypotheek dan mensen met een lager inkomen. Even de vele belastingregelingen daargelaten is het gemeengoed dat inkomen onderscheidend is voor een hypotheek: inkomen is terecht relevant voor de hoogte van je hypotheek. Een ander voorbeeld. De Nederlandse nationaliteit (d.w.z. een Nederlands paspoort) geeft het recht om in Nederland te wonen, de Ethiopische nationaliteit geeft dit recht (zonder verblijfsvergunning) niet. Nationaliteit is rechtmatig onderscheidend voor legaal verblijf. Zowel hypotheek als verblijfsvergunning geven interessante randgevallen. Ten eerste, etniciteit relateert aan inkomen en is daarmee, per proxy, onderscheidend voor de hoogte van de hypotheek. Ten tweede, etniciteit relateert aan nationaliteit en wordt gebruikt door de Koninklijke Marechaussee als indicator om iemands nationaliteit te controleren. De rechtbank oordeelde in september 2021 dat dit mag [11]. Wanneer is onderscheid op nationaliteit en/of inkomen discriminatie?
Discriminatie hangt af van relevantie, morele relevantie en proportionaliteit
Zie hier, moraalridder Peter Singer, brenger van definities: discriminatie is het schenden van het principe van gelijkwaardige behandeling van belangen. Dus, moeten we iedereen gelijk behandelen? Nee. Niet elk individu heeft dezelfde belangen: iemand zonder kinderen heeft geen belang bij kinderopvang en krijgt daarom ook geen kinderopvangtoeslag. Echter, als beide individuen een vergelijkbaar belang hebben dan moeten deze beiden een gelijk gewicht krijgen. Een vergelijkbaar belang betekent niet dat de twee belangen tot in elk detail hetzelfde moeten zijn. Bijvoorbeeld, het zou niet uit moeten maken dat het ene kind schreeuwt niet naar kinderopvang te willen en een ander er zin in heeft. Beiden kinderen hebben recht op kinderopvang. Vergelijkbaar betekent ook niet “een beetje hetzelfde”: als mijn kind 42 jaar oud is en uw kind 3 jaar oud, dan krijgt mijn kind geen kinderopvang en uw kind wel. Wat vergelijkbaar betekent, is dat de belangen vergelijkbaar zijn op een moreel relevante manier: bijvoorbeeld de leeftijd van het kind of het aantal kinderen is bepalend voor het belang voor kinderopvang. Discriminatie wordt dan ook samengevat door Singer als: het ongelijk behandelen en achterstellen van mensen (of groepen) [RM: met vergelijkbare belangen] op basis van kenmerken die niet moreel relevant zijn in een gegeven situatie [12]. De crux is dus volgens Peter Singer: wat is moreel relevant voor dit doel?
Objectief vaststellen dat er een hoge correlatie is tussen een onjuiste aanvraag en nationaliteit is pijnlijk en dit onderwerp lijkt te worden vermeden.
Gaat het bij de toeslagenaffaire om relevantie of morele relevantie? De veroordeling van Amnesty kan berusten op dat inkomen en nationaliteit niet relevant zijn in de betekenis dat ze de kans [13]. niet verhogen op een onjuiste aanvraag. In zo’n geval valt de discriminatie van de Belastingdienst in de hoek van het ongegronde ‘vrouwen kunnen niet autorijden’[14] en 'mannen kunnen niet multitasken’’ [15]. Een andere definitie relateert discriminatie dan ook aan het “hebben van een mening op basis van bewijs dat u anders niet toereikend zou vinden.” [16]. M.a.w., als een man niet kan autorijden is het er één, als een vrouw niet kan autorijden, falen ze allemaal. Echter, het zou goed kunnen dat inkomen en nationaliteit daadwerkelijk voorspellend zijn voor een onjuiste aanvraag, maar niet moreel relevant [17]. Het rapport van Amnesty vermijdt dit pijnlijke onderwerp: het is niet duidelijk welke gewichten er hangen aan de factoren. Met andere woorden, of nationaliteit en economische status goede voorspellers zijn voor fraude. Objectief vaststellen dat er een hoge correlatie is tussen een onjuiste aanvraag en nationaliteit is pijnlijk en dit onderwerp lijkt te worden vermeden [18]. De Autoriteit Persoonsgegevens (AP) biedt meer duidelijkheid en stelt vast “dat Toeslagen tot oktober 2018 gebruik heeft gemaakt van de nationaliteit van aanvragers voor de indicator Nederlanderschap/niet-Nederlanderschap in het risico-classificatiemodel. Bij de training van het model bleek dat deze indicator geen voorspellende waarde meer had. Als gevolg daarvan is deze indicator verwijderd.” [19]. Nationaliteit was dus, tot oktober 2018, voorspellend: de variabele werd beschouwd als relevant. Dat zou om de meest pijnlijke redenen kunnen zijn; dat fraude acceptabeler is in een bepaalde cultuur; het zou kunnen correleren met opleidingsniveau en het daardoor fouten maken in een aanvraag; maar het waarschijnlijkst is de doodsimpele redenen: alleen Nederlandse staatsburgers hebben recht op kinderopvangtoeslag [20]. Nationaliteit was dus daadwerkelijk relevant.
Echter, niet moreel relevant. Wat Amnesty eigenlijk veroordeelt, is dat we niet willen dat individuen de dupe worden van een niet beïnvloedbare factor die hen verbindt aan een groep mensen. Zulke factoren zijn wel relevant, maar niet moreel relevant. Etnische Nederlanders en etnisch niet-Nederlanders hebben een gelijk belang bij kindertoeslag en moeten gelijk worden behandeld. We vinden dat het niet eerlijk is als variabelen waar we geen invloed op hebben een basisrecht beïnvloeden. Het is niet moreel relevant wat iemands etnische achtergrond is bij schooladvies, maar kinderen met een migratieachtergrond worden systematisch lager ingeschat bij een gelijke Cito-score. Het is niet moreel relevant wat je huidskleur is voor de kans dat je smokkelt of een auto hebt gestolen, maar mensen van kleur worden wel vaker gecontroleerd. Het is moreel verwerpelijk – wreed zelfs – om individuen zo sterk te benadelen. Niet alleen voor de inbreuk zelf, maar ook voor het signaal dat je ermee af geeft: jij bent minderwaardig.
De interessante vraag is dus: welke van de relevante factoren zijn moreel relevant? Mag je meer aandacht besteden aan aanvragen met 60 kinderen omdat er een hogere kans is op fraude? Ik denk van wel. Invultijd. Ja. Huidskleur. Nee. Economische status. Lastig… Dit is niet een beslissing die Fred in zijn eentje kan maken, maar dit is een discussie die we als maatschappij met elkaar moeten voeren. Hierbij vragen we ons af: wat is moreel relevant voor een verdachtmaking van fraude?
Dit is geen zwart-wit-discussie: het gaat om het in de juiste mate gebruiken van beladen variabelen als nationaliteit of economische status. De AP noemt dit: proportionaliteit. Zelfs als een variabele niet moreel relevant is, kunnen ethische nadelen opwegen tegen — of in proportie zijn tot — de ethische voordelen. Kunnen we een groot deel van belastingfraude afvangen door te kijken naar inkomen? Dan is dit redelijk ook al zullen er niet-fraudeurs zijn die hierdoor onjuist verdacht van worden. Naast fraude noemt de AP als andere ethische belangen: een gezond leven beschermen, grensoverschrijdend verdrag beperken of onrechtmatig gedrag tegen gaan. De AP keurt dit niet zomaar goed: het gaat om een afweging tussen de gevolgen voor het individu en de maatschappij [21]. Ik zie dit zelf als een waarde-afweging. Je weegt bijvoorbeeld gelijkheid af tegen veiligheid. Dus, een in eerste opzicht moreel irrelevante variabele kan worden gebruikt voor onderscheid als dit in verhouding is met wat het opbrengt.
Conclusie en naar Inclusieve AI
Wanneer wordt onderscheid discriminatie? Ik raad je twee stappen aan Fred. Ten eerste, stel vast of een variabele aantoonbaar irrelevant is voor het onderscheid: bijvoorbeeld vrouwen zijn slechter in autorijden dan mannen. In dat geval is het onderscheid maken op gender discriminatie. Ten tweede, beschouw of een variabele moreel irrelevant is en disproportioneel wordt gebruikt. Bijvoorbeeld, nationaliteit bij de toeslagenaffaire of de migratieachtergrond bij schooladvies zijn moreel irrelevant en spelen een onnodig grote rol. Als een variabele moreel irrelevant is, maar naar proportie wordt gebruikt wordt het lastig; dit is een waarde-afweging die we als maatschappij moeten maken. Bijvoorbeeld, het is lastig te bepalen of we inkomen mogen meenemen in een risico-inschatting bij fraude. Discriminatie gaat dus over irrelevantie, morele irrelevantie of disproportionaliteit.
Met Hiro wil ik informeren en begeleiden in de ethische kwesties rond discriminatie en algoritmes. Dit is niet een simpele technische kwestie waarbij we met een betere afstelling het algoritme zuiveren van discriminatie. Het gaat hier om een verbindingen maken tussen menselijke ambigue kwesties en harde technische taal. Dit artikel geeft een aanzet door discriminatie uit te vouwen. Hierdoor kunnen we met de precisie die algoritmes vragen beter bepalen wanneer onderscheid over de grens gaat. Idealiter geven risicomodellen red flags aan gebaseerd op relevant, morele relevantie en proportionaliteit. Daar zijn we nog niet en zelfs dan is een nauwe samenwerking tussen machine en mens hiervoor noodzakelijk. Zo hoop ik met Hiro alle Freds te helpen aan een toekomst van Inclusieve AI.
Noten
[1]
Lighthouse reports, Argos en NRC reconstrueerde het algoritme dat Nederlandse gemeenten gebruikten, en soms nog gebruiken, om fraudescores te berekenen. Zie (link)
[2]
Zie bijvoorbeeld de definitie op Wikipedia (link) of de Van Dale (link)
[3]
Amnesty International schreef het rapport Xenophobe machines. Discriminatie door ongereguleerd gebruik van algoritmen in het Nederlandse toeslagenschandaal. (2021). p.23 Zie: (link)
[4]
Zie bijvoorbeeld Jeffrey Dastin over Amazon bias en vrouwen aannemen (link)
[5]
Lees hierover verder bij de Scientific American (link)
[6]
Lees hierover verder in de Zeven Vinkjes van Joris Luyendijk (link)
[7]
Zie onze vorige blog over De Paradox van Begrip van Rosa Eggink
[8]
Zie bijvoorbeeld Pascoe, E. A., & Richman, L. S. (2009). Perceived Discrimination and Health: A Meta-Analytic Review. Psychological Bulletin, 135(4), 531–554. (link)
[9]
p. 40, Xenophobe Machines (2021)
[11]
Lees hier verder over bij Amnesty (link)
[12]
Om precies te zijn is dit een uitleg van Peter Singer door Shelly Kagan. Ik pas het hier toe op de toeslagenaffaire. Zie: Kagan, S. (2016). What’s Wrong with Speciesism? (Society of Applied Philosophy Annual Lecture 2015). Journal of Applied Philosophy, 33(1), 1–21. (link)
[13]
Voor het verhogen van een kans is een correlatie afdoende; echter voor morele relevantie is het eigenlijk interessant of er een causale relatie is. Een behandeling van causaliteit voert te ver voor dit artikel.
[14]
Mannen veroorzaken heftigere ongelukken, begaan meer verkeersovertredingen en rijden vaker met alcohol op. Vrouwen veroorzaken dan weer vaker niet-schadelijke ongelukken. Zie bijvoorbeeld: Sorenson, S. B. (2011). Gender disparities in injury mortality: Consistent, persistent, and larger than you’d think. American Journal of Public Health, 101(SUPPL. 1), 353–358. (link) of Who causes more car accidents men or women. (link)
[15]
Lees hier meer over in een blog van Chris Janssen (link)
[16]
P.18, What's Wrong with Speciesism? (2015)
[17]
Een manier om morele relevantie en relevantie te onderscheiden is door te kijken of er een causale relatie bestaat tussen nationaliteit en fraude. In het geval van een direct causaal verband wordt de variabele moreel relevanter.
[18]
In plaats hiervan stelt Amnesty: “Het gebruik van nationaliteit in risicoprofilering onthult de veronderstelling van de ontwerper, ontwikkelaar en/of gebruiker van het risicoscoringssysteem dat mensen met bepaalde nationaliteiten meer geneigd zouden zijn om fraude of strafbare feiten te plegen dan mensen met andere nationaliteiten.” p.6, Xenophobe Machines (2021)
[19]
P. 43, Autoriteit Persoonsgegevens. (2020). Belastingdienst/Toeslagen: De verwerking van de nationaliteit van aanvragers van kinderopvangtoeslag. Zie (link)
[20]
Het AP schrijft hierover dat alhoewel het valide is informatie te vragen of iemand in aanmerking komt voor kinderopvangtoeslag dat het beter was geweest om te vragen of “bezit de Nederlandse nationaliteit, of EU-nationaliteit met inschrijving in Nederlandse gemeente, of niet EU-nationaliteit en een geldige verblijfstitel”. Een dergelijke indicator zou nauwkeuriger voorspellen of een aanvrager in aanmerking kwam voor toeslag. Dit heet subsidiariteit en voert te ver voor deze blog.
[21]
Om precies te zijn neemt het AP daarin het volgende mee: de gevolgen voor de betrokkene, mate van inperking, negatieve gevolgen en of de betrokkene de inmenging kan verwachten. Autoriteit Persoonsgegevens (Geraadpleegd 2023). Normuitleg grondslag ‘gerechtvaardigd belang.’ (link)
