Kunstmatige intelligentie kan discrimineren. Hoe is dit te voorkomen?
Wat hebben genderidentiteit en digitale technologie met elkaar te maken? Ze zijn samen onderwerp van onderzoek bij de Universiteit Leiden. Onderzoekers Tessa Verhoef en Eduard Fosch-Villaronga van de faculteiten Wiskunde en Natuurwetenschappen en Rechten gaan de wisselwerking tussen kunstmatige intelligentie en genderidentiteit onderzoeken. Ze krijgen daarvoor een beurs uit het programma Global Transformations and Governance Challenges (GTGC).
Tessa Verhoef legt uit dat nieuwe wereldwijde systemen kunnen discrimineren op gender als ze niet goed zijn ingericht. ‘We onderzoeken wat de gevolgen zijn van genderbepaling door kunstmatige intelligentie (AI). Een systeem dat mensen een fout label geeft of discrimineert kan natuurlijk heel kwetsend en schadelijk zijn, met name voor bijvoorbeeld mensen uit de LGBTQIA+-gemeenschap.’
Ingrijpende gevolgen
‘Geautomatiseerde herkenningssystemen worden steeds belangrijker in de samenleving en ondersteunen bijvoorbeeld besluitvorming die ingrijpende gevolgen kan hebben voor burgers. Denk aan een automatische afwijzing van een online kredietaanvraag en zelfs verkeerde diagnoses van bepaalde ziekten.’ aldus Eduard Fosch-Villaronga (universitair docent Rechten, Robots en AI).
Wereldwijd is er bezorgdheid dat automatische herkenningssystemen bestaande vooroordelen over geslacht, leeftijd, ras en seksuele geaardheid, verergeren en versterken. ‘Vooral over de gevolgen van automatische genderclassificatie bestaat weinig inzicht en men onderschat vaak de gevolgen. Men maakt van genders een stereotype en ook al bestaat er een sterke overtuiging van wat gender is of zou moeten zijn, wordt dit toch te simplistisch gebruikt en opgevat.'
Vooroordelen
’In eerder onderzoek vonden we bijvoorbeeld dat Twitter veel vaker classificatiefouten maakt bij vrouwen en de LGBTQIA+-gemeenschap dan bij heteromannen. Dit is niet alleen vervelend, maar kan ook pijnlijk zijn. Ook zien we dat taalapplicaties genderstereotypen reproduceren, waarbij vrouwelijke woorden vaker worden geassocieerd met familie-termen, terwijl mannelijke woorden vaker worden gekoppeld aan carriere-woorden.'
Schadelijke en verouderde stereotypen en vooroordelen kunnen op deze manier zelfs versterkt worden. Ook in andere toepassingsgebieden zoals de gezondheidszorg kunnen vooroordelen leiden tot fatale gevolgen, en dat is zeer zorgelijk.
Ethische richtlijnen
‘Er zijn twee internationale mensenrechtenverdragen die schadelijke en onrechtmatige stereotypering verbieden, maar die zijn geschreven vanuit het oogpunt dat "man" en "vrouw" de enige herkenbare genders waren. Nu kennen we veel meer genders die niet in de verdragen staan. Ook bieden de huidige ethische regels voor AI onvoldoende houvast op dit gebied. We gaan nu onderzoeken hoe we deze regels kunnen verbeteren.’ aldus Fosch-Villaronga.
Zie hieronder een korte introductie van hun onderzoek. Bron: YouTube kanaal Sleutelstad
Vanwege de gekozen cookie-instellingen kunnen we deze video hier niet tonen.
Bekijk de video op de oorspronkelijke website ofDit project is een samenwerking tussen de onderzoeksdisciplines Computer science, Rechten, Filosofie, Politiek en Gender studies. Naast een literatuurstudie en een voorlopig onderzoek worden er interdisciplinaire workshops georganiseerd. Zo ontstaat aan de Universiteit Leiden een gemeenschap rond het thema diversiteit en inclusie in AI en wordt de basis gelegd voor grotere subsidieaanvragen en vervolgprojecten.