Mensenrechtencollege buigt zich over racistische antispieksoftware universiteiten
Een student aan de Vrije Universiteit in Amsterdam dient vrijdag een klacht in bij het College voor de Rechten van de Mens (CvRM). Dat meldt de Volkskrant. De antispieksoftware die de universiteit tijdens de coronalockdowns gebruikte tijdens de online afgenomen tentamens werkt niet goed op de gezichten van zwarte mensen. De student vindt dat de universiteit zich hier beter over had moeten laten informeren.
In de krant wordt beschreven hoe masterstudent Robin Pocornie meermaals problemen ondervond met het inloggen in de tentamenomgeving. De software registreert haar gezicht simpelweg niet en vraagt haar om in een goed verlichte kamer te gaan zitten, waar ze op dat moment al zit. Pas nadat ze een lamp recht in haar gezicht schijnt mag ze inloggen, een kwartier later. Het niet herkennen van haar gezicht gebeurt vaker, een keer wordt ze zelfs tijdens een tentamen automatisch uitgelogd omdat de software – die in de gaten houdt of een student in beeld is en niet overlegt - denkt dat ze er niet meer is. Pocornie maakt uiteindelijk alle tentamens, maar wel met minder tijd en beduidend meer stress.
Het gebruikte softwarepakket is het Amerikaanse Proctorio, dat behalve aan de VU ook door de UVA, TU Eindhoven en Universiteit Twente gebruikt wordt. En het is niet bepaald onomstreden, blijkt uit gebruikerservaringen in de Verenigde Staten: veel zwarte studenten aldaar hebben net als Pocornie de grootst mogelijke moeite om in te loggen wanneer de antispieksoftware wordt gebruikt. Een Amerikaanse software-onderzoeker concludeerde na een test met 11 duizend gezichten dat in meer dan de helft van de gevallen zwarte gezichten niet door Proctorio worden herkend.
Het is al jaren bekend dat gezichtsherkenningssoftware in veel gevallen een racistische bias heeft. De krant schrijft daarover:
Berucht is het voorbeeld van Google Photos, dat zwarte mensen in 2015 aanmerkte als gorilla’s. Hoe donkerder de huid, hoe slechter gezichtsherkenningssoftware presteert, bleek ook uit een studie naar drie grote aanbieders van gezichtsherkenningssoftware uit 2018.Ook worden vrouwen minder vaak herkend als mens, zagen de onderzoekers.Zwarte vrouwen werden in bijna 35 procent van de gevallen niet herkend, tegenover 0,8 procent bij witte mannen.
Een van de redenen hiervoor is dat de software zichzelf patronen aanleert aan de hand van een ingevoerde collectie foto’s van gezichten. Aan de basis hiervan staan veelal witte, mannelijke programmeurs die te weinig oog hebben voor mensen met een niet-witte huidskleur. Het gevolg is dat bij de ingevoerde foto’s veel te weinig gezichten van kleur zitten, waardoor het algoritme zich hoofdzakelijk op witte mensen richt. Zo bleek ook al dat zelf-rijdende auto’s die zijn geprogrammeerd om overstekende voetgangers te ontwijken, dat niet doen wanneer die voetganger zwart is.
Ondanks deze voorhanden zijnde kennis, deed de VU geen onderzoek naar dergelijke tekortkomingen in hun softwarepakket. Pocornie werd na klachten intern van het kastje naar de muur gestuurd. Het verzoek om geen bevooroordeelde software meer te gebruiken en excuses aan te bieden aan benadeelde studenten, weigerde de universiteit. Het onderzoek dat volgens de universiteit wel is ingesteld, wordt uitgevoerd door Proctorio zelf. ‘De software herkent me niet als mens, en de universiteit erkent mijn ervaring niet’ concludeert Pocornie die nu bij het CvRM alsnog haar gelijk wil halen. Het is de eerste keer dat het College een klacht over gezichtsherkenning behandelt.