Hoe racistisch is een algoritme?

Sennay Ghebreab (nu neuro-informaticus aan de Universiteit van Amsterdam) vluchtte als kind uit Eritrea. Hij kwam met zijn ouders in Schiedam terecht – daar was toen plek, kennelijk. En dat terwijl zijn vader bij Philips in Eritrea werkte.

Het was natuurlijk veel logischer geweest als het gezin Ghebreab destijds in Eindhoven was gaan wonen, maar het COA hanteerde (en doet dat nog steeds) de regel dat statushouders komen te wonen waar op dat moment plek is. Helemaal ingericht op capaciteit dus. Maar binnenkort gaat dat veranderen: een algoritme zal dan voor het COA berekenen waar statushouders het best geplaatst kunnen worden. Ghebreab (die ook zo’n algoritme ontwikkelde) vertelt erover tegen Willemijn Veenhoven in De Nieuws BV .

Simpel
‘Het COA gaat statushouders plaatsen op plekken waarvan zij denken dat ze het best kunnen floreren’, legt hij uit. ‘Dat doen ze door te kijken wat een statushouder kan en welke diploma’s hij of zij heeft, en door te kijken op welke plekken bepaalde vacatures of opleidingen beschikbaar zijn die goed matchen met de statushouders.’

Goeie data, een algoritme het werk laten doen en daarna valt het besluit: die-of-die statushouder kan het best in Eindhoven geplaatst worden. Is het zo simpel? ‘Het is in essentie ook heel simpel. Het is niks anders dan een goede match proberen te maken tussen plek en persoon.’ Waarom is dit niet eerder gebeurd? ‘Maatschappelijke instellingen kijken wat betreft kunstmatige intelligentie en algoritmes vaak de kat uit de boom. Het is toch iets nieuws; het zijn geen maatschappelijke of sociale oplossingen, maar technische oplossingen. Voor maatschappelijke vraagstukken. Het heeft tijd nodig om te landen.’

Bevooroordeeld
Fijne bijkomstigheid voor het COA: algoritmes hebben de schijn van onpartijdigheid. De techniek maakt namelijk een keuze, n plaats van een ambtenaar of de politiek. Maar zo simpel is het niet. Ghebreab: ‘Er zijn algoritmes die onderscheid maken tussen donkere mensen en witte mensen. Tussen mannen en vrouwen. Of er worden ouderen gediscrimineerd. Het is niet per se het algoritme dat racistisch of bevooroordeeld is, maar wel de data die gebruikt worden om de algoritmes te trainen. Die zijn bevooroordeeld. Als als data bevooroordeeld zijn, zal de uitkomst dat ook zijn.’

Ghebreab pleit voor diversiteit in data. ‘Het is vaak het resultaat van een gebrek aan diversiteit bij de mensen die de data collecteren of gebruiken.’ Als voorbeeld vertelt hij het verhaal van zelfrijdende auto’s. ‘Die herkennen donkere mensen minder goed. Zij hebben 5 procent meer kans om aangereden te worden door een zelfsturende auto. Daar bleek ook dat donkere mensen niet goed gerepresenteerd werden in de data waarop het algoritme is getraind.’ Hij snapt hoe zoiets kan gebeuren: ‘Je denkt daar niet aan als alleen witte mannen de data collecteren.’

Opiniesite Joop berichtte eerder over racisme bij algoritmes. 'Joy Buolamwini, onderzoeker aan het MIT Media Lab en oprichter van Algorithmic Justice League , kwam de werking van de vooroordelen op het spoor in haar werk met gezichtsanalysesoftware', schrijft Joop. 'De software kon haar gezicht maar niet detecteren, omdat de mensen die het algoritme hadden gecodeerd, geen rekening met haar huidskleur en gezichtsstructuur hadden gehouden. Ze dacht dat het om een eenmalig foutje ging, maar kwam er al snel achter dat het een veel vaker voorkomend 'foutje' is.'

75 procent
Enfin, goeie data gebruiken en een goed algoritme schrijven. In Amerika werken ze al zo, en daar nam de succesvolle inburgering toe met 40 procent. In Zwitserland met 75 procent. Ghebreab is ook enthousiast (al zal het COA overigens niet werken met zijn systeem). Niet alleen voor de statushouders, maar ook voor de mensen die al in het dorp wonen. ‘Dat is het idee. Zo’n algoritme ontwikkel je voor de statushouder, maar de omgeving waar de statushouder komt te wonen heeft er ook wat aan. Dat creëert een veel sterker draagvlak voor het plaatsen van asielzoekers en statushouders.’

Kijk/lees/luister verder
Artikel: Vechten tegen racistische algoritmes (Joop)