Data and AI in the Boardroom: Explainable & Fair AI

Relevantie voor de boardroom

Algoritmes kunnen nog zo accuraat zijn, maar als ze uitgaan van onvolledige data of te veel bias hebben, dan kunnen ze resultaten opleveren die oneerlijk aanvoelen. Het corrigeren daarvan is niet alleen een technisch probleem, ervaart Rogier. Naast oneerlijke resultaten zijn er voldoende redenen voor de boardroom om zich over dit probleem te buigen. “Er is regelgeving van kracht, dus als je het als bedrijf fout doet kun je boetes krijgen of goodwill verliezen. Daarnaast kun je economische kansen missen doordat algoritmes zich conservatief gedragen; bijvoorbeeld doordat ze blijven focussen op doelgroepen die voorheen ook zijn aangesproken.”

Sommige algoritmes zijn oneerlijk

Zoals we eerder hebben uitgelegd in ons artikel omtrent uitdagingen binnen Data Science, zijn algoritmen op zichzelf niet per se oneerlijk, maar zijn machine learning-modellen zo slim als de data waarop ze zijn getraind. Simpel gezegd, algoritmen zetten input (data) om in output, wat in wezen betekent dat ze historische data repliceren. Aangezien deze historische data mogelijk vertekend zijn, zal dit zich vertalen in oneerlijke algoritmen.

Data kan biased zijn ten opzichte van gevoelige groepen. Als dat zo is zal een nauwkeurig algoritme de gevoelige groepen blijven discrimineren. Zelfs als de data eerlijk zijn, zijn de voorspellingen over minderheden nog altijd onnauwkeuriger, waarschuwt Rogier. “Er kan statistisch nu eenmaal minder worden gezegd over kleine groepen. Dat heeft eerder negatieve dan positieve gevolgen. Bij een naïeve aanpak weegt het algoritme ze ook minder zwaar mee in de beoordeling, omdat ze nu eenmaal minder vaak in data voorkomen.”

_________________________________________________________________________________________________

‘Er kan statistisch nu eenmaal minder worden gezegd over kleine groepen.

Dat heeft eerder negatieve dan positieve gevolgen.’

_________________________________________________________________________________________________

Je kunt algoritmes trainen zodat ze gelijke kansen geven aan alle groepen. Maar, zegt Rogier: “Dat gaat wel ten koste van de accuracy, omdat je een morele afweging maakt en tegen het beschikbare bewijs ingaat. Om een voorbeeld te geven: er zijn bedrijven die op basis van data van hun werknemers uit het verleden voorspellen hoe goed een potentiële nieuwe medewerker zal zijn. Maar indien er voorheen voornamelijk mannen op de werkvloer waren, en je niet oppast met modelleren, hebben mannen een grotere kans om aangenomen te worden.”

Fraudedetectie

Algoritmes kunnen gevoed worden met allerlei aspecten: waar mensen vandaan komen, hoe oud ze zijn, van welk geslacht ze zijn, enzovoort. Die selectie kan onbedoelde gevolgen hebben. Rogier: “De Belastingdienst had een fraudedetectiesysteem met als input of iemand meerdere paspoorten had. Dat ging in tegen de Algemene wet gelijke behandeling, die zegt dat je niet mag discrimineren op grond van nationaliteit, ras, gender et cetera. Maar ook als het algoritme niet direct gevoed wordt met gevoelige eigenschappen moet je oppassen. Denk aan verzekeraars. Zij prijzen producten, en daar gebruiken ze postcodes bij. Nu zijn in bepaalde wijken bepaalde nationaliteiten oververtegenwoordigd. Die moeten dan hogere premies betalen. Daar moet je je bewust van zijn en dat moet je kunnen uitleggen.”

Image recognition

Bij image recognition speelt een soortgelijk probleem, zegt Rogier. Zulke software is bijvoorbeeld van belang voor de zelfrijdende auto’s van morgen, die zelfstandig voetgangers moeten herkennen. “Stel dat witte mensen in 99,99% gevallen goed herkend worden en zwarte mensen in 99,98% van de gevallen. Dan lopen zwarte mensen twee keer zoveel gevaar om aangereden te worden. Dat kan natuurlijk niet. Ieder individu moet een even grote kans hebben om herkend te worden. In de medische sector wordt ook steeds meer image recognition gebruikt om aandoeningen te herkennen. Dan moeten mensen met dezelfde fysieke eigenschappen wel vaak genoeg in de dataset zitten.”

Mens vs. algoritme

Algoritmes zijn dus niet perfect. Toch moeten er beslissingen worden genomen en voorspellingen worden gedaan. Kunnen mensen met goede intenties dat beter en eerlijker dan algoritmes? “Ja en nee”, vindt Rogier. “Het voordeel van een menselijk oordeel boven een algoritmisch oordeel is dat een mens beschikt over veel meer inzichten (context, tijdsbesef, normen en waarden) en dus niet beperkt is tot de dataset. Daarnaast heeft de mens het vermogen om logisch te redeneren, iets waar huidige AI-methodes nog niet toe in staat zijn. Een algoritme maakt daarentegen veel beter gebruik van de beschikbare data. Puur op basis van een grote en kwalitatief goede dataset zal een machine-learning algoritme in de praktijk altijd nauwkeuriger presteren dan een mens, of zelfs een groep mensen.”

Kunnen we algoritmes verbeteren?

Het belang van fairness en explainability wordt al langer onderkend. IBM en Google introduceerden al toolkits die helpen om vooroordelen in data te ontdekken, en volgens de Europese Commissie moeten er kwaliteitskaders komen voor het ontwikkelen van algoritmes. Rogier geeft een aantal handvatten voor projecten met gevoelige data. Dit zijn vier stappen die we bij ORTEC volgen om een fair project te garanderen:

Vier stappen naar een fair project

1. Weten hoe de data ontstaan is
   Wees je bewust van het Data Generating Process, en van de gebreken en de kwaliteit ervan. Let op de vooroordelen en de bias die erin kunnen zitten. Onthoud dat een dataset altijd maar een beperkte weergave is van de werkelijkheid, en zelden het volledige beeld geeft.
2. Een assessment maken van bias en minderheden in de data
   Een assessment maken van bias en minderheden in data doe je door bijvoorbeeld te denken aan groepen die wel of geen hypotheek hebben gekregen, of aan minderheden die minder vertegenwoordigd zijn.
3. Het algoritme, waar nodig, inrichten om gelijkwaardige uitkomsten in de hand te werken
   Voor ‘gelijkwaardig’ zijn allerlei wiskundige definities. ‘Hebben mannen en vrouwen evenveel kans gekregen in een bepaald proces? Hadden donkere vrouwen evenveel kans als blanke mannen? Wil je de verhouding proportioneel of absoluut gelijk hebben?’ Daar moet je bewuste keuzes in maken.
4. Een assessment van de fairness van het machine-learning algoritme
   Een assessment van de fairness van het machine-learning algoritme is een controle waarbij je test op de maatstaven die belangrijk worden geacht. Deze maatstaven dienen gemonitord te worden zolang het algoritme wordt ingezet. Daarnaast zorgen we gedurende het hele project dat alle intenties, motivatie en potentiële gevaren goed gedocumenteerd zijn.

_________________________________________________________________________________________________

"Er is behoefte aan transparantie en eerlijke kansen. Mensen willen snappen wat er in die algoritmes gebeurt."

_________________________________________________________________________________________________

Kunnen alle algoritmes eerlijk zijn?

Ondanks alle inspanningen zullen algoritmes nooit perfect eerlijk worden, voorspelt Rogier. “Zoiets bestaat niet, net zoals er geen eerlijk mens bestaat. Er is geen heilige graal in eerlijkheid; wat we eerlijk vinden verandert ook nog eens met de tijd.

Gelukkig kunnen we er wel voor zorgen dat er steeds meer eerlijkheidsaspecten aan algoritmes worden toegevoegd, in plaats van alleen te focussen op nauwkeurigheid. De aandacht hiervoor neemt toe onder druk van wet- en regelgeving, de media en de maatschappij. Facebook is haar eigen algoritmes aan het evalueren. Er is behoefte aan transparantie en eerlijke kansen. Mensen willen snappen wat er in die algoritmes gebeurt en of de afwegingen eerlijk zijn. Dat is ook niet meer dan redelijk.”