Gerrit Timmer (ORTEC) is vanwege zijn expertise op dit gebied gevraagd door de Autoriteit Persoonsgegevens om zijn licht te laten schijnen over een eventuele ‘algoritme-waakhond’. Maar is zo’n waakhond nuttig, en hoe zou hij kunnen opereren? Om die vraag te beantwoorden moet Timmer eerst iets zeggen over algoritmiek in het algemeen.

Geautomatiseerde besluitvorming

Algoritmiek is op zichzelf niet goed of slecht, aldus Timmer: het is gewoon een tool. “In essentie bestaat een algoritme slechts uit een paar rekenregels. De ellende komt vaak voort uit de data waarmee algoritmes wordt gevoed, en een onoordeelkundig gebruik ervan. Het is dus vrij zinloos om te focussen op algoritmiek als zodanig. De focus moet liggen op ‘geautomatiseerde besluitvorming’. Het algoritme is daar slechts een onderdeel van, en in de regel is het niet het meest zorgelijke aspect. Met geautomatiseerde besluitvorming moet zorgvuldig worden omgegaan. Dus: goed nadenken over het ontwerp en de data die gebruikt gaan worden, maar ook kijken hoe het wordt ingezet.”

Bij dat laatste is het volgens Timmer van belang om te toetsen of de geautomatiseerde besluitvorming niet tot ongewenste consequenties leidt. “Als het gaat om zelflerende algoritmes hoort daar nog een kanttekening bij”, voegt hij eraan toe. “Ik ben niet tegen zelflerende algoritmes, maar wel tegen de toepassing daarvan als de versie die in praktijk wordt gebracht niet getoetst is. Na de toets mag het algoritme best verder leren. Maar alleen een getoetste versie zou in de praktijk gebruikt moeten worden. Als er dus een mogelijk verbeterde versie ontstaat omdat het algoritme heeft bijgeleerd, dan moet die nieuwe versie eerst weer uitgebreid worden getoetst vóór ze de eerder getoetste versie mag vervangen.”

En, benadrukt Timmer, vergeet ook de gebruiker niet. “Ook met een tot in den treure geteste auto mag een chauffeur slechts de weg op als hij een rijbewijs heeft. Ook aan de chauffeur worden eisen gesteld, en terecht. Anders maakt hij brokken, zelfs al is de auto veilig. Zo moeten er ook eisen gesteld worden aan mensen die een rol spelen bij de toepassing van geautomatiseerde besluitvorming”. Een eventuele toezichthouder kan volgens Timmer volstaan met eisen dat er beleid komt, en bepalen waar dat beleid aan moet voldoen. “Er moeten kortom eisen worden gesteld aan het ontwerp- en gebruiksproces, en aan degenen die met het algoritme omgaan.”

Vooroordelen zichtbaar maken

Er wordt al decennialang veel energie gestoken in pogingen om bugs in systemen en algoritmes te voorkomen en objectieve fouten te vermijden. De geldende norm is nu dat er helemaal niets op algoritmes aan te merken mag zijn, zegt Timmer. Maar als het gaat om vooroordelen, dan zitten die altijd in de data. “Bij medisch onderzoek wordt daar al veel langer naar gekeken; in fraudetoepassingen veel korter. Je moet nadenken over hoe de bias op te sporen, en checken of dat gelukt is of niet. Daarvoor moet je kijken naar resultaten. Bij de overheid is daar nogal eens iets op aan te merken geweest. Dat heeft volgens mij niet te maken met onwil, meer met onkunde. Maar soms is het ook gewoon heel lastig. Uitvoeringsorganisaties van de overheid, zoals het UWV, hebben de plicht om elke aanvraag te toetsen, en dat kan helemaal niet zonder algoritmes. Er gaat daar ongetwijfeld wel eens iets fout. Maar het alternatief – alles door mensen laten doen – is helemaal niet mogelijk. En áls het al zou kunnen, dan is het mogelijk nog veel slechter. Mensen hebben nu eenmaal vooroordelen, en dat leidt tot veel onrecht.”

Bij de Toeslagenaffaire bleek de discriminatie te zijn geïnstitutionaliseerd. “Dat is uiteraard een drama, maar die vooroordelen speelden mogelijk ook al vóór het gebruik van algoritmiek. Het voordeel van een algoritme is dat biases zichtbaar worden, dat ze op gaan vallen, zodat je er iets aan kunt doen. Bij de mens kun je nooit precies vaststellen wat er gebeurt. Een algoritme is objectiever en transparanter, zodat je erachter komt dat er gediscrimineerd wordt. Dan kun je stappen ondernemen om de vooroordelen eruit te krijgen.”

Leren van fouten

In de Toeslagenaffaire leidt de kritiek op het algoritme feitelijk de aandacht af van de onderliggende oorzaak, vindt Timmer. “Er is nu zware kritiek op een algoritme waarin vooroordelen zijn terechtgekomen die weerspiegelen hoe het vroeger altijd gebeurde. Natuurlijk is het fout als er zo’n vooroordeel in het algoritme terechtkomt, maar het is wel raar om dat erger te vinden dan wanneer een mens het besluit neemt met dezelfde vooroordelen.”

Timmer is zeker van zijn zaak, maar geeft toe dat algoritmiek op dit moment zeker nog niet ideaal is, en soms zoals gezegd zelfs neerkomt op kiezen tussen twee kwaden. “Je kiest voor de oplossing die tot de minste ellende leidt. Die oplossing is niet foutloos. Dat kun je wel wensen, maar dat eisen is onzin. We zijn de laatste jaren doorgeslagen in de opvatting dat risico’s niet meer mogen bestaan. De norm is: er mag niks fout gaan. Maar risico’s zijn niet uit te sluiten. Nu worden dingen verboden omdat ze niet foutloos uitgevoerd kunnen worden. Maar is dat terecht als de oude werkwijze ook niet foutloos is en nog meer nadelen heeft?”

Die angst voor fouten verhindert bovendien innovatie en vooruitgang, denkt Timmer. “Een algoritme kan een bijdrage leveren aan kwalitatief goede beslissingen. Het is verklaarbaar dat de angst voor discriminatie de kop opsteekt: niemand wil dat individuen de dupe worden van een algoritme. Maar ook zonder algoritmiek wordt er gediscrimineerd. De mens is niet perfect. We hebben technologische mogelijkheden die ons kunnen helpen, door met rekenkracht beter vast te stellen hoe tot besluitvorming wordt gekomen, en door dat te toetsen. Het is niet erg als je een keer iets fout doet met een algoritme. Het is erg als het fout blíjft gaan: je moet er wel van leren. Het beleid moet dan ook zijn: voldoende proberen om fouten te vermijden, en fouten herstellen als je ze opmerkt.”

Continue verbeteringscyclus

Een goed uitgangspunt is volgens Timmer om over geautomatiseerde systemen hetzelfde na te denken als over mensen. “Grote bedrijven en instellingen hebben een uitgekiend beleid voor de omgang met mensen: ze stellen eisen aan sollicitanten, aan de selectie van kandidaten, aan de interne opleiding, aan de besluitvorming binnen een team, en ze leggen vast welke beslissingen welke goedkeuring nodig hebben. Ze richten het dusdanig in dat mensen geen beslissingen kunnen nemen die slecht zijn voor de organisatie. Bij technologische systemen gebeurt dat relatief weinig. Er zijn nu nog geen procedures voor, daar waar technologie juist tot betere besluitvorming zou moeten leiden. Ontwerpers, gebruikers, maar ook bestuurders zouden zich moeten afvragen wat voor problemen ze tegenkomen als ze mensen laten beslissen. En dat moeten ze vertalen naar een geautomatiseerd systeem.” Dat betekent dat er gestructureerd moet worden nagedacht vanaf het begin van een keten (bij het ontwerp van het algoritme) tot aan het eind ervan (als het algoritme in gebruik is), én dat er voortdurend moet worden geëvalueerd. “Dat doe je bij mensen ook. Je wilt een continue verbeteringscyclus. Er is meer begrip voor de niet-perfecte besluitvorming van mensen: dan doen we er alles aan om die besluitvorming geleidelijk beter te krijgen. Deze insteek zou ook moeten gelden voor geautomatiseerde besluitvorming.”

Toezicht op het beleid

Een toezichthouder zou volgens Timmer niet moeten kijken naar individuele algoritmes. “Er wordt al zo veel algoritmiek gebruikt, dat het praktisch onmogelijk is voor een toezichthouder om dat rechtstreeks te controleren. Het is in eerste instantie aan de producenten en gebruikers van geautomatiseerde besluitvorming om er voor te zorgen dat hun algoritmiek verantwoord wordt ontwikkeld en gebruikt. Hier moeten ze beleid voor opstellen, vergelijkbaar met het beleid dat ze hebben om de kwaliteit te waarborgen van hun personeel, en van de beslissingen die medewerkers nemen. Dat omvat zaken als het aannamebeleid, de procedures waaraan besluitvorming moet voldoen, de uitvoering ervan (bijvoorbeeld via het 4-ogen-principe) en de evaluaties achteraf.

Eenzelfde zorgvuldigheid is geboden bij het ontwikkelen en toepassen van geautomatiseerde besluitvorming, zegt Timmer. “Het beleid en de procedures zouden bij voorkeur gebaseerd moeten zijn op richtlijnen die per sector kunnen worden opgesteld. De toezichthouder kan eisen stellen aan dit beleid. Zo kan van bedrijven worden verlangd dat ze in hun jaarverslag ingaan op hun beleid, en op de handhaving daarvan. Daarbij zouden de ontwikkelaars en gebruikers van algoritmen gebruik kunnen maken van de protocollen die gelden als het gaat om menselijke besluitvorming. Die zijn er ook op gericht om de kans op een kwalitatief goede beslissing zo groot mogelijk te maken.”

Heel belangrijk bij de ontwikkeling van geautomatiseerde besluitvorming is de betrokkenheid van voldoende gekwalificeerd personeel. “Op z’n minst moeten ze genoeg kennis hebben van de algoritmiek en de IT, maar ze moeten ook relevante domein- of businesskennis hebben.”