Het toepassen van algoritmen kan beslissingsprocessen beter en eerlijker maken dan ze ooit zijn geweest, zegt Cathy O’Neil. Zo’n positieve kijk op datagedreven besluitvorming, is niet het eerste wat je van haar verwacht. De data analist schreef Weapons of Math Destruction. Het boek waarschuwt voor de schadelijke gevolgen die inzet van algoritmen kan hebben voor individuen en de maatschappij. Ze benadrukt dan ook dat er nog veel moet gebeuren: “We moeten nog veel werk verzetten maar het gaat ons lukken. En Amsterdam loopt daarin voorop en wijst de weg.”

O’Neil was in Amsterdam op uitnodiging van auditbureau KPMG en de gemeente Amsterdam om hen te adviseren over het gebruik van algoritmen. In één van de sessies ging ze met de Tada waarden aan de slag. Zo’n twintig dataprofessionals gingen in stadsarchief de Bazel met haar in gesprek. De vraag die centraal stond, is hoe je de ethische waarden uit het Tada manifest omzet in vereisten (requirements). Dat wil zeggen, concrete technische vereisten die systeemontwerpers en bouwers praktisch kunnen toepassen.

Beleid vertalen, niet bepalen

Uit het gesprek bleek dat datawetenschappers hier grote behoefte aan hebben. Want eigenlijk is iedereen het wel eens over ethische waarden. Natuurlijk wil iedereen dat de waarden inclusief en transparant in systemen worden ingebakken. Maar zodra je dat in de praktijk gaat toepassen, komen er moeilijke vragen. Als twee waarden conflicteren bijvoorbeeld, welke laat je dan zwaarder wegen? Veel van dat soort moeilijke beslissingen komen nu op het bord van dataprofessionals terecht.

O’Neil zei daarover: “Op dit moment zijn datawetenschappers de facto beleidsmakers. Dat is niet juist. Daarom hebben we Tada zo hard nodig. Datawetenschappers zouden niet verantwoordelijk moeten zijn voor het nemen van een besluit maar voor het implementeren van een besluit. Het beleid moet bepaald worden in het publieke debat. Datawetenschappers moeten beleid vertalen, niet bepalen.”

Hoe maak je Tada principes concreet?

Over hoe dat moet, geeft O’Neil advies: “Als je een Tada principe concreet wil maken, heb je een specifiek scenario nodig. Anders praat je over alles tegelijk.” Als je een casusstudie doet is het dus niet voldoende om te zeggen: implementeer de Tada waarden in een algoritme dat woonfraude detecteert. Je moet een specifieke context geven. Bijvoorbeeld: illegale vakantieverhuur via Airbnb. O’Neil: “Je kan niet gewoon zeggen: hier is een algoritme. Je moet daar aan toevoegen hoe het wordt gebruikt. Wat zijn de consequenties voor mensen die vals worden beschuldigd? Wat gebeurt er over twintig jaar als gevolg van het algoritme? Je moet echt de hele context doordenken, voordat je kan zeggen hoe je de waarden gaat toepassen. Dat is het grootste hiaat in hoe mensen algoritmen begrijpen. Ze denken dat je een algoritme kan evalueren. Dat kan niet. Je kan een algoritme alleen evalueren binnen een context.”

Langzaam en frustrerend proces

Evalueren binnen een context klinkt als een hoop werk. Het zou betekenen dat elk algoritme dat wordt toegepast – of tenminste die met sociale consequenties – grondig onder de loep moet worden genomen. Na afloop van de werksessie vraag ik O’Neil tijdens een interview of zij dat inderdaad bedoelt. “Ja, dat is wat er moet gebeuren”, antwoordt ze. “Het is een lastige, langzame en frustrerende conversatie die we absoluut moeten voeren. Tada is precies datgene wat we moeten doen. We moeten er voor zorgen dat onze waarden in algoritmen worden geïmplementeerd. En dat is een moeilijke opgave. We hebben veel werk te verzetten maar het gaat ons lukken. Het is spannend en enerverend. En Amsterdam loopt daarin voorop en wijst de weg.”

Betere beslissingsprocessen

Het inzetten van algoritmen zou beslissingsprocessen zelfs eerlijker kunnen maken dan ze ooit zijn geweest, zegt O’Neil. Ze illustreert haar punt met een voorbeeld. “Amazons algoritme voor sollicitatieprocedures bleek seksistisch te zijn. Ze besloten het daarom niet te gebruiken. Ik ben blij dat ze het gecontroleerd hebben en het nooit hebben ingezet. Dat is vooruitgang. Maar je zou meer kunnen doen. Want wat betekent het als je een menselijk proces codificeert en er dan achter komt dat het seksistisch is? Het betekent dat het menselijke proces seksistisch is. Wat ik graag had gezien is dat Amazon had gezegd: ‘we hebben dit algoritme, het is seksistisch en we gaan het verbeteren. En dan gaan we het gebruiken want het is minder seksistisch dan het menselijke proces dat het vervangt.’ Helaas zijn we nog niet in deze fase. Maar idealiter komen we daar. Dan ga je daadwerkelijk de fouten die wij mensen maken opruimen, in plaats van simpelweg reproduceren en propageren.

“Zodra we beslissingsprocessen nauwkeurig gaan onderzoeken, worden ze veel transparanter, veel meer waarden geladen”, besluit O’Neil. “Als we kunnen bereiken wat we vandaag hebben gezien [tijdens de Tada sessie]. Als we deze waarden kunnen omzetten in regels die datawetenschappers kunnen vertalen in code. En als we kunnen monitoren dat die waarden blijvend worden ondersteund. – En ik blijf benadrukken dat dat moeilijk is. – Maar het zou heel enerverend zijn als we daadwerkelijk de gesprekken voeren over het proactief implementeren van waarden in algoritmen. Dat is het beste waar we op kunnen hopen: dat algoritmen onze waarden reflecteren.”

Volg Cathy O’Neil op haar blog Mathbabe.org
Foto: Cathy O’Neil.

Auteur: Tessel Renzenbrink
Foto: Hans Kleijn