“Met de inzet van algoritmen kun je de stad eerlijker maken”, zegt Maarten Sukel. De AI specialist werkt voor het CTO Innovatieteam van de gemeente Amsterdam. Het team gebruikt nieuwe technieken om problemen in de stad aan te pakken. Er wordt gewerkt aan projecten als route optimalisatie voor vuilniswagens en het voorspellen en spreiden van drukte. Maar aan de inzet van nieuwe technieken zitten ook risico’s verbonden. En daar moet je transparant over zijn, vindt Sukel.

Maarten Sukel. AI specialist CTO Innovatieteam.

In gesprek met Sukel vertelt hij enthousiast over de positieve bijdrage die algoritmen aan de stad kunnen leveren. Het kan de stad duurzamer, efficiënter en vooral ook eerlijker maken. Maar hij wijst ook op de risico’s. Automatisering kan onbedoeld het effect hebben dat ongelijkheid binnen de stad juist wordt vergroot. De gemeente Amsterdam onderzoekt daarom verschillende methoden om de eerlijkheid van algoritmen te waarborgen. In dit artikel komen een paar van die methoden aan bod. Zo vertelt Sukel over het belang van transparantie, de functie van het Tada manifest en het ontwikkelen van een audit voor algoritmen.

Een voorbeeld van een algoritmische toepassing in de stad

Eén van de projecten waar het Innovatieteam aan heeft meegewerkt, is het nieuwe meldsysteem Signalen Informatievoorziening Amsterdam (SIA). Hiermee kunnen Amsterdammers meldingen doen over de openbare ruimte en overlast. Met behulp van machine learning worden meldingen automatisch gecategoriseerd en naar de juiste afdeling gerouteerd. Eén van de doelen is om de communicatie tussen de gemeente en de burger makkelijker en duidelijker te maken. Sukel: “Vroeger moest iemand in gemeente jargon beschrijven wat er aan de hand is. Bij een melding over afval bijvoorbeeld: is het huisvuil, zwerfvuil, grofvuil, bedrijfsafval? Maar mensen weten niet wat de gemeente daarmee bedoelt. Ze denken bijvoorbeeld: het komt uit een huis dus het is huisvuil. En dan kan je hebben dat een bezemwagen komt om een bank op te halen. Het lijkt triviaal maar die meldingen komen in grote getale binnen. Dit jaar worden 250.000 meldingen op deze manier rondgestuurd.”

Een tweede voordeel is dat alle meldingen nu in één venster gemeld kunnen worden. Vroeger moest de burger op zoek naar het juiste formulier voor een te hard varende boot of het melden van geluidsoverlast. “Nu schrijf je gewoon ‘boot vaart te hard’”, zegt Sukel. Hij laat een demo zien van hoe de applicatie achter de schermen werkt. Het algoritme kent een melding automatisch hoofd- en subcategorieën toe. Sukel: “Dat gebeurt op basis van meer dan een half miljoen oude meldingen. De ervaring van al die eerdere meldingen zit in dit model. Dat zou voor mensen natuurlijk niet te doen zijn.”

Nieuwe technieken onthullen oude vooroordelen

Het toepassen van nieuwe technieken brengt nieuwe inzichten met zich mee. De concentratie mondige burgers is in de ene wijk hoger dan in de andere. Vanuit een wijk met veel mondige bewoners komen daardoor meer meldingen binnen. “In sommige buurten wordt veel gemeld en daar wordt ook veel opgelost en in andere buurten niet”, zegt Sukel. “We wisten al wel dat er in bepaalde buurten iets meer wordt gemeld. Maar dat wordt steeds duidelijker naarmate je die data beter gaat vastleggen. Het ligt niet aan het algoritme want dat is alleen aan het leren herkennen waar iets over gaat. Maar daardoor wordt het wel blootgelegd.”

Dat blootleggen van ongelijkheden maakt dat algoritmen kunnen bijdragen aan een eerlijkere stad. Processen die door mensen worden uitgevoerd, zijn ook niet altijd eerlijk. Wanneer er een algoritme wordt ontworpen voor zo’n bestaand proces, wordt er op een nieuwe manier naar gekeken. Daardoor kunnen gebreken die al in het proces aanwezig waren, aan het licht komen. Die kunnen dan worden gecorrigeerd zodat het proces eerlijker wordt. Sukel: “Als een algoritme seksistisch of racistisch blijkt te zijn, wordt vaak de schuld bij de techniek gelegd. Maar als een model dat doet op basis van oude data, dan is het waarschijnlijk dat die problemen er al waren. Die leg je bloot als je er een algoritme voor maakt. Het is zonde om dan te besluiten de techniek niet te gebruiken. Daarmee gooi je een potentieel hulpmiddel weg. Het is een signaal om te zeggen: we moeten dit anders gaan doen.”

Sukel vervolgt: “Neem bijvoorbeeld de volgende fictieve casus. Stel, je bent op zoek naar woonfraude en doet daarin bepaalde aannames. Bijvoorbeeld dat woonfraude vooral voorkomt in buurten met veel sociale huurwoningen. Vervolgens ga je die buurten extra controleren en dan zal je ook meer fraude vinden. Je bent jezelf dan heel erg aan het bevestigen. Je kunt dat oplossen door je algoritme of je processen aan te passen. Bijvoorbeeld door willekeurige steekproeven te nemen om te kijken of je aannames kloppen. Bij statistiek is dat gebruikelijk maar bij veel processen bij de gemeente doen we dat niet, denk ik. Je kunt gebreken in bestaande processen blootleggen als je er een algoritme voor maakt. Ik zie daar heel veel kansen om de stad eerlijker te maken.”

Gebroken stoeptegels vinden met big data

Niet alleen leggen algoritmen bestaande ongelijkheden bloot. Sukel ziet ook mogelijkheden om met nieuwe toepassingen die ongelijkheden te verhelpen. “We zijn nu met experimenten bezig om te zorgen dat die gebieden waar nu minder gemeld wordt, evenveel worden geholpen. We onderzoeken bijvoorbeeld of het mogelijk is om zaken te melden door het sturen van een foto. Misschien dat je daarmee een andere doelgroep aanspreekt.”

Nog verder in de toekomst hoopt Sukel ongelijkheden tussen melders en niet-melders helemaal op te lossen: “Stel dat burgers helemaal niets meer hoeven te melden en dat we alles gewoon oplossen voordat het een probleem is.” Sukel combineert zijn werk bij het Innovatieteam met een PhD onderzoek aan de UvA. Hij bestudeert hoe je met verschillende databronnen problemen in de stad kan opsporen. “Een project dat we nu willen gaan doen is scannen op afval. Nu al rijden er scanauto’s rond om te controleren op foutparkeren. Die zouden ook kunnen gaan scannen op vuilniszakken (video) of losliggende stoeptegels. Maar die techniek is nog in een vroeg stadium. De scanauto’s zullen niet volgende week door de straten rijden.”

Methoden om algoritmen eerlijker te maken

Het toepassen van algoritmen kan ongelijkheid verminderen maar het risico bestaat ook dat ongelijkheid juist wordt vergroot. Als zo’n fout als in het fictieve woonfraudevoorbeeld niet wordt gecorrigeerd, kan die fout onbedoeld nog veel efficiënter worden uitgevoerd. De gemeente Amsterdam onderzoekt daarom verschillende manieren om algoritmen eerlijker te maken. Eén daarvan is het implementeren van de zes Tada principes voor een verantwoorde digitale stad. Sukel zegt daarover: “Door Tada word je bewuster. Dat je zegt: dit zijn de zes waarden die we met zijn allen willen naleven. Dat geeft een duidelijk kader en een doel.”

Algoritmische audit

Een andere methode waaraan wordt gewerkt, is de ontwikkeling van een audit voor algoritmen. Net zoals je bedrijfsprocessen kan laten toetsen op vooraf bepaalde criteria, moet dit er ook komen voor algoritmen. Amsterdam ontwikkelt de audit samen met KPMG en het SIA meldsysteem is daarbij het eerste proefkonijn. “Het meldsysteem is een casus waarvan we weten dat het niet heel gevoelig ligt”, zegt Sukel. “Met de audit zijn we helemaal aan het uitpluizen wat er fout kan gaan. De audit heeft veel publiciteit gehad. Het is goed dat je er met zoveel mensen op inzoomt. Daardoor komt alles bloot te liggen. Alleen al door te zeggen ‘we doen een audit’ wordt er al veel over gesproken, veel over nagedacht. Het genereert aandacht voor de effecten van algoritmen. Wat het framework van de audit precies gaat worden, weten we nog niet omdat het project nog niet is afgerond.”

Uitlegbaarheid van algoritmen

Een ander aandachtspunt voor een eerlijke digitale stad is wat in het Tada manifest ‘de menselijke maat’ wordt genoemd. Het leven in een stad die algoritmes inzet, moet voor burgers wel begrijpelijk blijven. De uitlegbaarheid van algoritmen is daar een onderdeel van. Sukel: “Dit is een heel vakgebied. Je hebt hele onderzoeksgroepen bij de UvA die hiermee bezig zijn. Die stellen vragen als: ‘Hoe leg ik uit dat een model bepaalde keuzes maakt?’ Voor het ene model is dat makkelijker dan het andere. Het tekstmodel van het SIA meldsysteem kan ik makkelijk uitleggen. Je zou het kunnen zien als een beslisboompje: een lijstje voorwaarden waar iets aan moet voldoen om in een bepaald vakje gestopt te worden. Je kunt dan precies navolgen waarom een bepaalde beslissing is gemaakt. Maar als je het over beeldherkenning hebt, dat zijn hele ingewikkelde algoritmes die ook vrij nieuw zijn. We weten ook niet goed hoe die werken, dus die zijn niet echt uitlegbaar.”

“Dat verschil in de uitlegbaarheid maakt uit voor hoe je algoritmes toepast in je processen”, zegt Sukel. “Ik werk veel aan projecten in de openbare ruimte. Daar kan je wat verder gaan met de inzet van nieuwe technieken. Maar als het gaat over processen die gaan over personen, die ingrijpen op het leven van mensen, dan moet je het veel beter kunnen uitleggen. In zo’n geval zou je kunnen besluiten een algoritme alleen een adviserende rol te geven en de beslissingen bij mensen te leggen. Je hoeft niet blind op een algoritme te gaan. Je kan ook een combinatie hebben van mens en machine.”

“Door transparant te zijn, kun je van elkaar leren”

Een eenduidige aanpak om de eerlijkheid van algoritmen te waarborgen bestaat nog niet, zegt Sukel. “De casussen zijn zo divers dat er niet één oplossing bestaat. Het is vooral belangrijk na te blijven denken: Is het oneerlijk wat hier gebeurd? Zit hier een bias in? Worden mensen benadeeld?” Een belangrijke benadering om dat soort vragen te stimuleren is transparantie. “Bij het implementeren van het meldsysteem zijn we ook zo transparant mogelijk: we delen de broncode, we organiseren meetups waar mensen vragen kunnen stellen en ik schrijf artikelen over hoe het werkt. Je wilt eigenlijk precies laten zien wat je doet. Als er dan fouten in zitten, kunnen mensen het zeggen. Het is goed om met meerdere mensen samen te werken en samen keuzes te maken. Want in je eentje kan je niet alles overzien. En als je transparant bent dan werk je met iedereen samen.”

Sukel legt uit wat hij daarmee bedoelt. “Door te delen leer je het snelst. Veel gemeenten en bedrijven zijn het nu allemaal zelf aan het ontdekken. Ze lopen tegen dezelfde problemen aan en iedereen is op zichzelf een oplossing aan het zoeken. Terwijl de techniek toch over de hele wereld hetzelfde is. Door transparant te zijn, kun je van elkaar leren.”

Auteur: Tessel Renzenbrink