Tada wil de maatschappij kritisch bevragen. Dat kan alleen als je ook in staat bent tot een kritische blik op jezelf. We vroegen dr. Merel Noorman en dr. Linnet Taylor van het Tilburg Institute for Law, Technology, and Society (TILT) om op basis van hun wetenschappelijke kennis en jarenlange expertise een kritische blik op Tada te werpen. We zijn blij dat ze hier de tijd voor hebben genomen en een degelijke analyse van de blinde vlekken van Tada hebben gemaakt. We zullen in een volgend blog laten weten hoe we hun ideeën gebruiken om Tada te verbeteren.

De blinde vlekken van Tada

Dr. Merel Noorman en Dr. Linnet Taylor

Tada is een campagne geworden, zo is op de website te lezen. Een campagne om een zestal publieke waarden onder de aandacht te brengen bij, met name, ontwikkelaars van smart city technologieën en beleidsmakers. Het begon in 2017 als een initiatief van de Amsterdam Economic Board, waarbij de Board een groep professionals en burgers uitnodigden om mee te denken over welke waarden zouden moeten gelden in verantwoorde digitale steden. Dit consultatieproces resulteerde uiteindelijke in het Tada manifest bestaande uit zes kern waarden: inclusief, zeggenschap, menselijke maat, legitiem en gecontroleerd, open en transparant, en van iedereen voor iedereen. Het manifest is inmiddels ondertekend door 452 bewoners en 89 organisaties. Sinds 2018 is het ook onderdeel van het coalitieakkoord van de gemeente Amsterdam en geeft daarmee een verdere invulling aan wat de stad verstaat onder ‘verantwoord data gebruik’ en ‘verantwoorde digitale stad’.

Tada als bewustwordingscampagne is een goede eerste stap en staat op één lijn met een reeks van vergelijkbare initiatieven die manifesten, principes en ethische richtsnoeren hebben ontwikkeld om de ethiek van (Big) data en AI-systemen op de agenda te zetten. Ook de EU, diverse bedrijven, zoals Google en IBM en vele andere steden hebben hun eigen lijsten met principes en waarden gepresenteerd om diverse partijen aan te zetten tot verantwoorde innovaties en data gebruik. Dergelijke initiatieven hebben hun effect gehad: de ethiek van AI en data staan bij vele partijen inmiddels hoog op de agenda. En ook het bredere publiek is zich inmiddels in toenemende mate bewust van de ethische vragen die nieuwe slimme technologieën oproepen.

Tegelijkertijd bevatten de diverse lijsten noodzakelijkerwijs vrij abstracte algemene waarden en principes waar op het eerste gezicht iedereen het mee eens zou moeten zijn. Waarden als open, transparant, legitiem, en inclusief zijn zogeheten ‘hoera-woorden’: ze roepen positieve gevoelens op maar kunnen tegelijkertijd alles en niets betekenen. Het hoge abstractie gehalte maakt het mogelijk om de waarden in veel verschillende contexten toe te passen. Maar het draagt ook een risico omdat een lijst van principes als snel de vorm van een gratuite checklist krijgt waarbij de invulling van elke criterium ieder vrij staat. Want wat betekent transparantie precies? Transparantie voor wie? Wie moet het begrijpen en er iets mee kunnen? En is open altijd goed onder alle omstandigheden? Of zitten er ook problematisch kanten aan? Open toegang tot data kan het effect hebben dat het de machtpositie van grote marktpartijen – die de mankracht en het geld hebben om iets met die data te doen – verder versterkt ten opzichte van kleinere partijen. Het is de vraag of dat altijd wenselijk is.

Het is dus inmiddels ook tijd om te kijken naar wat al die principes, waarden en richtsnoeren in praktijk betekenen. De organisatie achter Tada is zelf ook bezig met de implementatie van de waarden en geeft workshops om projecten te helpen meer specifieke invulling te geven aan de zes waarden. Op de site stellen de medewerkers van Tada dat het “Doel van de workshop is dat deelnemers ethische dilemma’s leren herkennen in het digitale domein en vaardigheden ontwikkelen om met deze dilemma’s om te gaan. Tijdens de workshop wordt gewerkt met casussen uit de praktijk van de organisatie.” Ook dit is weer een mooie vervolgstap om de ethische aspecten van slimme technologieën onder de aandacht te brengen en verder te kijken naar wat de zes waarden in praktijken betekenen.

Het kan hier echter niet bij blijven, met name omdat de Tada aanpak een aantal blinde vlekken heeft. Ten eerste is het risico van een afgebakende lijst met waarden dat het blind maakt voor andere waarden en belangen. Zo staan solidariteit en duurzaamheid bijvoorbeeld niet op het lijstje. En open en transparant zijn zeker van belang voor bijvoorbeeld een crowdmanagementsysteem, maar zo’n project zal ook oog moeten hebben voor andere vragen, zoals over vrijheid van beweging of de verdeling van de lusten en lasten van de technologie. Natuurlijk is het handig om te beginnen met een klein lijstje, en met een beetje goede wil zou je solidariteit ook onder ‘inclusief’ of ‘voor iedereen en door iedereen’ kunnen scharen. Maar het gekozen lijstje getuigt ook van een bepaald (politiek) perspectief. De prioritering van deze specifieke waarden is niet ‘neutraal’. Het feit dat dit lijstje is geformuleerd door een selecte groep van professionals en burgers roept de vraag op of een ander select gezelschap wellicht tot een ander lijstje was gekomen.

Bovendien kunnen waarden contextafhankelijk zijn en op meer manieren worden geïnterpreteerd. Transparantie van een digitaal systeem betekent voor een ambtenaar wellicht wat anders dan voor de burger die de invloed van het systeem ondervindt. Lijstje met kernwaarden kunnen zelfs gebruikt worden om onderdrukkende technologie te rechtvaardigen. De geschiedenis van digitale technologie leert ons dat de technologie vaak is gebruikt op manieren die bepaalde bevolkingsgroepen in steden disproportioneel benadelen, binnen de kaders van de wet en in overeenstemming met waarden die een meerderheid van de bevolking onderschrijft. Denk bijvoorbeeld aan de surveillance technologieën die momenteel op grote schaal worden ingezet in Hong Kong. Bovendien kunnen waarden ook met elkaar in conflict zijn. Denk aan het welbekende voorbeeld van veiligheid en privacy. Wie maakt dan uiteindelijk de beslissing over welke waarden of welke interpretatie prioriteit krijgen? Het idee van verantwoorde digitale steden zou dus niet alleen oog moet hebben voor een afgebakende set van waarden, maar ook voor de politiek van waarden.

Dat brengt ons op de tweede blinde vlek. Het Tada manifest is redelijk techno- of data-centrisch. Het is gericht op de ontwikkeling van de technologie. De blinde vlek die daarbij kan optreden is dat andere perspectieven op een probleem of fenomeen over het hoofd worden gezien. Tada richt de aandacht op het ontwerpproces en de waarden die de ontwikkelaars van systemen in de technologie bouwen, maar richt zich minder op de onbedoelde effecten van het gebruik van de technologie, zoals hoe burgers de technologie ervaren, potentiële manipulatie van de technologie door derden of de mogelijkheid van function creep (waar de technologie voor andere doeleinden wordt ingezet dan waar hij oorspronkelijk voor ontworpen was).

Een derde mogelijke blinde vlek die hier tot slot uit volgt is de verankering van publieke waarden in de institutionele structuren waar slimme technologieën deel van uitmaken. Een ontwikkelteam kan met de beste bedoelingen het systeem geheel volgens de Tada waarden (en meer) ontwikkelen, maar als er niet gekeken wordt naar hoe deze waarden onderdeel zijn van de checks and balances rondom het systeem en als de instituties niet ontvankelijk zijn voor het publiek dat deze waarden wel of niet omarmd, zijn lijstjes van waarden slechts goede sier voor de bühne.

Aandacht voor kernwaarden bij het ontwerp, zoals Tada voorstaat, is absoluut nodig, maar de waarden-gebaseerde inbedding van de technologie in bestaande praktijken en instituties en het omgaan met onverwachte en onbedoelde effecten moet daarnaast een centraal onderdeel zijn van de governancestructuren rondom de technologie.