Tammy Dobbs, een inwoner van Arkansas in de Verenigde Staten, heeft zich aangemeld voor een overheidsprogramma om haar te helpen met haar Cerebrale Parese. Acht jaar na haar registratie begon de overheid een geautomatiseerd beslisingssysteem te gebruiken om het aantal zorguren te berekenen. Zonder uitleg of discussie wees het systeem haar 24 uur minder per week toe dan ze eerder ontving.
Het voorbeeld van Tammy is slechts een van vele. Rapporten van organisaties als het AI Now Institute en boeken zoals Automating Inequality van Virginia Eubanks wijzen op de gevolgen van toewijzingssystemen en voorspellende risicomodellen die groepen mensen categoriseren op basis van gegevens. Beoordelingen per geval kunnen ook gebrekkig of bevooroordeeld zijn, maar geautomatiseerde besluitvorming heeft een veel grotere impact op de bevolking.
Reguleren van geautomatiseerde beslissingssystemen
Om deze systemen te reguleren, heeft een aantal organisaties dat zich bezighoudt met de sociale impact van automatische systemen ethische richtlijnen opgesteld voor artificiële intelligentie (AI). Natuurlijk is elk AI-systeem anders - een algoritme dat spam filtert, heeft aanzienlijk minder sociale impact dan degenen die beslissingen in de gezondheidszorg nemen - maar ze leiden allemaal tot een reeks vragen. Wie bepaalt welk AI-systeem grotere risico's oplevert voor individuen dan andere? Wie is verantwoordelijk voor de impact van een AI-systeem en in welke mate?
Om het discours met betrekking tot deze kwesties in kaart te brengen, hebben we een reeks bestaande ethische richtlijnen bestudeerd. Ze richten zich voornamelijk op de Europese context en zijn ontworpen voor verschillende domeinen: maatschappelijke organisaties, onderzoeksgroepen, internationale organisaties en overheden. Zijn deze ethische hulpmiddelen nuttig voor het beheer van een AI-project? Wie is hun doelgroep en naar welk deel van het proces wordt verwezen? Dit is wat we hebben geleerd.
Richtlijnen bestuderen: enkele overwegingen
Overheden en gemeenten maken op dit moment al gebruik van systemen voor automatische besluitvorming. In Nederland verzamelt het omstreden Systeem Risico Indicatie (SyRi) een combinatie van gegevens van burgers om op basis van risico-indicatoren een inschatting te maken of burgers de wet overtreden door het uitkeringssysteem te bedriegen. Burgers weten niet of en hoe hun gegevens worden gebruikt en wanneer ze als risico zijn geclassificeerd.
Gevallen met een grotere sociale impact zoals deze benadrukken de noodzaak om te overwegen en te beoordelen hoe en in hoeverre geautomatiseerde beslissingen de samenleving beïnvloeden. Zullen ze bepaalde groepen discrimineren? Zullen werknemers worden vervangen als gevolg van het gebruik van deze systemen? In andere contexten zoals onderzoeksgebieden moeten we speciale aandacht besteden aan technische beveiliging, robuustheid en transparantie, vooral wanneer het om het gebruik van persoonsgegevens gaat.
Bijna alle richtlijnen die we hebben bestudeerd, hebben overeenstemming bereikt over een aantal principes, zoals verklaarbaarheid, eerlijkheid en verantwoordelijkheid, maar de manier waarop deze principes worden gewaarborgd, verschilt per geval. AI4People richt zich op meer abstracte principes, terwijl Center for Democracy and Technology (CDT) concrete technische overwegingen biedt. Slechts enkele organisaties (meestal onderzoeks- en maatschappelijke organisaties) hebben expliciet het belang van ‘labeling’ genoemd. Ze dringen erop aan dat burgers zich ervan bewust moeten zijn dat ze met een machine omgaan en dat duidelijk is wie verantwoordelijk is voor de gevolgen van het gebruik van AI.
Over het algemeen hebben de meeste van deze richtlijnen betrekking op een breder publiek: ze betreffen het ontwerp, de bouw, de implementatie en het beheer van de hele cyclus van het AI-systeem. Vanuit het perspectief van bruikbaarheid in de publieke sector en governance van AI-systemen bevatten ze allemaal waardevolle informatie voor reflectie. Sommige richtlijnen zijn echter beter geschikt voor de publieke sector en bieden hulpmiddelen die ambtenaren kunnen gebruiken. De European Union’s High Level Expert Group on Artificial Intelligence geeft bijvoorbeeld een effectbeoordeling, waarin een reeks relevante vragen worden opgesomd die ambtenaren en andere betrokken partijen op hun eigen projecten kunnen stellen (p.26-31).
In de meeste richtlijnen wordt één probleem erkend: elk project is contextafhankelijk, dus we kunnen niet op een reeks uniforme principes rekenen. Deze richtlijnen zijn daarom nuttig om een discussie op gang te brengen over de ethische overwegingen van een AI-systeem, zodat principes worden ingebed in de beslissingen en acties van alle betrokken actoren in alle fasen van de levenscyclus van een AI-systeem.
Deze richtlijnen zijn een stap vooruit en kunnen ons helpen mensen zoals Tammy te beschermen tegen gebrekkige systemen. Dit vereist een voortdurende inspanning om ethische en sociale wetenschappers bij het proces te betrekken, om algoritmen begrijpelijk te maken en goede controlemechanismen te ontwikkelen.
Lees het volledige overzicht van de bestudeerde richtlijnen (ENG).
