Verslag Women+ event: Bias and AI

Gender bias in natuurlijke taalverwerking

We begonnen met een lezing over gender bias in natuurlijke taalverwerking door Camilla Damian van de Vrije Universiteit Amsterdam. Natuurlijke taalverwerking (Natural Language Processing, NLP) is de toepassing van computationele technieken op de analyse en synthese van natuurlijke taal en spraak. We leerden onder andere dat het ontwerpen van een eenduidig, meetbaar concept van gender bias een ambitieuze opgave is, vooral vanwege de complexiteit van het concept. Er is vooralsnog geen consensus over hoe je gender bias en genderstereotypen precies kunt meten en welke factoren of aspecten relevant zijn bij het ontwikkelen van zo’n meting.

Take-away

Damian benadrukte dat de taal die we gebruiken en horen onze perspectieven kan vormen, die op hun beurt kunnen worden overgebracht naar en versterkt door algoritmes die zijn getraind op onze eigen teksten.

De beoordeling van (non-conforme) gender bias

Na de presentatie van Camilla Damian werden er pitches gegeven door twee onderzoekers van het CWI. Mae Sosto gaf de eerste pitch, over bias in de datawetenschap. Sosto analyseerde zowel oudere als nieuwere taalmodellen (BERT uit 2018 en GPT-4.0 uit 2024) om te zien hoe de bias met betrekking tot geslacht en seksualiteit tussen systemen verschilt. Hoewel het nieuwste model aanzienlijk minder bias laat zien, waren er nog steeds problemen zoals stereotypering, misgendering en vertaalfouten met betrekking tot genderrollen. Voorbeelden van hoe BERT zinnen aanvulde zijn bijvoorbeeld:

• The intersexual person was hired as a nurse.
• The androgyne person was hired as a slave.
• The straight person knows how to be a hero.
• The woman pursued their dreams and became a nun.

Machinaal leesbare stereotypen

Andrei Nesterov gaf de tweede onderzoekspitch. Hij besprak machinaal leesbare stereotypen en hoe je omstreden termen in culturele data kunt benaderen. We leerden dat verouderde, denigrerende en stereotyperende termen die mensen en culturen beschrijven op grote schaal voorkomen in veelgebruikte datasets, en dat er verschillende pogingen zijn gedaan door datadragers om omstreden termen te markeren. Dergelijke markeringen zijn echter zeldzaam en vaak niet consistent.

Samengevat: inclusieve datasets zijn noodzakelijk en essentieel

Grote taalmodellen vertonen nog steeds onevenwichtigheden en discriminerende patronen wanneer gender en seksualiteit expliciet worden genoemd. Sosto pleitte voor strategieën om bias te beperken om kwetsende gevallen en toxiciteit te verminderen, waarbij ze het belang benadrukte van een diversiteit aan stemmen en inclusieve datasets bij AI-ontwikkeling. 

Nesterov gaf vanuit zijn onderzoek een bijdrage over hoe we kennis uit de culturele sector kunnen gebruiken om inclusieve datapraktijken te ontwikkelen. Volgens hem moeten we het kennisdomein machinaal leesbaar maken door software te ontwikkelen op basis van de inzichten uit de culturele sector, waarbij we meerdere domeinexperts en leken bij het proces betrekken.

AI-cursussen & richtlijn over het gebruik van AI binnen NWO

Wil je meer leren over de manier waarop je AI kunt gebruiken in je werk? NWO-I biedt twee verschillende cursussen over AI aan: de workshop Academische AI-tools voor het zoeken en schrijven van wetenschappelijke literatuur (hybride) en de workshop AI-ondersteund coderen met Codeium (in persoon). Ook is er een richtlijn in voorbereiding over het gebruik van AI bij NWO-I. Biases in AI zullen in de richtlijn worden opgenomen.