Risken med partiska algoritmer

Algoritmer finns överallt. De gör vår onlineshopping personifierad, vårt Netflix-tittande bekvämt och våra preventivmedel hormonfria. Men går de alltid att lita på? Eftersom de designas av människor med fördomar så blir inte algoritmerna alltid objektiva. Joy Buolamwini har forskat på partiska algoritmer inom ansiktsigenkänning på MIT och kommit fram med resultat som inte är speciellt hedersamma för alla AI-aktörer. På Dell Technologies World pratade hon om sin forskning. 

I början av sitt arbete lade hon in ansikten i olika AI-system och märkte där stora skillnader mellan kvinnor och män samt vita och svarta personer. I Amazons system så ansågs Oprah Winfrey vara en man, i IBM Watson så var Serena Williams en man och i Microsofts system så var en ung Michelle Obama en man.

65 procent rätt på svarta kvinnor

Det här ville Joy Buolamwini studera djupare och fortsatte med att lägga in mängder med personer i olika AI-system hos IBM, kinesiska Face++, Microsoft, Amazon och Kairos. 2017 undersökte hon bland annat förmågan hos IBM:s algoritm att sätta rätt kön utifrån ansikten och den totala  korrektheten blev 87,9 procent. Det kanske inte låter så lågt men när hon fördjupade undersökningen till kvinnor och män och olika hudfärger så varierade siffrorna betänkligt. IBM:s algoritm satte rätt kön på 99,7 procent av de vita männen, 92,9 procent av de vita kvinnorna, 88 procent av de svarta männen och 65,3 procent av de svarta kvinnorna.

– Vi hörde sedan av oss till företagen med resultaten och fick svar från en del av dem. Vi hörde inget från Face++, Microsoft lanserade en ny variant i somras och IBM kom faktiskt ut med en ny API dagen efter att vi släppte vår forskning till allmänheten. Då hade de fått upp sin sammanlagda korrekthet till 95,6 procent, så förändring och förbättring är absolut möjligt. 

Bevis på underrepresentation

Samma problematik fanns hos Amazons algoritm, som bland annat används av rättsväsendet i USA. I en undersökning 2018 gissade Amazons algoritm rätt kön på 100 procent av de vita männen men bara 68,6 procent av de svarta kvinnorna.

Enligt Joy Buolamwini är det ett bevis på underrepresentationen av dels kvinnor och dels svarta personer inom tech-världen och i de grupper som designar AI, vilket har skapat en teknik optimerad för bara en liten del av världen.

– Faktumet att tekniken inte klassar svarta ansikten speciellt väl kan bland annat leda till en missidentifiering av misstänkta personer vid brott. När människors liv och värdighet står på spel så måste AI utvecklas och användas med omsorg och övervakning. 

Startat två organisationer

För att försöka göra tekniken etiskt korrekt och inkluderande för alla så har Joy Buolamwini grundat Algorithmic Justice League, som arbetar med att uppmärksamma, identifiera och mildra problemen.

– Vi vill öka medvetenheten om partiska algoritmer och de samhälleliga konsekvenserna av AI. Vi utvecklar också verktyg för att utforska subjektivitet i data samt inkluderande metoder och standarder för design, utveckling och övervakning av AI.

– Jag har också startat nya Safe Face Pledge som ska förhindra missbruket av ansiktsanalys, den laglösa polisanvändningen och där vi kräver insyn i alla myndighetsanvändningar. Än så länge har tre företag skrivit på och vill vara med i rörelsen. 

Men vad kan alla andra göra för att fortsätta arbeta bort problemen med partisk AI och försöka göra världen mer rättvis? Joy Buolamwini har ett antal tips till företagen som utvecklar framtidens teknik och de handlar mycket om att våga ställa rätt sorts frågor.

– Två frågor kan vara: Vilka exkluderas i vår kultur? Vilka fördomar lurar i våra produkter? Överrepresenteras vissa grupper? Vilka känner sig möjligen överskuggade? Och lyssna på tystade röster. Vilka blir inte lyssnade på? Varför blir de nedtystade?

– Det gäller också att se på fördomar som på sin personliga hygien. Man kan inte duscha en gång per år och sedan tro att man är färdig, utan det gäller att hela tiden ha pågående processer för att arbeta bort detta. Vi människor kommer alltid ha förutfattade meningar så vi måste skapa dessa processer som hjälper till att identifiera och adressera dem.

– Våga också drömma och se framför dig hur det ser ut när vi bygger teknik där rättvisa och inkludering är de viktigaste delarna.