Genom att surfa vidare godkänner du att vi använder cookies. Jag förstår

En smartare it-nyhetssajt

Risken med partiska algoritmer

Ett problem med dagens AI-utveckling är att tekniken oftast designas av vita personer och män. Det menar forskaren Joy Boulamwini som granskat algoritmer inom ansiktsigenkänning hos olika storföretag och där kunnat bevisa att färgade personer och kvinnor misskrediteras. 

Text Fredrik Adolfsson Foto Fredrik Kron 16 maj 2019 digit

joy-buolamwini-nära.jpg

Joy Buolamwini på scen under Dell Technologies World.

Algoritmer finns överallt. De gör vår onlineshopping personifierad, vårt Netflix-tittande bekvämt och våra preventivmedel hormonfria. Men går de alltid att lita på? Eftersom de designas av människor med fördomar så blir inte algoritmerna alltid objektiva. Joy Buolamwini har forskat på partiska algoritmer inom ansiktsigenkänning på MIT och kommit fram med resultat som inte är speciellt hedersamma för alla AI-aktörer. På Dell Technologies World pratade hon om sin forskning. 

I början av sitt arbete lade hon in ansikten i olika AI-system och märkte där stora skillnader mellan kvinnor och män samt vita och svarta personer. I Amazons system så ansågs Oprah Winfrey vara en man, i IBM Watson så var Serena Williams en man och i Microsofts system så var en ung Michelle Obama en man.

65 procent rätt på svarta kvinnor

Det här ville Joy Buolamwini studera djupare och fortsatte med att lägga in mängder med personer i olika AI-system hos IBM, kinesiska Face++, Microsoft, Amazon och Kairos. 2017 undersökte hon bland annat förmågan hos IBM:s algoritm att sätta rätt kön utifrån ansikten och den totala  korrektheten blev 87,9 procent. Det kanske inte låter så lågt men när hon fördjupade undersökningen till kvinnor och män och olika hudfärger så varierade siffrorna betänkligt. IBM:s algoritm satte rätt kön på 99,7 procent av de vita männen, 92,9 procent av de vita kvinnorna, 88 procent av de svarta männen och 65,3 procent av de svarta kvinnorna.

 Vi hörde sedan av oss till företagen med resultaten och fick svar från en del av dem. Vi hörde inget från Face++, Microsoft lanserade en ny variant i somras och IBM kom faktiskt ut med en ny API dagen efter att vi släppte vår forskning till allmänheten. Då hade de fått upp sin sammanlagda korrekthet till 95,6 procent, så förändring och förbättring är absolut möjligt. 

Bevis på underrepresentation

När människors liv och värdighet står på spel så måste AI utvecklas och användas med omsorg och övervakning.

Samma problematik fanns hos Amazons algoritm, som bland annat används av rättsväsendet i USA. I en undersökning 2018 gissade Amazons algoritm rätt kön på 100 procent av de vita männen men bara 68,6 procent av de svarta kvinnorna.

Enligt Joy Buolamwini är det ett bevis på underrepresentationen av dels kvinnor och dels svarta personer inom tech-världen och i de grupper som designar AI, vilket har skapat en teknik optimerad för bara en liten del av världen.

– Faktumet att tekniken inte klassar svarta ansikten speciellt väl kan bland annat leda till en missidentifiering av misstänkta personer vid brott. När människors liv och värdighet står på spel så måste AI utvecklas och användas med omsorg och övervakning. 

Startat två organisationer

För att försöka göra tekniken etiskt korrekt och inkluderande för alla så har Joy Buolamwini grundat Algorithmic Justice League, som arbetar med att uppmärksamma, identifiera och mildra problemen.

– Vi vill öka medvetenheten om partiska algoritmer och de samhälleliga konsekvenserna av AI. Vi utvecklar också verktyg för att utforska subjektivitet i data samt inkluderande metoder och standarder för design, utveckling och övervakning av AI.

– Jag har också startat nya Safe Face Pledge som ska förhindra missbruket av ansiktsanalys, den laglösa polisanvändningen och där vi kräver insyn i alla myndighetsanvändningar. Än så länge har tre företag skrivit på och vill vara med i rörelsen. 

joy-och-brian.jpg

Joy Buolamwini tillsammans med Brian Reaves från Dell Technologies.

Men vad kan alla andra göra för att fortsätta arbeta bort problemen med partisk AI och försöka göra världen mer rättvis? Joy Buolamwini har ett antal tips till företagen som utvecklar framtidens teknik och de handlar mycket om att våga ställa rätt sorts frågor.

– Två frågor kan vara: Vilka exkluderas i vår kultur? Vilka fördomar lurar i våra produkter? Överrepresenteras vissa grupper? Vilka känner sig möjligen överskuggade? Och lyssna på tystade röster. Vilka blir inte lyssnade på? Varför blir de nedtystade?

– Det gäller också att se på fördomar som på sin personliga hygien. Man kan inte duscha en gång per år och sedan tro att man är färdig, utan det gäller att hela tiden ha pågående processer för att arbeta bort detta. Vi människor kommer alltid ha förutfattade meningar så vi måste skapa dessa processer som hjälper till att identifiera och adressera dem.

– Våga också drömma och se framför dig hur det ser ut när vi bygger teknik där rättvisa och inkludering är de viktigaste delarna.

Rekommenderad läsning

diskmaskin.jpg
video

Första smarta roboten

22 mar 2019 digit

Genom det nya KPAM-systemet så kan robotar identifiera, plocka upp och hantera föremål som den inte sett tidigare. Detta kan vara till stor hjälp på bland annat fabriker och ses som ett genombrott då robotar tidigare krävt förprogrammering.

bowie.jpg

Algoritm som artist

25 mar 2019 digit

Första skivkontraktet med en algoritm har signerats. Warner Music har kommit överens med tyska appen Endel om att producera 20 album under 2019.

skog-sveaskog.jpg

Satellit skyddar skogen

23 apr 2019 digit

Sveaskog vill se ett slut på granbarkborrens förstöring av den svenska skogen. Därför har bolaget börjat använda sig av en intelligent satellitlösning som i realtid visualiserar insekternas framfart.

stockholm-stad-i-varlden.jpg

Stad i världen 2.0

7 mar 2019 digit

KTH och MIT, ett av världens högst rankade universitet, inleder ett samarbete kring stadsplanering och stadsutveckling med Stockholms stad i fokus för forskningen. Målet är att utveckla en smartare stad med hjälp av nyinsamlad data och AI.

svart-att-prata.jpg
video

Datorn läser dina tankar

18 apr 2018 digit

MIT-forskare har utvecklat ett datorgränssnitt som kan transkribera ord som användaren formulerar för sig själv, subvokaliserar, men inte uttalar högt. Lösningen öppnar bland annat för en ny och sömlös användning av appar och sökmotorer.

industri-40-med-robotar.jpg

Konkurrenskraft 4.0

27 dec 2018 digit

För att möta den digitala utvecklingen och Industri 4.0 finns stora behov av att förnya och fördjupa kompetensen hos yrkesverksamma inom basindustrin. Nu ska högskolan i Gävle och Luleå tekniska universitet utveckla kurser för ett livslångt lärande som bidrar till Sveriges innovationsförmåga.

ssab-utvecklas-med-ai.jpg

Big data på SSAB

6 nov 2018 digit

Nu ska stålindustrin utveckla sina redan omfattande mätprocesser med hjälp av AI, big data och maskininlärning. Bakom forskningsprojektet Swedish Metal finns Sandvik och SSAB och målet är en mer konkurrenskraftig och hållbar ståltillverkning.

kaffe-bulle-960640.jpg

Hållbar AI för Sverige

30 nov 2018 digit

Anna Felländer är medlem i regeringens digitaliseringsråd och arbetar med ett Vinnova-projekt om hållbar AI. Det kan behövas, för algoritmer kan lätt lura oss till att göra saker som inte är bra, som att skapa ett sockerberoende enbart för att öka försäljningen.  

ai-trainbrain-tåg-960640.jpg

AI-företaget får tågen i tid

6 jul 2018 digit

Det nystartade bolaget The Train Brain ska med hjälp av AI minska Sveriges tågförseningar. På sikt planerar de göra samma sak med all kollektivtrafik och stödja utvecklingen av framtidens autonoma fordon.