FOI varnar för AI

– Cyberattacker utförda av statsstödda angripare fortsätter att öka i omfattning och bli allt mer strategiska. Det finns en omfattande hotbild mot Sverige och svenska intressen. Sveriges välstånd vilar på digitala grunder, vi är ett högteknologiskt land vilket medför högre utsatthet. Här krävs ett återkommande målmedvetet arbete för att öka vår cybersäkerhet och arbetet ska ses som ett led i målet att klara hela Sveriges säkerhet, säger försvarsminister Peter Hultqvist, under webbsändningen när rapporten lanserades. 

FOI, Totalförsvarets forskningsinstitut, lanserar rapporten Strategisk utblick 9 Framtida hot. Rapporten tar bland annat upp AI och påverkansoperationer i sociala medier samt risker med svärmande drönare.

En snabb AI-utveckling har inneburit en kraftig kvalitetsförbättring hos automatiskt genererade texter, vilket gör det svårt för människor att se ifall en text är genuin eller skriven av AI. Liknande tekniker kan användas för att generera och manipulera bilder, videos och röster, så pass väl att det blir svårt för den mänskliga hjärnan att särskilja äkta från manipulerat material.

Enligt rapporten innebär AI-fabricerade nyheter att vi riskerar att bli överösta med digitalt innehåll, som kostar lite att framställa och som vi har svårt att verifiera med våra sinnen. Sanningen riskerar att bli sekundär och istället blir subjektivt tyckande det primära och FOI anser att det krävs en rad åtgärder och utbildningsinsatser inom området.

En del är en ökad medvetenhet och kunskap i källkritik, men det är långt ifrån tillräckligt.

– Teknikutveckling och AI-forskning är inte bara anledningen till att hotet existerar utan även möjligheten att finna en lösning på problemet, skriver FOI.

FOI forskar på hur maskininlärning kan ta fram metoder som kan stödja människan i att avgöra ifall material är autentiskt eller inte.

Här finns utmaningar i att få de detektionsmetoder som fungerar bra i välkontrollerade experiment att också funka på data som avviker från den som metoderna tränats på. Att datan kan ha andra egenskaper än de som använts vid träning, exempelvis olika grad av komprimering, kan också påverka resultaten negativt. En utmaning är också att det ständigt utvecklas nya, förbättrade metoder att generera och manipulera data.

Tilltro till tekniken

FOI menar att AI-baserade detektionsmetoder aldrig kan vara vårt enda försvar, men att det däremot lär vara ett viktigt verktyg.

– Tilltro till denna typ av teknik kräver att detektionsalgoritmerna har en hög träffsäkerhet och att de resulterande modellerna kan göras transparenta, så att en mänsklig användare kan förstå vad bedömningen baseras på. Detta gäller inte minst om tekniken ska användas som bevis, till exempel i en rättegång. 

Sociala medieplattformar spelar även en viktig roll. Facebook har gått ut med ett förbud mot vilseledande manipulerade bilder och videos och Twitter har vid flera tillfällen stängt ned och offentliggjort konton som bedöms vara inblandade i statsstödda påverkansoperationer.

– Detta är lovvärda initiativ av privata bolag, men det finns också behov av en tydligare och uppdaterad lagstiftning på området.

FOI menar även att autentiseringsmekanismer som blockkedjor eller olika former av digitala signaturer kan komma att försvåra digitala påverkansoperationer i framtiden.

Beväpnade drönare

En framtid där beväpnade drönare samarbetar och nyttjar avancerad bildbehandling för att slå ut motståndare lyfts ibland upp som ett framtida hot. Men FOI lutar mot att det är en överdriven dystopi. En anledning är drönarnas begränsade räckvidd och flygtid. Trots att batteriutvecklingen gått framåt förväntas räckvidden ha begränsningar även framöver, speciellt om drönaren ska bära någon form av vapen.

– Miljötålighet är en annan faktor. Blåser det kraftigt blir den svår att använda, och om det regnar blir drönarens kameror lätt oanvändbara.

För att drönarna ska kunna samverka i svärmar måste de även veta var de är samt kunna navigera och kommunicera med varandra. I små drönare kommer utrymmet att vara begränsat för fysiska komponenter, som riktade antenner för satellitnavigering och kommunikation.

Utmaningar finns även i att en svärms interna maskininlärning kan skapa algoritmer som försvårar att i förväg observera och förutse vilka beslut som svärmen kommer ta i en given situation.

Smarta svärmar 

FOI menar att det är långt ifrån självklart att den militära nyttan av intelligenta svärmar kommer att motivera den kostnad som det innebär att utveckla sådana funktioner.

– Drönare används redan idag som terrorvapen och mot civila eller oskyddade mål och kan i de perspektiven fortsatt att utgöra ett hot. Men vår bedömning är att under en överblickbar framtid kommer svärmar av beväpnade drönare, på grund av de begränsningar som systemen har, inte vara ett dimensionerande hot för en kvalificerad motståndare med modern utrustning och skydd.