Så kan EU:s AI-reglering påverka även dig

Artikeln publicerades i nyhetsbrevet Om AI 24 november 2021

EU-kommissionen är först i världen med att vilja reglera artificiell intelligens (AI) som teknologi. I april presenterades lagförslaget Artificial Intelligence Act (AI Act) som kan få långtgående konsekvenser för både företag och EU-medborgare.

EU-kommissionens initiativ att reglera AI är en följd av den ökande AI-användningen samt den växande insikten om att inte alla AI-system gör samhället bättre. Syftet med AI Act är att EU:s medborgare ska kunna känna tillit till de digitala system som används. Förslaget är en förordning, vilket innebär att om det godkänns kommer det att gälla som lag i samtliga medlemsländer, inklusive Sverige. Initiativet ska ses som en del av EU:s digitaliseringsstrategi ”Europas digitala decennium” som pekar ut visionen för unionens väg mot en digital omställning fram till 2030.

Bred definition av AI

Enligt förslaget är definitionen av ett AI-system mjukvara som utvecklats utifrån mål satta av människor med en eller flera av följande teknologier: maskininlärning, logik- och kunskapsbaserade system, samt statistiska metoder. Det kan då röra sig om teknologier som deep learning, system som bygger på induktion eller deduktion samt metoder för sökning och optimering.

AI Act sorterar AI-system i tre kategorier:  låg risk, hög risk och de som ska förbjudas. I kategorin låg risk finns bland annat chatbottar. System som ska förbjudas inkluderar de som tillämpar subliminala teknologier för att undermedvetet påverka individer. Men även de som utnyttjar svaga grupper med risk för deras hälsa alternativt egendom, eller används av offentliga aktörer för social rankning samt system som använder biometri i realtid för brottsbekämpning på offentliga platser.

AI-system i kategorin hög risk berör säkerheten i vissa fysiska produkter, men även utpekade tjänster och verksamheter som är viktiga för medborgarna. Förslaget listar bland annat tjänster som erbjuder utbildningsplatser, utlyser anställningar och tjänster som ger medborgare tillgång till offentligt stöd och bidrag. Här ingår även system som beräknar kreditvärdighet, och system som kan användas för att prioritera insatser vid brand eller olyckor.

Kan krocka med digitaliseringen

I dessa fall finns det en risk att förslaget till AI-reglering går på tvären med digitaliseringen av myndighetsutövning. Att till exempel beräkna ersättning vid vård av barn, bostadsbidrag eller rätten till a-kassa kan göras av olika sorters mjukvarulösningar som sannolikt representerar relevant kunskap för verksamheten.  Dessa kan därför ses som expertsystem och därmed också som AI-system. Detsamma gäller system som rankar sökande till en förskoleplats utifrån reseavstånd och syskonförtur.

Även en digital tjänst som underlättar nätverkande och visar möjliga anställningar kan klassas som ett högrisksystem om det finns en algoritm som ger användarna förslag baserat på användarhistorik.

Smarta tjänster inom vital infrastruktur som vägtrafik, energi och vattenförsörjning föreslås också utgöra en hög risk. Förslaget kan därmed gälla den digitala infrastruktur som är en del av effektivare transporter, en fungerande energimarknad och i sin förlängning klimatomställningen.

Gäller inte fordon – ännu

För produkter finns tre villkor som ska uppfyllas för att ett AI-system ska anses hög risk: det ska vara en del av produktens säkerhetssystem, krävas certifikat från tredje part när produkten CE-märks samt att produkten ska tillhöra en specifik kategori av produkter som innehåller bland annat maskiner, radioutrustning, medicinsk utrustning och linbanor.

AI-system som sitter i fordon, skogsmaskiner eller fartyg med tillhörande utrustning berörs dock inte. Dessa regleras inte av EU utan av andra internationella organisationer, såsom FNs Ekonomiska kommission för Europa (UNECE) och den internationella sjöfartsorganisation (IMO). Det finns emellertid beskrivet i förslaget att AI Act efter en övergångsperiod även bör gälla för dessa produkter.

När det gäller maskiner går det redan nu att se hur den föreslagna AI-regleringen återspeglas i den maskinförordning som ska komma att ersätta det existerande maskindirektivet. När maskinförordningen träder i kraft kommer det att kräva certifikat från tredje part vid CE-märkning om maskinens säkerhetssystem innehåller ett AI-system. Och ja, med AI-system hänvisar man till AI Act. De två regelverken knyts därmed explicit ihop, så att CE-märkningen av maskiner framöver kommer innefatta både de fysiska delarna och de digitala, inklusive AI-systemen som berör maskinens säkerhetsfunktioner.

Felfri data eller böter

AI Act lägger stor vikt vid att data som används för att ta fram och testa hög-risk i AI-system måste hålla tillräcklig kvalitet. Därför ska dessa data vara relevanta, representativa, felfria och kompletta. Dessutom ska det finnas system på plats som säkrar kvaliteten i alla led av verksamheten som tar fram AI-systemen.

Det ska finnas dokumenterat vilken strategi som används för att uppfylla reglerna, vilka tekniker och metoder som verifierar systemets design och kvalitet, testprocedurer, tekniska specifikationer och standarder samt vilka system och metoder som är relevanta för datahanteringen (insamling, filtrering, aggregering, analys, med mera). Här kommer underleverantörer och konsulter kunna engageras för att se till att rätt dokumentation finns på plats, t.ex. om de levererat delar av verktygskedjan eller vet hur man certifierar produkt- och ledningssystem.

Även riskhantering och incidenter ska dokumenteras systematiskt i dialog med de myndigheter som berörs av respektive systems säkerhet. Kronan på verket är att det ska framgå hur ansvar kan utkrävas av ledningen samt vilket ansvar de anställda har i relation till kvalitetsarbetet.

AI-systemet ska efter certifieringen, men innan det släpps på marknaden, registreras i EU:s databas som ska vara öppen så att medborgarna kan se vilka högrisksystem som finns på marknaden.

Om en verksamhet brister i överensstämmelse med datahanteringen bötfälls den med det högre beloppet av 30 miljoner Euro eller sex procent av den globala bruttoomsättningen. Därefter tillämpas en fallande skala för övriga missförhållanden: att lämna ofullständig information till tredje part vid certifiering ger 10 miljoner Euro i böter eller två procent av den globala bruttoomsättningen.

Alla system som lanseras efter att förslaget blivit lag omfattas av reglerna och även de existerande system som uppdateras eller ändras på ett substantiellt sätt efter det datumet.

Förbered dig för marknadstillsyn

När förordningen träder i kraft kommer det inte längre vara tillverkaren som avgör om en viss mjukvara är ett AI-system eller inte, det kommer myndigheter göra utifrån EU:s regler. Och faller AI-systemet inom en högriskkategori så måste ens verksamhet och system vara i överensstämmelse med reglerna.

Varje verksamhet som vill agera inom EU måste själva se till att ha allt på plats. Det kommer inte ske någon tillsyn i förhand, istället kan tillsyn ske när ett system väl är lanserat. Visar det sig då ha brister i relation till AI Act så kommer verksamheten bötfällas på ett kännbart sätt.

Vi uppmanar därför alla att fundera igenom hur din verksamhet, dina system, din affärsmodell, och hur dina samarbetspartners kommer att påverkas, givet att reglerna kommer att gälla inom två till fyra år.

Susanne Stenberg och Håkan Burden, RISE

Vår forskning handlar om hur ny teknik kan introduceras på marknader på ett rimligt säkert sätt, hur innovation och utveckling bidrar och hur regler och policy är en integrerad del av dagens forskning och utveckling.