Produkter och tjänster vässade med artificiell intelligens ska regleras hårdare. Att beskriva hur och varför algoritmerna når ett visst resultat blir genom EU:s kommande lagstiftning en förutsättning för att få AI-system certifierade av oberoende aktörer som RISE.
EU:s nya förordning AI Act väntas träda i kraft vid årsskiftet 2023-2024, och sedan börja gälla två år senare. Därmed ställs långtgående krav på tillverkare och operatörer att dokumentera hur AI-tekniken under huven egentligen fungerar. Detta gäller så kallade högrisksystem*, ofta till synes rätt okontroversiella algoritmer.
Är datan som systemet tränat på av tillräckligt hög kvalitet? På EU-språk: relevant, representativ, felfri och komplett. Finns system som säkrar kvaliteten i alla led i framtagandet av AI-systemet? Finns det dokumenterat vilken strategi som använts för att uppfylla reglerna? Hur systemets design och kvalitet verifieras? Vilka standarder som är relevanta för datahanteringen?
Vissa AI-system kommer att behöva CE-märkas för att släppas på marknaden, något som kräver certifiering av en tredje part. Fredrik Warg, forskare inriktad mot transportsäkerhet, säger att RISE har stor vana av att analysera liknande processer inom fordonsindustrin.
– Det specifika för AI och specifikt maskininlärning är att det är väldigt viktig med datan. Hur man specificerar sin tränings- och testdata är det mest utmanande.
Skräp in, skräp ut
Brister i träningsdata genererar som bekant ofta ett bristande AI-system, enligt den välkända formeln: skräp in, skräp ut. Visst kan justeringar göras i fall där kvaliteten i träningsdata är låg, men rent praktiskt kan en dataförädlingskedja för exempelvis ett säkerhetssystem innebära mycket manuellt arbete.
– Beroende på vilka sensorer som används sker olika grader av handpåläggning. Datan ska annoteras på något vis – ”det där är en fotgängare, det där är ett träd”, och så vidare. Arbete som idag fortfarande till stor del görs manuellt.
Varför är det då viktigt med certifiering?
– Det är klart att vi kan välja bort AI. Välja att inte utveckla högre automationsgrad för fordon till exempel, fortsätta lita på manuella förare. Men det vill inte branschen, det finns en efterfrågan på automation och AI-lösningar. Förarsystem och självkörande personbilar. Maskininlärning är det enda tekniska angreppssättet vi känner till i nuläget som kan lösa detta, säger Fredrik Warg.
– Varför certifiera? Ja, annars får vi företag som chansar för att komma ut först. Det blir osäkert för oss i samhället.
Han jämför med utvecklingen av ISO 26262, en standard för funktionssäkerhet som drevs fram av fordonstillverkarna och som reglerar programvara och elektronik. På samma vis behövs standarder för AI-system, som ofta även är integrerade i maskiner och därmed omfattas av EU:s nya maskinförordning.
Varför certifiera? Ja, annars får vi företag som chansar för att komma ut först
Verktyg för att förklara beslut
Inom området Explainable AI finns verktyg för att förklara varför ett AI-system tar ett visst beslut. Extra viktigt för definitionen av högrisksystem där hänsyn till säkerhet, rättvisa och tillförlitlighet prioriteras. Området innebär ett batteri av tekniker och metoder för att förstå en AI-modell och egenskaperna hos den träningsdata som används.
– Var kommer nivån att ligga för att vara ”good enough” för certifiering av AI-applikationer? Det är den stora frågan, säger Fredrik Warg.
Stort fokus på data orsakar en annan typ av sårbarhet inom hela kedjan. Leveranörer av AI-lösningar behöver kunna reproducera vad som har hänt. För att göra root cause-analyser på saker som gått fel så måste designbeslut kunna förklaras och val av arkitektur i modellernavisas. Full koll på verktygskedjan kommer att vara a och o för en lyckad certifiering när AI-förordningen är på plats.
– Arbetsprocessen, evidens, dokumentation för hela resan, säger Fredrik Warg.
– Vi kommer fortsätta att försöka hjälpa kunder och samarbetspartner att designa bra AI-system och ta fram nya standarder. RISE kommer att vara med på flera ställen.
* Exempel på verksamheter där AI-system anses utgöra hög risk:
Kritisk infrastruktur, utbildning, anställning, privata och offentliga tjänster (ex kreditbedömning), brottsbekämpning (ex bedömning av bevis), gränskontroll (ex kontroll av resehandlingar).
