Explainable AI gör det lättare att förstå och förklara AI-modellers slutsatser

Artikeln publicerades i nyhetsbrevet Om AI mars 2022

AI-metoder som maskininlärning blir ett allt vanligare inslag i vår vardag. I dag finns de tillgängliga som effektiva beslutstöd i de flesta sektorer, allt från hälso- och sjukvård till transportsektorn. Men att förstå varför dessa AI-baserade system ger sina rekommendationer har varit svårt att förklara. Med hjälp av Explainable AI blir det lättare. 

Många AI-system slår oss människor på fingrarna när det gäller att förutse olika situationer utifrån tidigare händelser och tillgängliga data. Denna fördel har gjort att de gärna används som beslutsstöd i komplexa applikationer [1]. Här medverkar AI-metoder som maskininlärning till beslut som får stor inverkan på vårt dagliga liv. Bland exemplen finns diagnostisering av patienter i vården, rättsliga beslut om straffpåföljd vid olika brott och om vi ska beviljas ett lån av banken eller inte. Enligt EU-kommissionens föreslagna AI-förordning kan sådana tillämpningar kategoriseras som högrisksystem, eftersom de kan påverka säkerhet, hälsa eller grundläggande rättigheter [2].

I de flesta fall väljs en AI-lösning utifrån hur få misstag den gör givet tillgängliga valideringsdata. Men för högrisksystem är det relevant att även ta hänsyn till andra faktorer, som säkerhet, rättvisa, opartiskhet, integritet och tillförlitlighet. De blir viktiga kriterier för den bedömning som krävs enligt regelverket i den föreslagna AI-förordningen. Men de är svåra att kvantifiera och inkludera när en AI-lösning ska optimeras. 

Området Explainable AI (XAI) har utvecklats som en uppsättning tekniker och tillvägagångssätt som kan hjälpa till. Med hjälp av XAI kan vi ta hänsyn till fler och andra kriterier samt erbjuda sätt att resonera som ger en förklaring till varför ett visst AI-system tar ett beslut. 

Vad är det som gör att ett AI-system rekommenderar en viss sorts behandling utifrån en röntgenbild och inte en annan? Här behövs sätt att underlätta tolkningen av AI:ns bedömning och ett underlag som gör det lätt att förklara för patienten och de anhöriga. Är det ett högt blodtryck som är anledningen till en viss behandlingsrekommendation så måste det framgå. Detsamma gäller i de fall du nekas ett banklån utifrån en AI:s rekommendation. Där behöver kunden ges möjligheten att förstå hur AI-systemet resonerat och få en förklaring till varför lånet uteblev.  När ditt fordon plötsligt varnar dig eller på annat sätt påverkar din kontroll av din bil så väcker det bara irritation om du inte förstår varför det sker. Om inte kanske du stänger av AI-funktioner som är till för att göra färden säkrare för alla. 

Olika behov i olika roller

XAI erbjuder olika former av stöd beroende på i vilken roll du arbetar:

• För utvecklare av nya lösningar med hjälp av maskininlärning ger XAI ett sätt att bättre förstå både modellen och den data som används för träningen av algoritmen. En XAI-metod kan visa vilka data som var viktiga vid inlärningen och vilka som inte var lika viktiga. Den kan också visa likheter mellan olika data och vilka vägar som maskininlärningsmodellen har tagit för att nå sina slutsatser. 
• För expertanvändare kan XAI ge en djupare förståelse av varför en AI-modell tar ett visst beslut. Expertanvändare har sällan tillgång till den data som användes för att träna en modell. Därför är det viktigt att förstå relationen mellan egna data och träningsdata, samt hur modellen baserar sina beslut på samband mellan olika egenskaper hos dessa datamängder. 
• När det gäller slutanvändare är det ännu viktigare att se till att informationen som AI-systemet blir begriplig och underlättar förståelsen av varför ett beslut tas över ett annat. Slutanvändare är vi alla som patienter, bankkunder eller förare av ett fordon med AI-baserade funktioner. När beslut tas av myndigheter är dessa dessutom skyldiga att kunna motivera sina beslut.

Vad är det som gör att en AI-modell rekommenderar en viss sorts behandling utifrån en röntgenbild och inte en annan? Här behövs sätt att underlätta tolkningen av AI:ns bedömning och ett underlag som gör det lätt att förklara för patienten och de anhöriga. Är det ett högt blodtryck som är anledningen till en viss behandlingsrekommendation så måste det framgå. Detsamma gäller i de fall du nekas ett banklån utifrån en AI:s rekommendation. Där behöver kunden ges möjligheten att förstå hur AI-modellen resonerat och få en förklaring till det uteblivna lånet.  När ditt fordon plötsligt varnar dig eller på annat sätt påverkar din kontroll av din bil så väcker det bara irritation om du inte förstår varför det sker. Om inte kanske du stänger av AI-funktioner som är till för att göra färden säkrare för alla.  

Tre sätt att förklara

I allmänhet används tre sätt att förklara en maskininlärningsmodells förutsägelser. Det första använder sig av tolkningsbara modeller, som glesa linjära modeller eller beslutsträd, som båda är enkla att förstå för oss människor. Det andra sättet kallas modellagnostisk förklaring och bygger på att maskininlärningsmodellerna antingen är för komplexa att förstå, eller dolda för oss. Det tredje sättet använder sig av specifik information om modellen för att skapa en förståelse och ge en förklaring till dess förutsägelser. 

Dessutom kan en förklaring antingen utgå från ett globalt eller lokalt synsätt. I det globala synsättet är målet att förklara hela modellens förutsägelser, alltmedan det lokala endast bygger på vissa specifika data. I båda fallen används ofta de två koncepten: counterfactual explanation och feature importance. Det första konceptet undersöker vilka förändringar som krävs i datamängden för att en maskininlärningsmodell ska ändra sin rekommendation. På så vis går det att förstå vilka faktorer som ledde till algoritmens slutsats. Det andra konceptet kan visa hur mycket eller hur lite en viss del av informationen som bidrar till förutsägelsen hos maskininlärningsmodellen. När en viss information ges ett högt värde så bidrar denna data mycket till avgörandet, och tvärtom så visar ett lågt värde att den informationsdelen inte är lika betydelsefull för beslutet. 

Hälso- och sjukvård som tillämpningsområde

Ett område där Explainable AI kan ha stor betydelse är hälso- och sjukvård där felaktigt ställda diagnoser och felbehandlingar kan få allvarliga konsekvenser. Projektet EXTREMUM (Explainable and Ethical ML for Knowledge Discovery from Medical Data Sources) är ett forskningssamarbete mellan bland annat KTH, Stockholms universitet och RISE och har som mål att utveckla en ny plattform för att skapa en större förståelse för komplexa medicinska datakällor. Tonvikten ligger på att skapa bättre tolkningsmöjligheter för mekanismerna bakom maskininlärningsmodellernas beslut. I projektet diagnostiserar en läkare en patient med hjälp av en noggrann maskininlärningsmodell. Modellen är utvecklad med hjälp av historiska data från tidigare patientfall vars data lagras i en säker databas. Naturligtvis vill berörd patient veta varför hen får en viss diagnos och även om det finns något patienten själv kan göra för att påverka den. I detta fall kan AI bli avgörande för att kunna svara patienten och även bidra till att hen känner tillit till sin AI-stödda diagnos. 

EXTREMUM-projektet handlar om utvecklingen av sådana förklarbara maskininlärningsalgoritmer för komplexa datakällor, särskilt när det handlar om tidsseriedata [3]. Dessutom undersöker projektet de etiska aspekterna av ett beslutsfattande som bygger på maskininlärning och hur de ska ses i relation till GDPR [4].

Ta gärna kontakt med oss om du vill veta mer om Explainable AI.