Explainable AI

Möjligheten att tolka beslut som fattas av maskininlärningsalgoritmer hjälper till att säkerställa viktiga kriterier som säkerhet, rättvisa, opartiskhet, integritet och tillförlitlighet genom att tillåta människor bekräfta att algoritmerna följer reglerna och de etiska riktlinjerna.

Algoritmer för maskininlärning (ML) har visat sig vara kraftfulla för att lära av data och fatta beslut med hög noggrannhet. I synnerhet kan de överträffa människor på många specifika uppgifter och lära sig att generalisera inom området för de tillhandahållna datamängderna. Detta har lett till ett stort intresse för implementering av ML algoritmer i olika applikationsdomäner, även inom så kallade "High Risk"-applikationer där besluten som tas av ML-algoritmer har betydande konsekvenser och inverkan på människors liv och välbefinnande. Några exempel på sådana applikationer är: diagnostisering av patienter med sjukdomar, drift av halvautonoma bilar, beslut om straff och påföljder samt beslut om berättigande till banklån.

Behov av Explainable AI

Utformningen av en ML-algoritm valideras vanligtvis baserat på ett kriterium för noggrannhet, det vill säga dess förväntade förmåga att göra det minsta antalet misstag. I de speciella högriskapplikationerna är det dock lämpligt att designa ML-algoritmer med ytterligare relevanta optimeringskriterier förutom noggrannhet. Några av dessa kriterier är säkerhet, rättvisa, opartiskhet, integritet och tillförlitlighet. Dessa kriterier är, i motsats till kriterierna för noggrannhet, svåra att kvantifiera och därför svåra att inkludera i algoritmoptimeringen. Följaktligen har Explainable AI framträtt som en grupp av tekniker och metoder som hjälper till att säkerställa giltigheten av dessa andra kriterier genom att ge resonemang och förklaringar till varför vissa förutsägelser har gjorts av maskininlärningsalgoritmer.

Vår Lösning

I allmänhet används tre sätt att förklara en maskininlärningsmodells förutsägelser. Det första använder sig av tolkningsbara modeller, som glesa linjära modeller eller beslutsträd, som båda är enkla att förstå för oss människor. Det andra sättet kallas modellagnostisk förklaring och bygger på att maskininlärningsmodellerna antingen är för komplexa att förstå, eller dolda för oss. Det tredje sättet använder sig av specifik information om modellen för att skapa en förståelse och ge en förklaring till dess förutsägelser.

Dessutom kan en förklaring antingen utgå från ett globalt eller lokalt synsätt. I det globala synsättet är målet att förklara hela modellens förutsägelser, alltmedan det lokala endast bygger på vissa specifika data. I båda fallen används ofta de två koncepten: counterfactual explanation och feature importance. Det första konceptet undersöker vilka förändringar som krävs i datamängden för att en maskininlärningsmodell ska ändra sin rekommendation. På så vis går det att förstå vilka faktorer som ledde till algoritmens slutsats. Det andra konceptet kan visa hur mycket eller hur lite en viss del av informationen som bidrar till förutsägelsen hos maskininlärningsmodellen. När en viss information ges ett högt värde så bidrar denna data mycket till avgörandet, och tvärtom så visar ett lågt värde att den informationsdelen inte är lika betydelsefull för beslutet.

Våra experter på RISE har stark teoretisk och praktisk erfarenhet av Explainable AI som sträcker sig över olika maskininlärningsuppgifter, modeller, och datatyper.