Ökad AI-tillit med kvalitetssäkrade mätningar och validerade modeller

Mätteknik har historiskt handlat mycket om att upprätthålla spårbarhet, det vill säga att genom kedjor av kalibreringar säkerställa att mätningar är tillförlitliga och går att jämföra med varandra.

– För att AI-modeller ska vara pålitliga behövs spårbara och kvalitetssäkrade mätningar som input. Det gör modellernas förutsägelser mer tillförlitliga, säger Olle Penttinen, forskare inom volym och flöde med fokus på IoT- och AI-lösningar inom mätteknik och smart underhåll.

Spårbara och kvalitetssäkrade mätningar innebär till exempel att man har koll på mätosäkerheten.

– Mätosäkerhet är viktigt inom mätteknik eftersom alla mätningar innehåller fel. Vi har värdefull kunskap om osäkerhetsanalyser som också kan användas för AI och maskininlärning, säger Olle Penttinen.

Smart underhåll

Han har erfarenheter från AI-projekt inom smart underhåll, där målet är att med hjälp av maskininlärning kunna förutse var det finns underhållsbehov, och på så sätt förebygga skador innan skadorna uppstår.

– För att göra detta behöver vi förstå osäkerheterna både i de faktorer som används för att träna modellerna och i modellens förutsägelser. Precis som för fysiska mätningar bör vi analysera hur olika faktorer påverkar den totala osäkerheten, säger Olle Penttinen.

Krävs tillit

För att företag ska våga ta steget och använda AI för att till exempel effektivisera sin produktion eller sitt underhåll krävs tillit till att de prediktioner som görs håller den kvalitet som utlovas. Och för att säkerställa det krävs validering av modellerna. Vilken osäkerhet har de prediktioner som kommer ut ur modellen? 

– Vi måste kunna lita på resultaten, och precis som att mätinstrument behöver kalibreras så behöver AI-modeller valideras, säger Olle Penttinen.

Som oberoende forskningsinstitut har RISE en unik möjlighet att arbeta med validering av AI-modeller. Vid en validering tittar man på resultatet eller prediktionerna som kommer ut ur modellen och avgör hur väl de stämmer genom mätningar och experiment.

– Ibland är det svårt att förstå exakt hur modellerna fungerar på insidan, men i slutändan är det prediktionen som kommer ut ur modellen som räknas. Om man ska våga använda tekniken krävs att vi vet hur väl prediktionerna stämmer, att modellerna är robusta och att resultaten är reproducerbara, säger Olle Penttinen.

Skillnad på korrelation och kausalitet

Med tanke på den utveckling som skett inom stora språkmodeller de senaste åren är det inte konstigt att det ibland finns ett önsketänkande kring vad AI kan göra.

– Det är lätt att tro att man kan trolla med AI och lösa det omöjliga. Men vid tillämpningar inom industri och näringsliv använder man ofta inte språkmodeller utan andra, enklare modeller. Här är mängden träningsdata mindre samtidigt som kraven på prediktionernas kvalitet kan vara högre, säger Olle Penttinen.

Högre kvalitet i prediktionerna med mindre träningsdata? För att lyckas med det krävs till exempel en förståelse för vilka faktorer som påverkar utfallet, så att inte en variabel som egentligen bara har en indirekt påverkan blir övertolkad. Det är skillnad på korrelation och kausalitet, att någonting hänger ihop är inte samma sak som att något beror på det.

– Säg exempelvis att vi använder en AI-modell för att förutse sannolikhet för skada på enskilda ledningssegment i ett vatten- eller fjärrvärmenät. Träningen baseras på ett underhållsregister där olika ledningar grävts upp genom åren, där ett antal faktorer registrerats för de utbytta ledningarna, till exempel ledningens längd. Väljer man att inkludera ledningens längd i träningen kan det potentiellt bidra till en högre precision för modellen – det finns en korrelation mellan längden på ledningen och sannolikhet att ledningen är skadad. Trots det ger det ett potentiellt sämre beslutsunderlag för nätägaren, eftersom kausaliteten saknas. Skadan beror inte på ledningens längd i sig, säger Olle Penttinen.

Koppling mellan indata och utfall

Väljer vi att använda så kallad ”supervised learning”, som i föregående exempel, krävs det att vi kan koppla faktorerna modellen tränas på till utfallet. I fallet med ledningarna behöver samma parameter finnas med i informationen både om de skadade och de oskadade ledningarna.

– Man kan använda akustiska metoder för att uppskatta väggtjockleken i ledningsnät. Men om väggtjocklek saknas i data om skadade ledningar blir det svårt att koppla den till skaderisken. För att kunna förutsäga utfall måste modellen ha en tydlig koppling mellan indata och resultat, säger Olle Penttinen.

Utmanande att hantera data – men mät ändå

Utmaningen i att hantera data är ett område som tar mycket tid i utvecklingen av AI-modellerna, och lyfts också som ett av de centrala områdena att arbeta vidare med i miljardsatsningen Avancerad digitalisering, ett program som drivs av Vinnova tillsammans med näringslivet. Men trots utmaningarna med att hantera data är Olle Penttinen tydlig med att mer data är bra:

– Man ska inte vara rädd för att mäta och registrera parametrar som indirekt kan påverka kvaliteten i en produkt eller en process, till exempel omgivningstemperatur eller fukt. Det kommer en dag när mätningarna efterfrågas som input till nya modeller och forskningsidéer, säger Olle Penttinen.