Säkra och förklarande kritiska inbyggda system baserade på AI

Deep Learning (DL) är nyckeln för de flesta framtida avancerade mjukvarufunktioner i "Critical Autonomous AI-based Systems" (CAIS) i bilar, tåg och satelliter. CAIS-företagen är beroende av sin förmåga att designa, implementera, kvalificera och certifiera DL-baserade mjukvaruprodukter med begränsade resurser. Det finns en grundläggande klyfta mellan kraven på funktionell säkerhet (FUSA) för CAIS och typen av DL-lösningar som behövs för att uppfylla dessa krav. Bristen på transparens (främst förklarabarhet och spårbarhet), och den databeroende och stokastiska karaktären hos DL-programvaran krockar med behovet av deterministiska, verifierbara och godkända/underkända testbaserade mjukvarulösningar för CAIS. SAFEXPLAIN tar sig an denna utmaning genom att tillhandahålla ett nytt och flexibelt tillvägagångssätt för att tillåta certifiering – och därmed adoption – av DL-baserade lösningar inom CAIS genom att (1) utforma transparenta DL-lösningar som gör det möjligt att förklara varför de uppfyller FUSA-kraven, med spårbarhet från början till slut. Med specifika metoder för att förklara huruvida DL utsignaler går att lita på, och med strategier för att nå (och bevisa) korrekta utsignaler, i enlighet med certifieringsstandarder. SAFEXPLAIN kommer också (2) att ta fram alternativa och allt mer komplexa FUSA-designsäkerhetsmönster för olika DL-användningsnivåer (dvs med varierande säkerhetskrav) som kommer att möjliggöra användning av DL i alla CAIS-funktioner, för varierande nivåer av kritikalitet och feltolerans.