RegTek: träffsäkerhetens utvärdering av RAG

Införandet av komplexa regelverk som EU:s AI Act ställer nya, höga krav på precision och effektivitet i regulatoriska processer. Samtidigt visar analyser från bland annat Regelrådet och OECD att upp till 60% av nuvarande svenska konsekvensutredningar inte uppfyller ställda krav, ofta på grund av resursbegränsningar och komplexitet. Denna brist utgör ett hinder för såväl ansvarsfull innovation som förutsägbar regelefterlevnad, särskilt inom snabbrörliga teknikområden som artificiell intelligens. Behovet av mer tillförlitliga, objektiva och tidseffektiva metoder är akut.

Banbrytande AI-stöd för konsekvensutredning

Som svar på dessa utmaningar adresserar RegTek-projektet behovet av moderniserade regulatoriska verktyg. RISE leder en strategisk pilotstudie för att utvärdera en avancerad språkmodell baserad på Retrieval-Augmented Generation (RAG), utvecklad av Ekonomistyrningsverket (ESV). RAG-teknologin är särskilt lovande då den kombinerar kapaciteten hos stora språkmodeller med förmågan att dynamiskt hämta och integrera information från specificerade, tillförlitliga källor. Detta möjliggör generering av konsekvensanalyser som är både kontextuellt relevanta och faktabaserade, vilket är avgörande för regulatorisk tillämpning.

Prestanda mätning och tillförlitlighet hos RAG

RegTek genomför en pilotstudie där RISE utvärderar en RAG-baserad språkmodell utvecklad av Ekonomistyrningsverket (ESV). Utvärderingen inkluderar prestandamätningar och undersökning hur standarder och metrologiska metoder kan tillämpas för att mäta precision och tillförlitlighet.

Förbättrad efterlevnad, ökad tillit och stärkt nationell AI-kapacitet

RegTek-projektet syftar till att leverera mätbara förbättringar och strategiska fördelar:

• Effektiviserade regulatoriska processer: Potential för signifikant snabbare och mer resurseffektiva konsekvensutredningar.
• Validerad tillförlitlighet: En objektivt utvärderad metod för att mäta och säkerställa riktigheten i AI-genererade underlag, vilket stärker tilliten hos regelgivare och beslutsfattare.
• Underlättad AI Act-efterlevnad: Förbättrade verktyg som stödjer organisationers förmåga att möta kraven i EU:s AI Act och andra komplexa regelverk.
• Nationell kompetenshöjning: Projektet stärker Sveriges samlade förmåga inom AI-testning, validering och ansvarsfull implementering av AI i offentlig sektor, genom RISE och ESV:s arbete.
• Kunskapsspridning via öppen källkod: Utvecklade utvärderingsmetoder och centrala resultat planeras att publiceras som öppen källkod, för att främja transparens och bredare nytta.

Genom RegTek bidrar RISE till att bygga en grund för säker, effektiv och tillförlitlig användning av AI som stöd för framtidens regelverk.