Chatbotar, appar för översättning, samt appar för sökning – alla bygger de på avancerad språkteknologi baserad på AI. Men nu höjs rösterna för att de gigantiska, resurskrävande modeller som krävs för att lära upp maskinerna behöver kompletteras, allt för att fler språk, fler människor och fler organisationer ska kunna dra nytta av tekniken.
Du har garanterat använt verktyg som bygger på språkteknologi många gånger om. Google Translate, IKEAs chatbot, eller kanske den sökning som gjorde att du hittade just den här artikeln.
– Allt det här är tillämpningar som kräver att datorsystemet på något sätt kan tolka innehållet i det som människor uttrycker, antingen muntligt eller skriftligt, och ge adekvat respons på det, säger Joakim Nivre, forskare på RISE enhet för intelligenta system.
För att datorn ska kunna förstå det mänskliga språket krävs modeller som tränas på språk genom att tolka stora mängder data.
– Det senaste decenniet har det skett ett antal tekniska genombrott när det gäller att skapa mer kraftfulla algoritmer för att träna de här systemen. Det i sin tur har lett till att man har kunnat göra större modeller, vilket såklart förbättrar resultaten. Precis som hos oss människor lär sig datorn mer ju mer den får öva och ju fler erfarenheter den får.
Kräver superdatorer
Dagens största modeller har miljarder parametrar och tränas på biljoner ord.
– De största modellerna är tränade på långt mycket mer text än någon människa någonsin hinner läsa under en livstid. Det är hisnande storlekar!
Men samtidigt har det här ställt till problem. För det första tekniska sådana, eftersom de stora modellerna kräver dyra superdatorer för att ens kunna fungera. Det i sin tur gör att det bara är de allra största, rikaste språken (läs engelska och kinesiska) som på allvar kan dra nytta av modellerna
– Frågan blir hur företag och organisationer ska kunna dra nytta av språkteknologi när de allra flesta inte ens har råd med infrastrukturen som krävs för att köra modeller? Det blir också svårt att använda modellerna på mindre enheter som till exempel appar i mobiltelefoner.
Ju fler språk modellen kan behärska, desto mer användbar blir den
En rättvisefråga
För det andra blir skevheten en rättvisefråga – avancerad teknologi bör komma hela mänskligheten till godo.
– Och ju fler språk modellen kan behärska, desto mer användbar blir den. Ta till exempel Svenska Institutet vars uppdrag bland annat är att kartlägga bilden av Sverige i världen. De behöver AI som kan läsa nyhetstext på många olika språk, inte bara de två största.
Forskning kring resurseffektiva modeller
För att bidra till lösningen av problemen är RISE just nu involverade i flera forskningsprojekt. Dels är man med och skapar en riktigt stor språkmodell för svenska för att svenska företag ska kunna dra nytta av en sådan modell även om de inte har resurser att drifta den själva.
– Men lika viktigt är att vi håller på med forskning kring resurseffektiv språkteknologi, hur vi kan få så bra resultat som möjligt med mindre resurskrävande modeller.
Som ett tredje spår är RISE med och undersöker om en modell kan tränas på flera språk samtidigt för att på så vis spara resurser och göra tekniken tillgänglig för fler.
– Det handlar om att optimera lösningarna, att få tillräckligt bra kvalitet med minimal resurstillgång, så att tekniken kan komma till nytta för fler, både människor, språk och organisationer.
