ChatGPT har tagit världen med storm. Just nu utvecklas en liknande modell, tränad för nordiska språk.
Tech-världen, och även övriga världen, har helt slagits knock-out av OpenAIs nya språkmodell ChatGPT. Inte nog med att den kan svara på frågor och föra långa dialoger med människor, utan den kan dessutom producera egna texter om allt från bakning till fusion.
– Det är den här förmågan att föra långa dialoger som verkligen skiljer den från andra språkmodeller, säger Joakim Nivre, forskare inom intelligenta system på RISE.
Viktigt att tekniken finns för fler språkområden
Han och hans kollegor forskar både om grundläggande algoritmer för språklig AI, men även om hur sådana algoritmer kan användas för att på bästa sätt lösa praktiska uppgifter och problem som involverar språklig data. Dessutom utvecklar de tillsammans med AI Sweden, WASP och NVIDIA en nordisk variant av OpenAIs andra språkmodell GPT3.
– Även om ChatGPT kan förstå och skriva svenska är den bättre på engelska. Vi tror att det är viktigt att den här tekniken finns även för andra språkområden, till exempel de nordiska språken.
Den största modellen som RISE med samarbetspartners har tagit fram hittills innehåller 20 miljarder parametrar, att jämföra med GPT3 som innehåller 175 miljarder parametrar.
– Men just nu tränar vi en modell med 40 miljarder parametrar som kommer att vara klar i början av 2023, och till sommaren räknar vi med att ha en färdig variant som är lika stor som GPT3. Och det är unikt för ett så litet språk som svenska.
Krävs enorma mängder data
Anledningen stavas pengar. Att träna stora språkmodeller kräver enorma mängder data och datorkapacitet, något som kostar stora summor. Dessutom krävs det extremt kraftfulla datorer för att köra modellerna, något som gör att de flesta vanliga företag inte har råd att använda dem.
– Därför forskar vi också på hur de här språkmodellerna kan göras mer resurseffektiva, så att fler kan använda dem.
Men vad ska de här modellerna användas till? En del har föreslagit att de kan ersätta sökmotorer som Google eller uppslagsverk som Wikipedia, men det tror inte Joakim Nivre.
– Man måste komma ihåg att de här modellerna inte söker information i realtid utan bara i den text de är tränade på. ChatGPT är visserligen tränad på enorma mängder text och data, men bara sådan producerad fram till och med 2021. Händelser som är nyare än så vet den inget om.
Just nu tränar vi en modell med 40 miljarder parametrar som kommer att vara klar i början av 2023
Kommer skriva utkast och komplettera sökmotorer
Dessutom kan ChatGPT inte allt om det som hände före 2021 heller, och ibland blir det rakt av fel.
– Jag konverserade med den igår och frågade vad den visste om kända svenska författare. Först tog den upp Astrid Lindgren, men sen påstod den att Gustav Vasa var en av Sveriges mest uppskattade författare, så man måste verkligen vara uppmärksam.
Joakim Nivre tror istället att ChatGPT i framtiden dels kommer att användas för att producera utkast till text som människor sen kan kontrollera och redigera, dels att den kommer att användas i kombination med sökmotorer för att på så vis få tillgång till information i realtid.
– Det är så kostsamt att lära upp modellerna, så jag tror att sådana här hybridsystem kommer att vara en trend framöver.
