AI och språkmodeller

Hallå Fredrik Carlsson, vem är du?

—  Jag är algoritmforskare på Centrum för tillämpad AI, sedan 2018, och forskar på stora neurala nätverk. Exempel på stora neurala nätverk är ChatGPT och liknande språkmodeller.

Kan du kort beskriva din forskning?

—  Nuvarande forskar jag på hur man mer effektivt kan träna stora neurala nätverk. Dessa nätverk kan användas för alltifrån att läsa och skriva text, till att generera eller kontrollera bilder.

Vilken forskningsfråga vill du besvara?

— Min nuvarande forskningsfråga är hur vi kan träna stora neurala nätverk med mindre data, vilket vi kallar för dataeffektivisering.

Vad har du kommit fram till?

— Det är tydligt att olika inlärningsalgoritmer påverkar dels mängden data som krävs, men även vilken slags “kunskap” nätverket lär sig. Vi är nu uppe i att metodiskt försöka lista ut vad som leder till vad, för att sedan se vilka slutsatser vi kan dra.

Hur fungerar det att forska praktiskt, vad gör du en vanlig dag?

— En stor del av tiden spenderas framför en datorskärm där jag implementerar och kör experiment. Resten av tiden spenderar jag tänkandes vid en whiteboard eller i diskussion med kollegor. På senaste tiden har det även blivit en stor del presentationer kring den här sortens teknologi.

Kan du nämna fem AI-tillämpningar i samhället inom ditt forskningsområde?

— Ja, till exempel kan GPT-teknologin användas som en ”studybuddy” för elever. Man kan även på längre sikt tänka sig att lärare kan utnyttja teknologin som examinationsverktyg. Men det är tydligt att skola och lärosäten kommer ha en stor utmaning gällande examen i formen av uppsatser och hemuppgifter. Automatisk översättning är också en tillämpning, där teknologin kan ge ett bra första utkast på en översättning som sedan kan korrigeras av en mänsklig översättare. Slutligen kan teknologin användas för att hitta information på internet, vilket kan påverka sökmotorernas marknadsandelar. 

Vad innebär Chat GPT och stora språkmodeller för forskningen och samhället?

— Det är en stor förändring som sker nu. Inom AI och språkteknologi, är det tydligt att detta kommer att ha en stor påverkan på forskningen. Forskningsaktörer kommer behöva fundera på om de har resurser för att bedriva denna typ av forskning. För samhället kommer detta att innebära en omställning av arbetsmarknaden, där vissa arbetsroller kan automatiseras och bli effektivare.

Fakta om neurala nätverk

• Idén om Neurala nätverk byggde från början på idén om att efterlikna den mänskliga hjärnans nervceller, neuroner
• Neuronen hanterar en enkel funktion, men sammankopplade med miljarder andra neuroner kan komplexa uppgifter lösas
• Mönsterigenkänning/bildigenkänning är en styrka hos neurala nätverk
• En algoritm är ett ”recept” (instruktioner) på hur datorn ska lösa problem