Medan AI-baserade språkmodeller som Chat-GPT är skickliga på formuleringar går de inte alltid att lita på när det gäller fakta. Men varför ser det ut på detta sätt? Nyblivne professorn Richard Johansson vill ta reda på vad som ligger bakom de felaktiga svaren.
– Vi försöker förstå hur dessa system hanterar information. Hur ser tankeprocessen inuti systemet ut när de svarar på en faktafråga, säger Richard Johansson, som i april befordrades till professor vid institutionen för data- och informationsteknik.
Hans forskningsområde, Natural langugage processing, handlar om alla de sätt som datorer hanterar mänskligt språk. Det innefattar alltifrån stavningskontroll och spamfilter i e-post till att försöka förstå komplexa språkmodeller, som i hans senaste forskningsprojekt med stora generativa språkmodeller.
Det är de stora generativa språkmodellerna som verktyg som Chat-GPT bygger på, och deras svar baseras på sannolikhet. När dessa system är osäkra på en fråga, tenderar de att hitta på ett svar som de finner sannolikt. Richard Johansson och hans kollegor försöker nu ta reda på hur systemen avgör vilket svar de ska välja.
– Vi hoppas hitta en metod för att förstå hur algoritmen agerar när den faktiskt vet någonting jämfört med när den inte vet. Vi vill se om vi kan urskilja hur det ser ut när fakta är närvarande i modellen, säger han.
Ett förändrat forskningslandskap
De AI-baserade språkmodellernas stora globala genomslag har haft stor betydelse för Richard Johansson forskningsfält. Förvisso har det blivit lättare att förklara för vänner och familj vad han gör på dagarna, men nu finns det också enorma företag att förhålla sig till som alla tävlar om att skapa de bästa språkmodellerna.
– Den typen av forskning som dessa företag bedriver kräver en enorm mängd resurser och infrastruktur, och det är något som akademin varken kan eller bör tävla med, säger Richard Johansson.
Istället tycker Richard Johansson att forskare behöver angripa området från en annan vinkel.
– Vi behöver försöka förstå den här utvecklingen, hur dessa modeller fungerar och varför de agerar på ett visst sätt. För mig som forskare är det den största utmaningen just nu, att hitta relevant, betydelsefull forskning som är genomförbar i mindre skala.
Nyfikenhetsstyrd forskning
För Richard Johanssons var det kombinationen av språk och datorer, hans två största intressen, som ledde in honom på Natural language processing-spåret. En stor del av hans forskning är så kallad grundforskning: forskning som skapar nya kunskap och vidgar gränserna för vårt vetande, till skillnad från forskning med praktisk tillämpning.
– Som forskare drivs jag av nyfikenhet. En intressant forskningsfråga finner jag fascinerande i sig själv. Självklart kan min forskning ofta tillämpas praktiskt, men min grundläggande motivation handlar om att försöka förstå, säger Richard Johansson.
När det gäller de AI-baserade språkmodellerna ser han dock ett direkt behov av ökad förståelse för modellerna.
– Dessa system kommer att ha en stor samhällelig betydelse och därför behöver de vara pålitliga, eller så behöver vi åtminstone förstå när de inte är pålitliga. Att veta när det går att lita på dessa system är en förutsättning för att kunna använda dem på ett säkert sätt.
Richard Johansson och hans tre doktorander Lovisa Hagström, Mehrdad Farahani och Nicolas Audinet de Pieuchon är en del av forskargruppen NLP@DSAI, där de undersöker metoder för att förstå språkmodeller och hur dessa kan tillämpas inom samhällsvetenskapliga fält.