Matematiska strukturer för neurala nätverk

– Man kan ha en matematisk modell, beräkna hur elementen i nätverken ska transformeras algebraiskt, och sedan koda in det och se att det fungerar. Min doktorsavhandling har både applicerade och teoretiska element, med det genomgående temat geometri och symmetrier.

En människa ser att en kaffekopp är en kaffekopp även om den står på olika platser. För enkla neurala nätverk är detta inte alls lika tydligt, om saker flyttas kommer de att se ut som något helt annat. Därför bygger man in geometriska strukturer i nätverken så att de inte ska behöva lära sig från data. På samma sätt kanske man vill använda neurala nätverk för att känna igen en viss celltyp. Celler har ingen föredragen rotation – de kan visa vilken sida som helst, till exempel på ett objektglas, och då måste man bygga in rotationsstrukturen i nätverket så att nätverken kan hantera detta.

I stället för att bygga in extra struktur i ett nätverk, vilket kan vara komplicerat att göra, kan man visa många fler exempel för nätverket och därmed träna det att hantera transformerad data, så kallad dataaugmentering. Detta kräver dock mer resurser. Oscar och hans medförfattare har undersökt hur mycket dataaugmentering kan hjälpa till att kompensera för avsaknad av inbyggda symmetrier. De kom fram till att det klarar enklare problem som klassificering, men när problemet kräver mer noggrannhet och när symmetrin är mer komplicerad i hur data representeras så kan dataaugmentering inte hjälpa.

Anpassning av modell och nytt ramverk

– Ett annat projekt som också rörde sfäriska data handlar om att en inneboende kurvatur alltid förvrängs vid utplattning om man inte kompenserar för detta. Vi anpassade därför en existerande och välfungerande modell för att hantera data som naturligt bor på en sfär för att slippa hantera förvrängningar, vilket gav modellen förbättrade egenskaper vid hantering av sfäriska bilder.

Avhandlingens största resultat ur en matematisk synvinkel rör ickelinjära lager i neurala nätverk. Neurala nätverk brukar vara konstruerade av alternerande linjära och ickelinjära lager, de senare behövs för att kunna hantera mer invecklade relationer i data. De linjära lagren för ekvivarianta nätverk med transformationsegenskaper är väl studerade, men för de ickelinjära har man behövt göra specifika lösningar då det inte funnits något sätt att koppla ihop olika arkitekturer. Oscar och hans medförfattare har skapat ett ramverk kring vilka element lagren kan ha när man konstruerar ickelinjära lager med någon form av gruppsymmetri. Den kan användas som guide vid konstruktion av nya ekvivarianta lager, och skulle kunna användas för att skapa ett klassificeringssystem.

Från teoretisk fysik till maskininlärning

Oscar har fått berättat för sig att han som liten gömde sig under matbordet för att slippa när det var dags för matteläxa. På högstadiet hade han ändå fattat tycke för fysik och matematik, och han gick Hvitfeldtskas matematikspetslinje för att sedan fortsätta med Teknisk fysik på Chalmers. Som mastersprogram gick han den nu nerlagda ”Physics and Astronomy”.

– Det var kul kurser och så, men jag kände att jag ville ha mer struktur på matten. Jag pratade med en föreläsare som tipsade om Daniel Persson som föreslog två mastersarbeten inom neurala nätverk, antingen tropisk geometri eller geometri och symmetri.

Oscar valde det sistnämnda och när det blev en doktorandtjänst ledig inom området så sökte han och fick den. Övergången mellan student och doktorand blev därmed inte så stor, hoppet mellan teoretisk fysik till matematik och maskininlärning konstaterar han var större, men det är inte så ovanligt att göra det. Oscar var också amanuens under två år av sin studietid och hade därför undervisningsvana. Det är få saker menar han som är lika tillfredsställande som när någon verkligen förstår vad man försöker förklara, och blir lika entusiastisk som vad man själv är.

– En sak som jag hade rekommenderat mig själv som nybliven doktorand är att från början vara väldigt strukturerad med anteckningar så att man kan hitta i dem. Jag gillar ju att skriva för hand men det blir snabbt stora mängder, det finns många digitala referenssystem som kan hjälpa en. Och det är viktigt att hålla på att detta är ett jobb så att man har ett liv vid sidan av och kan lufta hjärnan.

Någon ledighet efter disputationen blir det dock inte: redan tre dagar senare börjar Oscar en ettårig timlärartjänst här på Matematiska vetenskaper. Då ska han undervisa Mekatronikprogrammets studenter i matematisk analys.

Oscar Carlsson disputerar i matematik med avhandlingen Geometry and Symmetry in Deep Learning: From Mathematical Foundations to Vision Applications, fredag den 29 augusti kl 13.15 i sal Pascal, Hörsalsvägen 1. Handledare är Daniel Persson, biträdande handledare är Robert Berman och Christoffer Petersson.