Att träna neurala nätverk, som används inom maskininlärning för en rad olika tidigare olösbara problem, kräver stora mängder av data. Jimmy Aronsson forskar om symmetrimetoder för att kunna minska den nödvändiga datamängden.
De stora datamängder som krävs för att kunna träna de neurala nätverken kostar mycket beräkningskraft. De är dessutom ofta ofullständiga. Jimmy tar som exempel att träna ett nätverk att identifiera olika djur med hjälp av bilddata. Det finns då saker man kan göra med bilden som inte ändrar motivet, som att flytta, rotera och spegelvända det. För en dator blir det då en helt annan bild även om motivet är det samma.
Ett vanligt sätt att träna nätverket är att helt enkelt öka datamängden genom att till exempel utföra rotationer eller speglingar av bilden, men problemet är symmetriskt och man kan i stället använda en modell som har den symmetrin inbyggd i sig och ”förstår” den. Dessutom har många neurala nätverk flera miljarder parametrar, men de ekvivarianta nätverken som använder sig av symmetrier har mycket färre och nätverken tar därför mindre plats.
Gaugeteori och fiberknippen
De matematiska teorier som används inom så kallad geometrisk maskininlärning är bland annat harmonisk analys, fiberknippen samt gaugeteori, som ligger till grund för standardmodellen i fysik. Det är alltså redan utvecklade teorier som nu fått nya användningsområden.
I praktiken används faltningar till (linjära) lager i ekvivarianta neurala nätverk, eftersom faltningar har önskvärda symmetribevarande egenskaper. En central fråga i Jimmys forskning har varit: om man har ett ekvivariant neuralt nätverk, måste lagren vara faltningar eller kan de vara på något annat sätt? Går man miste om användbara linjära transformationer genom att bara använda faltningar? Jimmy har undersökt detta mer noggrant och generellt än vad som tidigare gjorts och kommit fram till att det nästan inte finns några undantag – faltning är allt man behöver.
– Det finns mycket mer att analysera i de matematiska teorierna kring geometrisk maskininlärning. Många fokuserar på globala symmetrier, men det finns också lokala symmetrier som behöver förstås i vissa tillämpningar, till exempel för att utföra beräkningar på krökta rum.
Tillsammans med fysiker i Österrike har Jimmy utvecklat neurala nätverk som förstår vissa lokala och globala symmetrier samtidigt, men många frågor återstår.
Tusen frågor
Jimmy var en av de första doktoranderna på institutionen som antogs för att forska inom AI. Det var inte hans handledares egentliga forskningsområde, men han hade blivit nyfiken på om man kunde använda idéer från fysiken inom maskinlärning. Första året fanns det ”tusen frågor men inga svar” men i slutet av året blev Jimmy medveten om ekvivarianta neurala nätverk och valde att fokusera på dessa, då den matematiska teorin såg lovande ut och även matchade hans bakgrundskunskaper.
– Att jag ville doktorera insåg jag under andra året på Matematikprogrammet. Det första året gick inte alls bra, jag hade dåliga förkunskaper och dålig studieteknik och kuggade varannan kurs. Men så tog jag en sommarkurs och lade om studietekniken så att jag började sikta mot djupare förståelse, och då blev det mycket intressantare och gick allt bättre.
Nu är det närmare tio personer i Jimmys forskargrupp, inräknat två i Umeå och doktorander i Tyskland och Österrike. Jimmys tjänst har varit finansierad inom WASP-programmet (Wallenberg AI, Autonomous Systems and Software) och han tycker att det har varit kul att ha en klass i Sverige där de bland annat gått kurser tillsammans.
Jimmy har trivts på institutionen som har en bra stämning och en platt hierarki. Undervisningen har han funnit givande, det är bra att göra något annat än att forska och trevligt att möta studenterna. Det ska ändå bli skönt med en nystart – Jimmy liknar doktorandtjänsten vid ett maratonlopp, man har själv valt att springa det men det är skönt att passera mållinjen! Han kommer att börja en tjänst inom industrin, det är inte matematikforskning men de matematiska kunskaperna kommer att komma till användning.
Jimmy Aronsson disputerar i matematik med avhandlingen Mathematical Foundations of Equivariant Neural Networks, torsdag den 25 maj kl 13.15 i sal Pascal, Hörsalsvägen 1. Handledare är Daniel Persson och biträdande handledare är Robert Berman och Christoffer Petersson.