Har laga dataspel forskarar kan bruke til utvikling av kunstig intelligens

– Mange dataspel er dyre og krev mykje data og energi. Det har vore behov for spel som krev lite reknekraft for å trene opp algoritmar i industrielle miljø, seier Per-Arne Andersen, universitetslektor ved UiAs Institutt for IKT.  

Nyleg disputerte han for doktorgraden med ei avhandling om korleis kunstig intelligens i dataspel kan fungere godt sjølv om dei ikkje har mykje reknekraft. Andersen har utvikla kunstig intelligens-algoritmar som kan bli brukt i system der ein må ta hyppige avgjerder. Her er dataspel mykje brukt for å trene opp kunstig intelligens i spelmiljø som er utvikla etter kompliserte industrimiljø.  

Per-Arne Andersen disputerte nyleg frå Fakultet for teknologi og realfag ved UiA

Kunstig intelligens-algoritmar, også kalla oppskrifter, er sjølvlærande. Når forskaren legg inn data, lærer algoritmen seg å ta smarte val.  

Forskingsområdet til Andersen blir kalla djup forsterkande læring (Deep reinforcement learning), ein kombinasjon av djuplæring og forsterkande læring. 

– Målet har vore å gjere datasystema i stand til å gjennomføre avgjerder utan å gjere feil. Dette aukar og tek vare på sikkerheita i systemet, seier Andersen. 

Men trening av algoritmar er datakrevjande. Også dei ulike dataspela krev mykje datakraft og energi. Ifølgje Andersen skjer mykje banebrytande forsking gjennom dataspelet StarCraft II, som krev dyre datasystem.  

– Slike datasystem er ikkje allment tilgjengeleg for alle forskingsinstitusjonar, seier han.  

Seks spel

Andersen har derfor utvikla seks nye spelmiljø som ein kan bruke til å trene opp algoritmar. Alle er enkle å bruke og krev lite datakraft samanlikna med StarCraft. Dei er også inspirerte av ulike typar industrimiljø som til dømes bruker robotar til ulike oppgåver.   

Skjermdump av eit av Andersens dataspel som skal etterlikne eit logistikk-system i eit automatisert varehus

– I eit par av spela kan ein til dømes trene algoritmar innan planlegging og læring ved lite informasjon. Eit anna spel er eit labyrintspel der algoritmar lærer å navigere i labyrintar ved hjelp av hukommelse. Algoritmane lærer seg kort sagt å hugse den kortaste eller smartaste vegen ut av labyrinten, seier Andersen.

Spelet «Deep Warehouse» har Andersen spesiallaga for å evaluere sikkerheita til algoritmar i automatiske varehus. I desse varehusa er arbeidet automatisert og blir utført av robotar». Her har Andersen hatt kontakt med verksemda AutoStore AS som tilbyr system for atuomatiserte varehus. I desse varehusa er det robotar som gjer arbeidet med å registrere ordre, hente vare og pakke den for sending. 

– Alle spela har låg vanskegrad og krev lite reknekraft. Dette gjer dei også mykje meir tilgjengelege for andre i forskingsmiljøet å bruke, seier Andersen. 

I spela kan forskarane teste ut algoritmar til industrisystem utan å gjere nokon skade eller vere til risiko for menneske i den fysiske verda. 

– Det er billigare å krasje robotar i eit spel enn i ein faktisk fabrikk. Slike metodar kan vere svært nyttige for industribedrifter som ønsker å feilteste maskinar og datasystem, seier Andersen. 

Vidareutvikla draumealgoritmen

Doktoravhandlinga baserer seg på ei utvikling av draumealgoritmen som Andersen utvikla under arbeide med masteroppgåva si. Algoritmen trengte lite data.

– Algoritmen er blitt enda betre til å skape nye spelsituasjonar. Han utviklar eigne data undervegs. Eg kan også sjå at den nyutvikla algoritmen får med seg fleire detaljar, seier Andersen. 

Lærer seg sjølv

Draumealgoritmen, og fleire variantar av han, har Andersen testa i strategispel som går føre seg i sanntid, til dømes StarCraft II. Han og forskarkollegaer har også testa korleis algoritmen fungerer i industribedrifter der det er viktig at ein tidleg oppdagar feilproduksjon.

Sidan forsterkingslæring krev mykje data, blir læringa langsam og vanskeleg å gjennomføre viss du har lite datakraft tilgjengeleg. 

– Det som er unikt med vidareføringa av draumealgoritmen, er at han lærer seg delar av spelet, og ut frå det ser for seg nye måtar å spele på for å vinne. Brukt i industrien dreiar det seg om å finne nye og meir effektive måtar å gjennomføre oppgåvene på. Algoritmen klarer å sjå litt framover i tid, seier Andersen.

Andersen trur algoritmen kan vere eit godt verktøy for industribedrifter. Til dømes i bedrifter med automatiske prosessar der mange avgjerder må tas innan i eit bestemt tidsrom.

– Eitt døme kan vere i miljø der konsekvensen av å gjere feil er fatal. Då kan ein bruke ein slik algoritme til å trene opp dei andre algoritmane i eit draumemiljø som prøver ut ulike løysingar utan at det oppstår nokon skade om ein gjer feil, seier han.

– Draumealgoritmen er eit lite steg i riktig retning mot meir effektive og mindre datakrevjande algoritmar, men dette er ikkje slutten på denne typen forsking, seier han. 

Morten Goodwin er nestleiar av CAIR og var rettleiar for Andersens doktorgradsarbeid.

Tilgjengeleg for alle

Spela og algoritmane til Andersen ligg tilgjengelege i forskingsverktøyet CaiRL. Verktøyet er utvikla av Senter for kunstig intelligens (CAIR) ved UiA. 

– Andersen har utvikla spelmiljø som forskarar over heile verda kan bruke. Alt ligg ope tilgjengeleg for alle å bruke, seier professor Morten Goodwin, nestleiar CAIR og rettleiar for Andersens doktorgradsavhandling.