Gå til hovedinnhold
0
Hopp til hovedinnhold

Sindre Bakken, Toralf Storhaug & Tor Halvard S. Svendsen

Sindre Bakken, Toralf Storhaug & Tor Halvard S. Svendsen
Multimedieteknologi og -design
Fakultet for teknologi og realfag
24. juni 2020

Utvikling av nytt læringsverktøy for sykepleiestudenter

De siste årene har VR blitt billigere og mer tilgjengelig for de fleste. Det er ikke mange år siden VR ble sett på som et nisjemarked for de spesielt interesserte, eller for store selskaper som forsket på måter å styre roboter under vann eller ute i verdensrommet. Som følge av lettere tilgang til VR teknologien har interessen for å bruke dette til underholdning og læring kommet mer i søkelyset.

Prosjektet startet da Førstelektor Jørn Hustad fra fakultetet for helse- og idrettsvitenskap, i 2019 kom med et forslag til studentene ved Multimedieteknologi og -design om å lage et VR-program  som sykepleiestudentene kunne øve seg i. Han hadde et budsjett for prosjektet på 100.000,- kr, som han vant i forbindelse med UiA sin utdanningspris sammen med Arne Leland. Arne Leland gikk bort før prisen ble delt ut.

Vi tok på oss dette prosjektet som en del av IKT-prosjektet i faget DAT215-G for å se om dette var noe som var mulig å utføre. Læringskurven viste seg til å være svært bratt i startfasen. Som bachelorstudenter fra fakultetet for teknologi og realfag hadde vi ikke noe kjennskap til det faglige i sykepleien eller hvordan et simrom driftes.

Førstelektor Jørn Hustad fikk booket simrommet for oss slik at vi kunne få litt grunnleggende kunnskap om hva som var nødvendig til å utføre et simulert scenario, og en liten gjennomgang i hvordan dagens manikiner(simuleringsdokker) fungerer ved UiA Grimstad (Figur 1). I sammenheng med denne visningen/demonstrasjonen ble utført et lite lynkurs i skjemaene SKUV og NEWS II som er standard kunnskap for dagens sykepleiere.

Figur 1: t.v Tor Halvard S. Svendsen t.h Førstelektor Jørn Hustad på simrommet i Grimstad

Det var også en del vi måtte lære oss i forhold til utvikling av VR-programmer i spillmotoren Unity. Spesielt viktig var det å lære oss programmeringsspråket C#, som er det eneste språket støttet av Unity for øyeblikket. Gjennom en god del research via Unity og Oculus sin dokumentasjon så var det å sette i gang med arbeidet. Det var tydelig fra starten at størrelsen på programmet ville føre til en lang utvikling og dermed var det ikke mulig å utføre hele prosjektet på en periode på 4 måneder. Det ble dermed avgjort at selve IKT-fasen skulle funke som en pre-alpha/alpha fase der noe av grunnfundamentet og enkelte funksjoner skulle legges inn.

IKT-fasen bestod for det meste å sette opp det mest grunnleggende som kunne bli bygget på senere. Dette ble gjørt ved å modellere en enkel pasient med en enkel puste animasjon, enkle verktøy og et rom der scenarioet kunne finne sted (Figur 2). Det ble også lagt til en simpel prosedyre der spilleren kunne høre på hjertelydene til pasienten.

Figur 2: Tidlig utgave av programmet

Det viktigste som måtte settes inn som ennå ikke har blitt nevnt var VR fundamentet. Her ble det avgjort at systemet skulle ha en basis i Oculus sitt økosystem. Årsaken til dette var at sluttmålet er at dette programmet skal kunne kjøre på Oculus Quest headsettet. Dette åpner for enklere bruk av programmet for sluttbrukeren, da de ikke vil ha behov for kraftig ekstern maskinvare som støtter VR.

For å gjøre dette ble Oculus Integration Tool importert inn i Unity prosjektet. I bunn og grunn skulle dette vært alt vi trengte å gjøre, men dette verktøyet viste seg til å ha flere utfordringer enn forventet basert på dokumentasjonen som eksisterte. Et av de vanligste problemet som dukket opp var det at hendende til spilleren ikke ville matche med virkeligheten, der de virtuelle hendene ville flytte seg ca. 0.5 meter i enten x, y eller z aksen. Det er usikkert på hvorfor dette skjedde, men dette kan i muligens skyldes at Oculus Integration Tool har i utgangspunktet blitt designet som en demo/proof of concept for å hjelpe utviklere i gang og for å bli modifisert videre for å tilpasse den bedre til sitt eget prosjekt.

IKT fasen avsluttet i desember 2019 og vi var nokså fornøyde med arbeidet vi hadde gjort. Denne fasen ga oss en god følelse på hvor krevende “spill utvikling” kan være, men var svært lærerikt i den grad at vi gikk inn emner som vi ikke hadde vært innom før. Førstelektor Jørn Hustad var svært fornøyd og ønsket at vi skulle jobbe videre på prosjektet som en del av vår bacheloroppgave.

Bachelor-fasen startet i januar 2020. Denne fasen bestod av å implementer det vi hadde lært om SKUV og NEWS II på en måte der det kunne presenteres på en riktig måte. Gitt SKUV skjemaet sin størrelse i forhold til antall “sjekkpunkter” måtte vi begrense oss til de mest grunnleggende punktene for å møte fristen.

Et annet element i denne fasen var det å lage en slags introduksjons-level der spillere som ikke er vant til VR kunne lære seg hvordan de navigerer, snakker med pasienten og bruke utstyret de vil finne inne i scenarioet. Dette ble løst med et virtuelt venterom som fungerte som en øveplass og meny som de kan bruke til å velge et scenario.

Generelt hele prosjektet fikk en “facelift” rent grafisk, men det viktigste elementet var pasienten. Her ble det utviklet et skript som tillater for rask implementering av vitalia informasjon, som puls, oksygenmetning, respirasjonsfrekvens og mer. Dette skriptet ble bygget opp på en slik at måte at man kan senere designe et scenario der pasienten sin tilstand kan forverres, for eksempel: Under scenarioet kan oksygenmetningen synke og pasienten sin hud kan bli blek og leppene blå.

De fleste scriptene til verktøy, skjermen og nettbrettet som kan bli sett i figur 3 er koblet sammen på en slik måte at et verktøy må ha målt eller aktivt måle en pasient sin vitalia for at det skal kunne loggføres, som igjen blir brukt til å gi spilleren en sluttscore som sier hva de gjorde riktig og feil. Sluttscoren gir en fasit basert på scenarioet som er gitt. Den vil også gi spilleren mindre poeng dersom de glemmer hygienerutiner.

Figur 3: Beta versjonen av programmet

Det er fremdeles en del utvikling som gjenstår og prosjektet mangler ennå praktisk testing på sykepleierstudenter. Men vi ser potensialet i prosjektet til å fungere som et supplerende element i det praktiske som sykepleiestudiene burde kunne før de kommer ut i praksis og senere i arbeidslivet. Noe av utviklingen som kommer til å skje fremover er å åpne opp for at spilleren kan utføre hele SKUV skjemaet (i beta utgaven kan omtrentlig 25% utføres). Det er også i planen å fra å flytte fra Oculus Intergration Tool over til Unity XR som åpner opp for at programmet kan kjøres på de mest populære VR-headsettene som er ute i dag.

VI ønsker også å fremheve det tverrfaglige arbeidet som er utført som en avslutning. Dette prosjektet vil vi påstå hadde vært umulig å utvikle uten veiledning fra Førstelektor Jørn Hustad, som forklarte oss hvordan dagens ordning fungerer og det rent faglige innenfor systematisk kliniske undersøkelser. Eller det vi har lært gjennom bachelorprogrammet ved Multimedieteknologi og -design, og veiledningen fra Førstelektor Morgan Konnestad og Overingeniør Jostein Nordengen. Prosjektet etter planen vil fortsette utviklingen som en del av masterstudiet multimedia and educational technology.

Sindre Bakken, Toralf Storhaug og Tor Halvard Skarberg Svendsen