AutoRett

Utvikling av digitale tester med automatisk retting er et prioritert arbeid i flere begynneremner ved NT-fak, men utviklingsarbeidet byr på utfordringer knyttet til oppgaveutforming, interoperabilitet mellom ulike plattformer og pedagogisk bruk av testene. Det er et tydelig behov for erfaringsutveksling blant faglærerne på tvers av fagene og kompetanseheving rundt digitale tester og digital eksamen i miljøet generelt.

Det aktuelle prosjektet skal bygge en ramme rundt utviklingsarbeidet med automatisk rettede tester som foregår i flere emner i matematikk, fysikk og kjemi. Emnene som er med i prosjektet er stort sett begynneremner med mange studenter og som er obligatoriske emner i ulike studieprogram. Tverrfaglig erfaringsutveksling blant de involverte fagpersonene vil sikre kvalitet og effektivitet i utviklingsarbeidet i utvalgte emner, samt bidra til et kunnskapsgrunnlag om varierte vurderingsformer som kan formidles til et bredere publikum av undervisere i STEM-fagene.

Prosjektet bidrar til bedre læring for studentene i STEM-fagene på ulike måter:

• En større mengde øvelsestester som er tilgjengelig når som helst og hvor som helst, og som gir studentene direkte tilbakemelding og innsikt i sine styrker og svakheter.
• Resultatene fra testene som er tilgjengelig for faglærerne muliggjør spesifikke tilpasninger i undervisning og individuell veiledning som fører til bedre læring hos studentene.
• Med automatiserte arbeidskrav og eksamen frigjøres det tid til lærer-studentinteraksjon slik at fagpersonene kan gi mer individuell formativ vurdering til studentene.
• Kompetanseheving rundt vurdering generelt og automatisk rettede tester spesifikt fører til bedre kursdesign som vil komme mange framtidige studentenes læring til gode.

Arbeidet med digitale tester med automatisk retting byr på utfordringer. Vi har identifisert utfordringer i tre kategorier, som er stort sett de samme for ulike STEM-fag:

1. Utfordringer knyttet til oppgaveutforming. Automatisk retting og generelt sett bruk av tester i fravær av faglæreren stiller høye krav til spørsmålenes kvalitet. I tillegg egner ikke alle læringsmål seg like godt til å testes med flervalgsoppgaver eller andre typer oppgaver som kan rettes automatisk. For noen læringsmål er det krevende å finne flere lignende oppgaver på samme nivå, slik at spørsmålene kan inngå i øvelsestester hvor studenten tar flere forsøk eller i arbeidskrav og digital eksamen hvor ulike studenter skal få ulike spørsmål.
2. Utfordringer knyttet til (interoperabilitet mellom) ulike plattformer. Det en vanskelig men viktig avgjørelse å velge rett plattform for utviklingsarbeid. På UiT finnes det allerede ulike plattformer å forholde seg til for læring og undervisning (Canvas) og digital eksamen (WISEflow) med ulike muligheter innenfor automatisk retting. Begge plattformer har sine begrensninger og andre plattformer som for eksempel Numbas eller Learning Catalytics har derfor også blitt tatt i bruk. Eksport av spørsmål og spørsmålsbanker fra den ene til den andre plattformen er imidlertid ofte krevende eller umulig.
3. Utfordringer knyttet til pedagogisk bruk av testene. Det kan være utfordrende å få studentene til å bruke øvelsestester som ikke er obligatoriske, selv om de kan være en viktig ressurs i læringsprosessen. Det er også lettere å bruke digitale tester som kartleggingsverktøy for lærer og student enn som verktøy for å gi formativ vurdering til den enkelte studenten. Mer generelt er det en utfordrende men viktig problemstilling hvilken rolle digitale tester skal ha i emnet som helhet og hvordan dette skal kommuniseres tydelig til studentene.

Diskusjon av disse utfordringene og mulige løsninger har vært sentrale i erfaringsutvekslingen i prosjektet.

Utviklingsarbeid i seks emner i matematikk (2x), fysikk (2x) og kjemi (2x) var opprinnelig planlagt i søknaden for prosjektet. I løpet av prosjektperioden har arbeidet blitt utvidet til noen flere emner. 

Utviklingsarbeidet i de ulike emne har vært å lage, forbedre og kvalitetssikre øvelsestester, automatisk rettede arbeidskrav og oppgaver som brukes før, i og etter undervisning. I noen emner har det vært utvikling av en digital eksamen som er helt eller delvis automatisk rettet.

Utviklingsarbeidet har blitt utført i ulike plattformer som NUMBAS (MAT-0001, MAT-1002), Canvas (MAT-1060, KJE-1001, KJE-1002), WISEflow (FYS-0100, FYS-1001, KJE-1001) og R/exams (FYS-0100, KJE-1005).

En viktig målsetning med prosjektet er å støtte opp under utviklingsarbeid i de ulike emnene ved å dele erfaringer på tvers av fag og emne. Denne erfaringsutveksling var lagt opp rundt de tre nevnte utfordringene i utviklingsarbeid: utfordringer knyttet til oppgaveutforming, utfordringer knyttet til (interoperabilitet mellom) ulike plattformer for utviklingsarbeidet og utfordringer knyttet til pedagogisk bruk av testene. 

Ti prosjektmøter var planlagt i prosjektsøknaden. I løpet av prosjektet har vi identifisert et ønske å diskutere relevant litteratur for å diskutere anvendelse i og implikasjoner for eget utviklingsarbeid. Vi har derfor organisert egne artikkelseminarer knyttet til ulike temaer i prosjektet. Til sammen har vi hatt 9 prosjektmøter og 7 artikkelseminarer i løpet av 2021.

I prosjektmøtene har én eller flere prosjektdeltagere presentert et kort framlegg om sitt utviklingsarbeid knyttet til et fastsatt tema. De øvrige prosjektdeltagere har gitt innspill på problemstillinger i framlegget og trukket inn sitt eget pågående utviklingsarbeid i diskusjonen.

Målet med artikkelseminarene var å diskutere anvendelse og implikasjoner av relevant litteratur i egen undervisning og i eget utviklingsarbeid.

Et av målene i prosjektet er å dele erfaringene i et større tverrfaglig miljø og med dette bidra til kompetanseheving blant flere enn bare prosjektdeltagerne.

Positive erfaringer med digitale tester og AutoRett-prosjektet har bidratt til at flere emner og flere personer har blitt involvert i utviklingsarbeidet. I matematikk og kjemi har utviklingsarbeidet blitt utvidet til flere emner enn opprinnelig planlagt. I alle tre fag (matematikk, fysikk og kjemi) har flere personer bidratt til utviklingsarbeidet enn opprinnelig planlagt i prosjektsøknaden.

Noen av prosjektdeltagerne har bidratt til kompetanseheving blant læringsassistenter / gruppelærere / seminarlærere på Fakultet for naturvitenskap og teknologi gjennom Gruppelærerdagen (norskspråklig med studenter som underviser som hovedmålgruppen) og Teaching Assistent Day (engelskspråklig med ph.d.-studenter som hovedmålgruppen). Et sentralt tema i denne opplæringen er hvordan (gruppe)lærere kan støtte studentene de underviser i sin selvstudie med automatisk rettede tester.

Resultater fra prosjektet har blitt formidlet på webinarfestivalen 2021 og Læringsfestivalen digital 2022 og vil presenteres på UiT sin utdanningskvalitetskonferansen i 2022 og MNT-konferansen 2023.

Flere nye prosjekter viderefører deler av aktivitetene i AutoRett-prosjektet. Mer informasjon finner du under "Videreutdanning for lærere", "Fagfornyelse" og "Kultur for deling" på dette nettstedet.