Innspill
Dosent Inger Langseth, programleder for NTNU Drive, NTNU
Doktor Lise Sandvik, Institutt for lærerutdanning, NTNU
Det er to forhold vi vil belyse: vurdering og korte engasjement.
Vurdering
Tradisjonelle vurderingsmodeller som tar utgangpunkt i studenten som et isolert individ med begrenset tilgang til ressurser er ikke forenelig med den digitale utviklingen i samfunnet generelt, dersom vurderingen skal kunne betegnes som virkelighetsnær. Vurdering i UH-sektoren bør derfor i større grad tilpasses den virkeligheten studentene skal anvende sin kompetanse i og som kjennetegnes ved åpenhet, samarbeid, distribuert kunnskap og tilgang til nesten ubegrensede ressurser. Vurderingsformen bør med andre ord være relevant for den virkeligheten som studentene skal anvende kunnskapen i etter endt studie og speile akademisk tenking i faget.
To sentrale aspekter ved vurdering i UH-sektoren er pålitelighet (reliabilitet) og gyldighet (validitet). Dersom disse begrepene legges til grunn for vurdering i lov- og regelverket (se punkt 2), kan det bidra til en mer nyansert forståelse av klagebehandling og sluttvurdering i høyere utdanning.
Reliabilitet beskriver hvor konsistente resultatene av en vurdering er. En reliabel vurdering kan gjennomføres flere ganger på individer eller grupper med samme resultat. En grunnleggende forståelse for reliabilitet er for eksempel viktig for å forstå hvorvidt en vurdering kan kalles rettferdig eller ei.
Over hundre år med forskning har vist at underviseres dømmekraft alene ikke er tilstrekkelig for å sikre pålitelig karaktersetting; det er alltid behov for en form for standardisering eller formalisering av slike prosedyrer for å sikre reliabilitet.
Eksempler på måter å forbedre reliabiliteten i sluttvurdering er:
tydelig definerte oppgavebeskrivelser
detaljerte instruksjoner til studentene om hvordan de skal besvare åpne oppgaver
definisjoner av best praksis i utforming av oppgavebeskrivelser
klare retningslinjer for sensors vurdering av oppgavebesvarelser (for eksempel oppgavebeskrivelsen, læringsutbyttebeskrivelser og vurderingskriterier og sensurveiledninger)
klare retningslinjer for når i læringsprosessen vurdering kan foregå (for eksempel deleksamen)
Kvalitetssikring av sluttvurderinger (for eksempel fremdyrke praksisfellesskap blant faglærerne der de bygger en felles forståelse for forventningene til studentens læring
Tydelige krav til innsamling av data og analyser med tanke på forbedring og kvalitetssikring ved digital eksamen (for eksempel tjenester for tekstanalyse, plagiat, vurderingsform osv.)
For å kunne regne en vurdering som valid eller gyldig, må vi 1) erkjenne at den er en tolkning (ikke en objektiv sannhet) og 2) kunne begrunne tolkningen ut fra de bevisene vi har tilgjengelig (Kane, 2015). Validitet er derfor ikke en enten-eller-situasjon. Vurderinger kan tolkes på ulike måter, og validitet er derfor et spørsmål om hvor fullstendig og sammenhengende begrunnelsen for tolkningen er.
NTNU har systematisk arbeidet med digitalisering av utdanningsområdet. I dette arbeidet har vi vært svært opptatt av problemstillinger knyttet til eksamen og klagesensur, og det er en rekke små og store problemstillinger vi ønsker at dere skal diskutere i forbindelse med utformingen av et nytt lov- og regelverk:
Studentenes klagerett: Digital eksamen er innført ved mange universitet og høyskoler. Studentene klikker enkelt på en knapp/lenke for å be om begrunnelse på karakteren. Er det mulig at studentene kan bli bedt om å begrunne sin forespørsel? Da opp mot oppgavebeskrivelse, vurderingskriterier og læringsutbyttebeskrivelser (jf. sensurveiledning)?
Klare retningslinjer for faglærerens vurdering: Sluttvurdering er en tolkning av en eksamensbesvarelse som studenten har levert. Hvordan kan man utforme et regelverk som sikrer at dette arbeidet blir gyldig og pålitelig? Klare sensurveiledninger og vurderingskriterier bør utvikles i praksisfellesskap og tolkes og forstås av undervisere og studenter. Digital eksamen åpner for innsamling av data som kan støtte vurderingen.
Klagebehandling: Ved klage på sensur vet ikke ny sensor hva studenten fikk ved første sensur. Det betyr at sensor ikke vet hvilke tolkninger som er gjort av denne eksamensbesvarelsen. Er det ønskelig å endre dette til at ny sensur vurderer om sensuren er urimelig? (jf. praksis i videregående skole).
Digitale vurderingsformer: Det er i dag teknisk mulig å gjennomføre muntlig eksamen digitalt. Dersom den gjennomføres via for eksempel Skype, LMS, Inspera eller tilsvarende plattformer, kan studenten identifisere seg på vanlig måte med ID-kort og det er mulig å ta opptak (jf. skjermopptak) av eksaminasjonen. Digitalisering av muntlig eksamen fører til at vurderingen kan etterprøves og studentene kan da få klagerett, på lik linje med skriftlig eksamen. En annen effekt er at det ikke trengs mer enn en sensor til stede og at ordningen kan bli tilsvarende skriftlig eksamen, hvor det hvert tredje år er en medsensor som bidrar til å kvalitetssikre vurderingen. En endring av dagens regelverk – muntlig eksamen på campus med to sensorer, uten klagerett – vil kunne bidra til større variasjon i vurderingsformer og ikke minst en reduksjon i kostnader forbundet med muntlig eksamensavvikling (jf. reisekostnader for ekstern sensor).
Fra individuell til kollektiv hjemmeeksamen: Hvordan kan regelverket i større grad legge til rette for eksamensbesvarelser som et skrevet av grupper av studenter? I denne sammenhengen: Er det mulig å benytte en form for egenvurdering, som for eksempel at 10% av karakteren vektes som bidrag til innholdet i oppgaven og studentene må fordele en poengsum mellom seg basert på aktivitet i eksamensperioden. Det vil kunne bidra til økt fokus på sosial samhandling og at aktive studenter ikke «avskriver» gruppeeksamen fordi de blir satt til å samarbeide med mindre aktive medstudenter (jf. eksisterende praksis i USA.)
Fra sensors vurdering til medstudentvurdering: Hvordan kan regelverket legge til rette for medstudentvurdering – at studenter utvikler kompetanse i veiledning og vurdering av medstudenters akademiske arbeid og slik blir bedre forberedt for team-arbeid, tilbakemelding på andres arbeid og strategiske valg i yrkeslivet? For eksempel: En mulig gevinst er at studentene vil kunne utvikle kompetanse i å analysere og anvende læringsutbyttebeskrivelser og vurderingskriterier i møte med ulike typer tekster. En annen mulig gevinst er at studentene får innsikt i andre oppgavebesvarelser og kan dermed sammenligne disse med sin egen (jf. egenvurdering). En siste gevinst er kanskje at studentene får økt innsikt i akademisk tenking, det vitenskapelige håndverket, og standarder for validitet og reliabilitet. Denne formen for vurdering har altså en direkte relevans for arbeidslivet. I nettbaserte skalerbare kurs er det ønskelig å ta i bruk medstudentvurdering som en komponent i sluttvurderingen.
Korte engasjement
UH-sektoren preges i stor grad av sammenslåing og ønske om økt samarbeid om forskning og undervisning. Sentralt i denne utviklingen står utviklingen av delingskulturer og samarbeid på tvers av siloer. Større oppgaver løses gjerne i prosjekt og i team med komplementære kompetanser på tvers av organisasjoner, institutt og faggrupper. Lovverket tar ikke hensyn til denne utviklingen. Det medfører noen hindringer av mer praktisk art.
Det er nå svært problematisk at man ikke kan lønne en ansatt med spisskompetanse ved et annet institutt eller campus i samme institusjon for å utføre en jobb i en kortere periode dersom vedkommende er ansatt i en 100% stilling. For eksempel: Det er helt greit å hente inn en ekstern medarbeider og lønne vedkommende i en periode, selv om vedkommende er i 100% stilling (jf. Professor II eller timesoppdrag), mens det er høyst problematisk dersom man vil hente denne medarbeideren fra egen institusjon.
Det medfører at man i store organisasjoner ikke kan styrke samarbeid, dele og utvikle kompetanse internt, bare eksternt. Utviklingen er uheldig og veldig tidkrevende for prosjektledere som må hente inn kompetanser for å få et best mulig resultat.