Vurderingsformer

1. INNLEDNING

Jeg har benyttet meg av følgende vurderingsformer gjennom min tid som underviser i videregående skole (Høst 1999 – Vår 2001) og i høyskole/ universitet (Høst 2001 – d.d.):

• Ordinær skriftlig eksamen med penn og papir
• Ordinær skriftlig eksamen med bruk av egne datamaskiner/ bruk av institusjonens datamaskiner (Word og opplasting i Inspera)
• Individuell muntlig på campus
• Individuell muntlig via Skype
• Hjemmeeksamen levert via Moodle, Canvas og Inspera
• Mappeevaluering levert via Moodle, Fronter, Canvas og Inspera

Av disse vurderingsformene er det kun mappeevaluering jeg anser som egnet ut fra min undervisningsfilosofi, min bruk av omvendt klasserom og min målgruppe (profesjonelle yrkesutøvere i fullt arbeid, spredd over hele landet og asynkront nettbaserte). Denne eksamensformen er særlig egnet, slik jeg ser det, når man arbeider med fagemner og studieprogram innen det samfunnsvitenskapelige området (i mitt tilfelle EVU-studiene IKT og læring 1 og 2, samt MASIK-emnet ORG5005). Her finnes det få klare svar på oppgaver og det er derfor ytterst sjeldent (og mine emner aldri) at studentene prøves i oppgaver på nivå 1 i Blooms taksonomi. Gjengivelse av konkrete fakta er altså ikke aktuelt, og det er den enkeltes evne til å knytte sin fagforståelse (basert på relevant pensum) til egen yrkeshverdag som i stor grad vurderes.

2. OM MAPPEEVALUERING

To sentrale punkt: Individuell veiledning av utkast til besvarelser på obligatoriske arbeidskrav og vurdering av de endelige besvarelser, herunder studentenes arbeidsprosess fra utkast til endelig besvarelse.

Mappevurdering er en arbeids- og vurderingsform som brukes mer og mer, og i stor grad erstatter tradisjonell skriftlig eksamen. Dette er en vurderingsform som betrakter studentenes arbeidskrav som en prosess, der målet er at kommentarene studenten får på ett arbeidskrav skal kunne videreutvikle deres læring til neste arbeidskrav (Dyste & Engelsen, 2005). Mappen blir dermed en samling studentarbeid gjort over tid, og tanken er at studentens egenaktivitet, refleksjon og selvvurdering blir fremtredende i denne prosessen. Innenfor mappevurdering vil særlig formativ vurdering vektlegges (Taasen, Havnes & Lauvås, 2004). Dette er underveisvurdering av et uferdig produkt, slik at vurderingen rettes mot studentens lærings- og utviklingsprosess frem mot det ferdige produktet.

Mappe er altså en form for pedagogisk dokumentasjon som både er foreleserstyrt og studentaktiv. Prosessens formål å beskrive og tydeliggjøre hva og hvordan studenten lærer, hvilke resultater han/hun vil oppnå samt hvilke tanker studenten gjør seg i forbindelse med egen læring og hvilken form for støtte fra foreleser det er behov for (Ellmin, 2001).

Det finnes ikke én bestemt måte å gjennomføre mappeevaluering på og vi kan si at denne vurderingsformen er et rammeverk som sier at studenten skal lære gjennom å produsere, og at det er studentens produksjon og læring som evalueres. Noen understreker at studenten må medvirke i valg av både innhold i mappen og kriterier for hva som skal velges ut til endelig vurdering (Taube, 1998), og i fagemnet SPO1510 kjørte jeg mappevurdering ut fra dette kriteriet. Men i de nettbaserte studiene IKT og Læring 1 og 2 har studentene ingen innflytelse over utvelgelse og begge arbeidskrav i hvert fagemne må leveres inn. Det studenten her kan velge er å enten benytte seg av forelesers veiledningskommentarer i sin helhet, eller delvis eller ikke i det hele tatt i sitt videre arbeid med besvarelsene fra veiledning til mappeinnlevering.

For å sikre muligheten for en total vurdering av den enkelte students helhetlige arbeidsprosess fra første utkast til veiledning og frem til endelig innlevering, benyttes krav om fullt navn på innleveringene. For noen studenter kommer dette som en overraskelse, siden de først og fremst er vant med ordinære anonymiserte eksamensbesvarelser. Men det er jo ikke slik at det er et ettertrykkelig påbud om at alle eksamener skal ha anonym innlevering. I eksamensforskriften ved Nord universitet, § 10-3, står det at «Kandidaten skal sikres anonym sensur så fremt det er mulig». Men i fagemner der individuell veiledning er en sentral del av prosessen frem mot eksamen, så som f.eks. for Bachelor- og Masteroppgaver, er det ingen krav om anonym sensur. I slike tilfeller regnes anonym sensur som ikke mulig. Jeg skal komme tilbake til dette i neste kapittel.

Som arbeids- og vurderingsform innebærer altså mappeevaluering et pedagogisk grunnsyn som nettopp vektlegger egenutvikling, selvstendighet og refleksjon. I IKT og Læringsstudiene skal samtlige arbeidskravsbesvarelser inneholde et refleksjonsnotat der studenten reflekterer over egen læringsprosess med det enkelte arbeidskrav. Dette er i tråd med Dysthe (2002) sine tanker der hun beskriver, blant annet, metakognisjonen som følge av selvrefleksjon som sentralt i mappemetodikken.

Siden vi her snakker om et rammeverk er det altså ikke slik at studenten nødvendigvis skal levere en fysisk mappe med produkter, ei heller en digital mappe med filer. «Mappe» i denne sammenhengen er ofte rett og slett et fastsatt antall obligatoriske arbeider og studentens arbeids- og læringsprosess med disse, som dokumenteres i form av besvarelser levert til veiledning og deretter til endelig evaluering.

Ved Nord universitet benyttes Canvas som LMS og Inspera som eksamenssystem. Mine studenter finner arbeidskrav og tilhørende fagstoff i det enkelte emnets Canvasrom, og leverer til veiledning via Canvas sitt oppgavesystem. Til endelig innlevering (mappestenging) benyttes Inspera.

En sentral del av min bruk av mappeevaluering har vært de individuelle tilbakemeldingene på hvert enkelt arbeidskrav. Siden 2019 har jeg også, etter en ide av førsteamanuensis Beata Godejord, utviklet ulike «generelle veiledninger» for det enkelte arbeidskrav i de ulike emner innen IKT og læring og ORG5005, der forventninger til studentene, generelle tips og råd om oppbygging av arbeidskravets analytiske del eller spesifikke tekniske tips og råd knyttet til eventuelle tekniske produkt, ol. er beskrevet. Disse veiledningene er også å regne som sensorveiledninger og gjøres tilgjengelig for studentene i Canvas med en gang arbeidskravet publiseres.

En av studentene ved ORG5005 (våren 2022) sa det slik om de generelle veiledningsdokumentene tilknyttet de to arbeidskravene:

Dessuten vil jeg avslutningsvis understreke at det generelle veiledningsdokumentet tilknyttet arbeidskravet i stor grad har bidratt til eget læringsutbytte. Etter mitt syn er det et godt pedagogisk grep å gjøre dette tilgjengelig for studenter ved denne typen oppgaver. Selv om det ikke representerer en fasit, så bidro det i hvert fall for min del til at jeg ble pekt i riktig retning, samt i større grad forsto hensikten med læringsmålet og læringsutbyttet.

Er det så slik at enhver tilbakemelding i seg selv er grei nok og en mer enn tilstrekkelig for å løfte den enkelte student? I følge Hattie og Timperley (2007) er det ikke slik. For å dekke gapet mellom studentens faktiske forståelse og det mål jeg som underviser ønsker at de skal oppnå er det viktig at vurderingen treffer den kunnskap som allerede finnes hos studenten (Hattie & Timperley, 2007; Sadler, 2009).

Jeg har særlig jobbet mye med nettbasert etter- og videreutdanning for folk i full jobb. Disse er i hovedsak lærere, eller de jobber med ulike former for internopplæring i egen virksomhet. Disse studentene har derfor stort sett en solid bakgrunn innen undervisning, slik at det blir viktig å formulere gode og utfordrende arbeidskrav som presser studentene ut av komfortsonen og inn i læringssonen. Shute (2008) peker på at når målet er  utfordrende nok til at studentene blir motivert til å jobbe, og både underviser og studenter føler en forpliktelse og mening med målet, da er kriteriene til stede for gode tilbakemeldinger.

Når jeg gir individuell tilbakemelding søker jeg alltid å peke på hva som er gjort, hva som kan gjøres bedre og hvordan studenten kan gå frem for å forbedre sin besvarelse frem mot mappestenging. Dette er i tråd med det Hattie & Timperley (2007, s. 88) omtaler som de tre sentrale spørsmål: Hvor vil jeg? (feed up), Hvordan komme dit? (feed back), Hva er neste skritt? (feed forward).

En student ved ORG5005 sa det slik om min veiledning i sitt refleksjonsnotat (2023):

Eg vart noko overraska over omfanget på tilbakemeldingane, men når eg las den siste samanfatta kommentaren forstod eg at rettleiinga vart gitt med slik omfang nettopp fordi eg hadde levert ei ganske fullstendig oppgåve i utgangspunktet, og at difor forbetringspunkta var for å løfte oppgåva til det høgaste karakternivå.

Mappeevaluering med klart definerte og faglig utfordrende arbeidskrav, etterfulgt av god veiledning, er helt sentralt for å få til god studentaktiv undervisning, enten dette er nettstudier eller campusbaserte studier.

Ut fra tilbakemeldinger fra studentene i de to nettbaserte studiene IKT og Læring 1 og 2, samt ORG5005, har jeg stort sett klart å gi gode og konkrete tilbakemeldinger. Her er et lite knippe uttalelser hentet fra refleksjonsdelen av besvarelsene:

•   Veiledningen gitt av faglærer var tydelig og konkret
  – Student, IKT og Læring 1, 2015
•   Det var en konkret og god veiledning jeg mottok på min første utgave av arbeidskravet
  – Student, IKT og Læring 1, 2015
• Takk for god veiledning.
  – Student, IKT og Læring 1 (IKT1002), 2017
• Jeg vil takke for gode tilbakemeldinger fra veileder. Jeg har lært utrolig mye av dette arbeidet, spesielt i etterarbeidet med teksten min!
  – Student, IKT og Læring (IKT1002), 2017
• Rettleiinga var veldig inspirerande.
  – Student, IKT og Læring (IKT1002), 2017
• God struktur, relevant fagstoff, god veiledning og en fagleder som er «på» og med god kunnskap.
  – Student, ORG5005, 2022
  
• Kurset var lagt opp til å være heldigitalt. Det har fungert veldig bra når vi kan studere når det passer meg. Veiledningen vi har fått på oppgavene har vært meget bra.
  – Student, ORG5005, 2022
  
• God på bruk av digital formidling! Skulle ønske du kunne lært opp noen av dine kolleger i dette.
  – Student, ORG5005, 2022
  
• Alt emneansvarlig tilrettela på Canvas av veiledningsdokumenter og fagstoff!! Og tilbakemeldingene på leverte utkast var tydelige og til god hjelp.
  – Student, ORG5005, 2022
• Det er svært motiverende, og utrolig godt for læringsutbyttet, at vi kan levere og få tilbakemelding før endelig mappestenging. Det skulle vært slik i flere av fagene på dette studiet, uten tvil!
  – Student, ORG5005, 2023
• Arbeidsformen arbeidskrav med veiledning syntes jeg har vært en veldig god arbeidsmåte. Det har krevd endel av meg både i tid og energi, men jeg tror likevel læringsutbyttet har vært deretter større en andre vurderingssituasjoner og arbeidsmetoder.
  – Student, ORG5005, 2023
• Den individuelle veiledningen var faktisk uvant for meg, ikke fått en slik tilbakemelding på noe akademisk arbeid før. Det er bra at det også var fokus på det som var positivt med oppgaven, og ikke bare hva som bør forbedres. Slik tilbakemelding liker jeg, og det gjør at jeg utvikler meg bedre. Det gir selvtillit å få positive tilbakemeldinger. Hadde det kun vært forbedringspunkter kunne jeg ha oppfattet det som en dårlig oppgave.
  – Student, ORG5005, 2023

3. ANONYME BESVARELSER ELLER UNDER FULLT NAVN?

I forrige kapittel peker jeg på mappeinnlevering, slik jeg utfører det, ikke er anonymisert. Ved universiteter og høyskoler er eksamen som hovedregel anonymisert, men det finnes unntak. Anonymisering er altså ikke en absolutt regel, men noe som skal sikres «så fremt det er mulig». Og i de tilfeller der en eksamensbesvarelse er resultat av individuell veiledning – fra start til slutt – regnes anonymitet som uhensiktsmessig. Bachelor- og masteroppgaver er eksempler på slike unntak.

Det finnes flere begrunnelser for hvorfor man ikke anonymiserer besvarelser der veiledning er sentralt, men for meg er det følgende vesentlig:

1. Evaluering av studentenes utvikling: Veiledning har som formål å hjelpe studentene med å forstå stoffet og utvikle ferdigheter i løpet av studieprosessen. Ved å følge studentenes fremgang gjennom veiledningen, kan både jeg som veileder, og den eksterne sensor, bedre vurdere hvordan studentene har utviklet seg og lært over tid. Dette kan gi en mer nyansert vurdering av studentens evner og kunnskap.
2. Vurdering av selvstendig arbeid: Mappeevaluering, slik det utføres ved IKT og læringsstudiene og ved ORG5005, er designet for å evaluere studentenes evne til å arbeide selvstendig og anvende kunnskapen de har opparbeidet seg. Ved å vurdere oppgaver som er utarbeidet gjennom veiledning, kan jeg som veileder, samt ekstern sensor, få innsikt i hvor godt studentene kan overføre veiledet kunnskap til uavhengig problem løsning.
3. Helhetsvurdering: Ved å ha en kontinuerlig dialog gjennom veiledningen, får jeg som veileder en mer helhetlig forståelse av studentenes styrker og utfordringer. Dette gjør det mulig å gi en mer rettferdig og grundig vurdering av studentenes prestasjoner ved eksamen.
4. Forebygging av fusk: Ved å identifisere kjennetegn ved studentens arbeid og skrivestil gjennom veiledning, kan jeg som veileder og intern sensor lettere oppdage avvikende mønstre som kan indikere fusk. Å kjenne igjen studentenes unike måte å tenke og uttrykke seg på, bidrar dermed til å opprettholde integriteten til vurderingsprosessen. Dette er viktig i en eksamensform der studentene jobber over lengre tid og med alle hjelpemidler tilgjengelig.

Selv om de fleste studenter er vant med ordinær anonym eksamen, har det så langt i de 20-årene jeg har jobbet med denne eksamensformen, aldri vært problem for det store flertallet av studentene at innlevering til mappestenging ikke er anonym. Men det er viktig at studentene er klar over dette med en gang studiet starter og hvorfor.

4. GJENNOMFØRING PÅ NORMERT TID

Det har aldri vært lett å fullføre studier på normert tid, og problematikken holder seg like aktuell som da jeg studerte på midten av 80-tallet og starten på 90-tallet. Ut fra min erfaring er mappeevaluering, slik jeg her har beskrevet den, et sentralt element i å sikre god gjennomføring. Jeg har kjørt mappeevaluering på campusbaserte bachelor-studier, men siden det er nettbasert EVU som er mitt hovedarbeidsområde er det her jeg har registrerte tall på hvor mange studenter som gjennomfører med stå-karakter.

Av de moduler jeg har hatt ansvar for i IKT og Læring var det høyest antall som leverte, og som også fikk ståkarakter på endelig innlevering, 75 av totalt 83 studenter. Høy gjennomføringsgrad preger samtlige av IKT og Læringsemnene, og er nøye forbundet med antallet aktive studenter. Det er ikke alltid samsvar mellom antall studenter registrert i Canvas og antall aktive studenter. Men det er alltid samsvar mellom aktivitet og eksamensdeltakelse.

Data for våren 2023 viser følgende for IKT og Læringsstudiene:

• I IKT1015 var det registrert 42 studenter i Canvas, 36 var aktive, 30 leverte til eksamen.
• I IKT1016 var det registrert 40 studenter i Canvas, 34 var aktive, 30 leverte til eksamen.
• I IKT1023 var det registrert 20 studenter i Canvas, 15 var aktive, 14 leverte til eksamen.
• I IKT1024 var det registrert 20 studenter i Canvas, 16 var aktive, 15 leverte til eksamen.

Vi har dessverre ingen data på hvorfor studenter slutter å være aktive i IKT og Læring, men siden dette er to studier rettet særskilt mot folk i fullt arbeid, kan man kanskje anta at dette dels skyldes at enkelte studenter ikke klarte å kombinere fullt arbeid med studier. Her kan muligens også forklaringen på at det er noen av de aktive som likevel ikke leverer til eksamen ligge.

Likevel ser vi gjennom flere år at antallet som gjennomfører fagemnene i IKT og Læring 1 og 2 er høye. Vi ser samme tendensen i ORG5005, og jeg er overbevist om at dette skyldes mappeevaluering i kombinasjon med individuell veiledning.

5. PLAGIATPROBLEMATIKK VED MAPPEEVALUERING

Når man benytter mappeevaluering der individuell veiledning, støttet av generelle veiledningsdokument, er sentralt vil man kunne oppleve at den automatiske plagiatkontrollen i eksamenssystemet viser høyere verdier på plagiat enn ved annen form for vurdering. Selve plagiatkontrollen blir derfor utført manuelt via veiledningen. F.eks. kan man oppleve at studenter kopierer større deler av fagtekst enn det som er tillatt ved sitering, eller at de samarbeider om løsning av arbeidskravene i så stor grad at to eller flere besvarelser blir tilnærmet like.

I det første tilfellet sjekkes de aktuelle avsnittene opp mot Google sitt søkesystem, og studenten får beskjed om at slik utstrakt sitering ikke er tillatt.

I det andre tilfellet får studentene beskjed om at nært og omfattende samarbeid ikke er tillatt der arbeidskravene skal utføres individuelt og bedt om dels å skrive om teksten og på den måten klargjøre sin egen fagforståelse, samt å tydeliggjøre i refleksjonsnotatene i hvilken grad de har jobbet sammen med medstudenter. Jeg har enda til gode å oppleve at slik rettledning ikke blir fulgt opp av studentene. Og siden vi ved IKT og Læringsstudiene, samt i ORG5005, krever fullt navn på innleveringene til mappestenging (eksamen), er det ikke noe problem å klargjøre om studentene har tatt rettledningene ad notam.

I de fagemner og arbeidskrav der det å jobbe i virtuelle team er krav, blir plagiatprosenten i de automatiske kontrollsystemet enda høyere. Men i disse spesifikke tilfellene sikres den enkelte students bidrag inn i teamet og dennes faglige egenforståelse gjennom enda grundigere refleksjonsnotat enn det som kreves i arbeidskrav der besvarelsene er strengt individuelle.

Når en bruker mappeevaluering på den måten det gjøres i IKT og Læringsstudiene og i ORG5005, kan en altså ikke uten videre stole på det automatiske plagiatsystemet men må foreta grundig sjekk av studentenes besvarelser «manuelt». Som nevnt under kapittel 3 er kontroll med fusk en av grunnene til at mappeinnlevering, der veiledning er sentralt, ikke er anonymisert.

Fra og med november 2022 kom et ytterlig moment inn i plagiatproblematikken, nemlig bruk av ChatGPT og lignende samtaleroboter. Disse verktøyene, bejublet og beklaget både i media og i de akademiske søylehaller, ble løftet frem som eksempler på KI og som bevis på at nå var vi endelig fremme ved digitale system like smarte som mennesker. Var dette slutten på asynkrone nettstudier og mappevurdering?

På ingen måte! Les mer om dette i bloggboken ChatGPT – et taleført eksempel på kunstig intelligens, eller…?

6. AVSLUTNING

Til slutt er det viktig å understreke at mappeevaluering er en eksamensform som er særlig tett knyttet til individuell veiledning på konkrete arbeidskrav utført gjennom semesteret. Veiledningen er ikke bare viktig for å løfte den enkelte students opp til dennes høyeste potensiale, men også å avdekke og korrigere plagiering.

Jo større studentmengde, jo større arbeidsbelastning er det på foreleser. Jeg er personlig overbevist om at kombinasjonen arbeidskrav, individuell veiledning og mappeevaluering som eksamensform er ideelt for mine fagemner og mine studenter. Men det er slett ikke gitt at dette passer for andre fagemner. Her, som for alt som har med undervisning å gjøre, finnes ingen fasit.

__________

LITTERATUR

1. 1. Dysthe, Olga & Engelsen, Knut Steinar (2005). Mapper som pedagogisk redskap. Perspektiver og erfaringer. (2. utg.) Oslo: Abstrakt forlag.
   2. Dysthe, O (2002) Digital portfolios as a learning tool in teaching education in Norway
   3. Ellmin, Roger (2000). Praktiske tips for gjennomføringen av mappemetodikk
   4. Hattie, John & Timperley, Helen (2007). The power of feedback. Review of Educational Research, 77 (1), 81-112.
   5. Hattie, John & Yates, Gregory (2014). Synlig læring. Hvordan vi lærer. Oslo: Cappelen Damm.
   6. Shute, Valerie J. (2008). Focus on Formative Feedback. Review of Educational Research, 78 (1), 153-189.
   7. Taasen, Inger, Havnes, Anton & Lauvås, Per (2004). Mappevurdering. Av og for læring. (1.utg.). Oslo: Gyldendal Akademisk forlag.
   8. Taube, Karin (1998): Mappevurdering – undervisningsstrategi og vurderingsredskap. Oslo, Tano-forlaget