Blooms taksonomi feier ChatGPT lett av banen

Spørsmålet i møte med ChatGPT er ikke om man skal slutte med hjemmeeksamen eller mappeevalueringer, og kun avholde eksamener fysisk på campus etter nittenhundre og pil og bue-modell. Spørsmålet er hvordan utforme våre ulike universitetseksamener.

Det har vært en økning i bruken av automatisert kunstig intelligens (AI) i mange sektorer av samfunnet, inkludert utdanning. En av de mest brukte applikasjonene av AI i utdanning er ChatGPT, en stor språkmodell trent av OpenAI som kan svare på et bredt spekter av spørsmål og gi gode og presise svar. Men, dette har også ført til bekymring for hvordan universitetseksamener kan bli påvirket av ChatGPT.

Vi kan tenke oss at en del studenter kan være fristet til å bruke ChatGPT til å frembringe svar på eksamensoppgaver, noe som kan føre til at de får høyere karakterer enn de ellers ville fått ved å gi egne svar. Slike tilfeller vil selvsagt være uheldig både for studentene og for universitetssystemet generelt, siden det kan føre til at studenter ikke lærer å tenke kritisk og kreativt eller utvikler egne skriveferdigheter.

Et annet problem er at siden ChatGPT ikke er en kunnskapsbase, men en språkmodell, kan systemet generere svar som er det reneste tøv. Å bruke ChatGPT setter derfor store krav til studentens evne til kildekritikk og kunnskap om fagområdet.

Men er virkelig ChatGPT slik en stor trussel mot universitetseksamener? Etter min mening nei.

Riktignok gjør ChatGPT, og da særlig i sin nyeste versjon, det til dels meget godt på flere prøver, men det er en type eksamensoppgaver systemet ikke klarer. Det er oppgaver som utnytter Blooms taksonomi.

Bloom’s taksonomi er et pedagogisk verktøy som kan brukes for å strukturere læringsmål og vurdere studentens læring. Taksonomien består av seks nivåer av kognitivt arbeid, fra enkle kunnskapsbaserte oppgaver til mer komplekse oppgaver som krever kritisk tenkning og evaluering. Ved å ta i bruk Bloom’s taksonomi kan man sikre at eksamensoppgavene er utfordrende og relevant for studentene, og gir dem anledning til å vise flere evner enn kun det å gjengi etter hukommelsen.

For eksempel, dersom man ønsker å teste studentenes forståelse av et bestemt konsept, kan man utforme en oppgave på nivå to i Bloom’s taksonomi som spør om å definere begrepet. På nivå tre kan man utfordre studentene til å forklare hvordan konseptet fungerer, mens på nivå fire kan man be studentene om å anvende konseptet på en gitt situasjon.

Før jeg går videre og beskriver Blooms taksonomi, så vil jeg gjøre oppmerksom på at jeg i hele mitt undervisningsvirke stort sett har hatt ansvar for emner innen informatikk-/pedagogisk informatikk- og informasjonsvitenskap-feltet der tradisjonen har vært å kombinere teori med praktisk arbeid (Learning by doing), og der bruk av digitale verktøy i undervisningen har vært sentralt. Jeg er også sterkt influert av amerikanske undervisere bl.a. innen samfunnsinformatikk-feltet, og dette farger selvsagt mine holdninger når jeg nå peker så sterkt på Blooms taksonomi. Mine synspunkter på vurderingsformer er derfor ikke nødvendigvis relevant for andre fagområder og emner.

Det er seks nivåer i taksonomien, og vi kan beskrive dem kort på følgende måte (herunder noen eksempler på spørsmål knyttet til det enkelte nivå):

Kunnskap: På dette nivået blir studentene stilt spørsmål for å se om de har fått innsikt i temaet fra forelesningene og pensumstoffet. (Hva er…, Hvordan vil du beskrive?)

Forståelse: På dette nivået utfordres studentene på å tolke fakta de har lært gjennom semesteret. (Hva er hovedideen… Hvordan vil du oppsummere?)

Anvendelse: Spørsmål som stilles i en eksamensoppgave på dette nivået, er ment å få studentene til å anvende kunnskapen de har fått med seg i løpet av semesteret; fra både tilhørende pensum og forelesninger. (Hvordan ville du benyttet… Hvordan ville du løst dette?)

Analyse: På analysenivået vil studentene bli pålagt å analysere et problem, basert på den kunnskapen de har tilegnet seg. (Hva er utfordringene… Hvordan vil du klassifisere?)

Syntese: På syntesenivået forventes studentene å komme med en teori ut fra hva de har lært eller komme med prediksjoner. (Hva ville skje hvis …)

Evaluering: Toppnivået i Blooms taksonomi kalles evaluering. Det er her studentene forventes å vurdere informasjonen om fagtemaet de har samlet seg gjennom semesteret, og komme til en konklusjon basert på dette. (Hva er din mening om…hvordan ville du vurdert…Hvordan ville du valgt… Hvilke data ble brukt her?). På dette øverste nivået, slik jeg ser det, ligger det også mulighet til å kreve at studentene skaper noe av intellektuell høy verdi, så som f.eks. en hypotese og planlegging av forskning.

Ut fra det vi har vist til over, kan vi sette opp følgende verbeksempler:

Huske: ordne, definere, duplisere, merke, liste, navngi, gjenkjenne, relatere, gjenta, gjengi, oppgi

Forstå: klassifisere, beskrive, diskutere, forklare, uttrykke, identifisere, indikere, lokalisere, gjenkjenne, rapportere, omformulere, gjennomgå, velge, oversette

Bruke: velge, demonstrere, dramatisere, utføre, illustrere, tolke, betjene, øve, planlegge, skissere, løse, bruke, skrive

Analysere: vurdere, beregne, kategorisere, sammenligne, kontrastere, kritisere, differensiere, skille, undersøke, eksperimentere, stille spørsmål, teste

Evaluere: vurdere, argumentere, velge, sammenligne, bedømme, forutsi, støtte, verdsette

Skape: arrangere, sette sammen, samle, komponere, konstruere, lage, designe, utvikle, formulere, administrere, organisere, planlegge, forberede, foreslå, sette opp, skrive

La oss så se litt på noen eksempler vi kan ha i bakhodet når vi skal utforme oppgaver for våre studenter som ChatGPT ikke uten videre kan klare.

1 Spørsmål som krever kreativ tenkning

Vi kan utforme oppgaver som krever kreativ tenkning og fremlegging av egne synspunkter, slik at det ikke finnes ett klart svar som kan hentes fra ChatGPT eller mer eller mindre avanserte Google-søk.

2 Scenario-baserte oppgaver

Vi kan utforme oppgaver som krever at studentene bruker sin kunnskap i et scenario eller en casestudie. For eksempel, en oppgave som beskriver en bestemt situasjon, og så ber studentene om å diskutere og gi råd basert på sin egen kunnskap og erfaring. Dette gjør jeg i ORG5005, der et omfattende scenario knyttet til hybrid krigføring danner basis for arbeidskravene. Studentene her er profesjonelle yrkesutøvere innen forsvar, politi, sikkerhetstjeneste og helse og det er ingen mulighet for ChatGPT til å gi omfattende og relevante tekstforslag til løsning på arbeidskrav i en slik setting.

Tilsvarende gjelder også for IKT og Læringsstudiene, der alle arbeidskrav krever at studentene – som her er i stor grad er profesjonelle yrkesutøvere innen undervisning og instruksjon/kursvirksomhet og der kravene er at de knytter besvarelsene til egen yrkespraksis.

3 Bruk oppgaver som krever analytisk tenkning

Analytiske oppgaver som krever at studentene sammenligner og kontrasterer ulike begreper, ideer eller teorier, vil også være vanskelig for ChatGPT å håndtere. For eksempel, en oppgave som ber studentene om å sammenligne og vurdere to ulike teorier opp mot hverandre.

4 Oppgaver som krever spesifikk kunnskap

Oppgaver som krever spesifikk kunnskap innenfor et bestemt felt eller emne, kan være vanskeligere for ChatGPT å håndtere hvis det ikke har tilgang til denne kunnskapen. Her kan man selvsagt spekulere i hva som skjer dersom ChatGPT får tilgang til hele Internett, men etter over 20 års erfaring med undervisning og vurdering vil jeg påstå at det er fullt mulig å konstruere oppgaver som er konkret knyttet til pensumstoff ikke tilgjengelig online.

5 Kombinasjon av teori og praksis

Oppgaver som krever at studentene både reflektere knyttet til teori og egen praksis. Denne type oppgaver benyttes f.eks. både ved IKT og Læring og ORG5005, og passer godt til EVU-studier der studentene har relevant yrkespraksis. Siden ChatGPT ikke kan tenke, finnes det ingen måte å få systemet til å presentere denne type svar. I tillegg kan en be studentene utføre praktiske oppgaver, så som spille dataspill knyttet til IT-sikkerhet, økonomi eller organisasjonsteori, og deretter knytte det de erfarer til relevant teori. Og så har vi nok en variant av denne type oppgaver; la studentene i tillegg til et skriftlig produkt, levere et lyd- eller videoprodukt.

Samtlige av eksemplene over passer glitrende inn i oppgaveutforming basert på Bloom’s taksonomi, og dermed kan man sørge for at oppgavene er utfordrende og relevant for studentene, og derigjennom kreve evne til kritisk tenkning og anvendelse av kunnskap.

I tillegg kan vi kreve at studentene som del av sine besvarelser leverer et refleksjonsnotat, der de reflekterer over egen læring. Dette er noe som ofte benyttes i forbindelse med skriftlige besvarelser som del av mappeevaluering. I slike tilfeller settes det gjerne opp kriterier for hva som forventes i en slik refleksjon, og under følger et eksempel fra «Retningslinjer for mappevurdering» ved MASIK-emnet ORG5005. I dette fagemnet oppfordres studentene til å aktivt reflektere over egen læringsprosess fra første arbeidskrav til endelig innlevering av besvarelsene til mappestenging. Refleksjonsnotatet (eget kapittel) skal i utgangspunktet fokusere på en beskrivelse av egen læringsprosess og læringsutbytte. Det er selvsagt flere måter å beskrive slike prosesser på, men følgende (basert på blant annet momenter fra HV-skolen sitt kurs i taktisk evaluering og veiledning, samt refleksjonsnotat ved UiO) er satt opp som rettesnor:

1. Hvordan har jeg opplevd min egen læringsprosess gjennom det å løse arbeidskravet?
2. Hva lærte jeg?
3. Hva har vært vanskelig å forstå? – Hva forstår jeg bedre nå?
4. På hvilken måte opplever jeg at prosessen med arbeidskravet har gitt meg forståelse av ulike perspektiver og teorier i fagemnet?
5. Hva har vært vanskelig, hva har jeg strevd med i arbeidet med oppgaven?
6. Hva syns jeg at jeg har fått til?
7. Hva syns jeg at jeg ikke har fått helt til?
8. Hva bør jeg lære mer om?
9. Hva bør jeg gjøre mer av og hva bør jeg slutte med (gjøre mindre av) i forhold til egen arbeids- og læringsprosess med studiet/ og i forhold til egen digital atferd –som privatperson og som arbeidstaker/leder?
10. I hvilken grad kan jeg etter arbeidet med oppgaven se helheten i fagemnet og dets plass i min virkelighet som leder/ arbeidstaker?

I studier med mappeevaluering er det hele arbeidsprosessen fra start til slutt som evalueres, og egenrefleksjonsdelen av arbeidskravene er derfor en viktig komponent av læringsprosessen. Og en slik refleksjon over egen læring, konkret knyttet til konkrete arbeidsoppgaver (eksamensoppgaver) som beskrevet over, er ChatGPT ute av stand til å levere.

Så for å oppsummere; slik jeg ser det kan aktiv bruk av Bloom’s taksonomi ved utforming av universitetssoppgaver være en svært effektiv måte å motvirke ChatGPT genererte svar på. Taksonomien gir en struktur for utforming av eksamensoppgaver som krever at studentene må anvende egen kunnskap, basert på gjennomgang av pensum og forelesninger og ikke kun basert på enkle AI-produserte svar. Og benytter man i tillegg refleksjonsnotat, så skulle en være rimelig sikker på at det en får til sensur er studentenes egne arbeider.

Leseliste