- \n
- Kan ChatGPT (og lignende verkt\u00f8y) produsere gode akademiske svar p\u00e5 omfattende arbeidskrav der fokus er p\u00e5 \u00f8vre niv\u00e5 i Blooms taksonomi, innen mitt undervisningsfelt?<\/em><\/li>\n\n\n\n
- Kan ChatGPT (og lignende verkt\u00f8y) produsere gode faktabaserte stiler over et gitt tema?<\/em><\/li>\n<\/ol>\n\n\n\n
Valg foretatt, og rasjonale for valgene<\/h3>\n\n\n\n
Jeg valgte \u00e5 teste de ulike samtalerobotene p\u00e5 spesifikke arbeidskrav<\/em> innenfor mine spesifikke fagomr\u00e5der<\/em> som ligger i grenselandet mellom humaniora og samfunnsvitenskap, og der vurderingsformen er mappeevaluering. <\/p>\n\n\n\n
Begrunnelsen for \u00e5 f\u00f8rst og fremst fokusere p\u00e5 den form for eksamensoppgaver (arbeidskrav) benyttet i studieprogrammet IKT og l\u00e6ring 1 og 2, samt fagemnet ORG5005, og ikke samtidig teste oppgaver fra andre fagfelt, var f\u00f8lgende;<\/p>\n\n\n\n
- \n
- P\u00e5standene i media om at samtaleroboter n\u00e5 kunne skrive gode universitetsbesvarelser uansett<\/em> fagomr\u00e5de. Om dette medf\u00f8rte riktighet ville det bety ikke bare en utrolig endring av hva store spr\u00e5kmodeller normalt kan utf\u00f8re, men ogs\u00e5 at arbeidskravene og vurderingsform i mine fagemner m\u00e5tte radikalt endres. Man kan kanskje innvende at det ganske tidlig ble klart at spr\u00e5kmodeller «pakket inn» i en samtalerobot kun er utviklet for \u00e5 skrive gode setninger, ikke for \u00e5 levere fakta og at problemstillingen derfor er lite relevant. Imidlertid er det fortsatt slik som f\u00f8rsteamanuensis Inga Str\u00fcmke p\u00e5peker i intervju med NRK i mai 2025<\/a> at dette er noe folk flest ikke har f\u00e5tt med seg. Og denne mangelen p\u00e5 forst\u00e5else er ogs\u00e5 i h\u00f8yeste grad gjeldende i de akademiske elfenbenst\u00e5rn. Jeg mener derfor at problemstillingen st\u00e5r seg enn s\u00e5 lenge.<\/li>\n<\/ul>\n\n\n\n
Ved \u00e5 begrense utvalget til oppgaver i mine fagemner og der vurderingsformen er mappeevaluering, fors\u00f8kte jeg \u00e5 sikre en tett kobling mellom de testede arbeidskravene og den normale vurderingssituasjonen ved veiledning og sensur i mine fagemner.<\/p>\n\n\n\n
Et slikt valg begrenser selvsagt generaliserbarheten av resultatene til andre fagomr\u00e5der og oppgavetyper\/ vurderingsformer.<\/p>\n\n\n\n
Jeg mener imidlertid at den internasjonale forskningen jeg viser til i denne bloggboken st\u00f8tter mine funn om at samtaleroboter ikke<\/em> klarer \u00e5 presentere gode besvarelser p\u00e5 arbeidskrav\/ eksamensoppgaver basert p\u00e5 h\u00f8yere niv\u00e5 i Blooms Taksonomi<\/em>, og at mine funn da kan generaliseres til vurderingsformer der hovedfokus er p\u00e5 l\u00e6ringsprosessen<\/em> og ikke kun p\u00e5 det endelige produktet, innen humaniora og samfunnsvitenskap.<\/p>\n\n\n
\n![\"\"](\"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-content\/uploads\/sites\/6\/2023\/12\/image-9.png\")
<\/figure>\n<\/div>\n\n\nI det overordnede sp\u00f8rsm\u00e5let knyttet til mine arbeidskrav benyttes formuleringen «gode akademiske svar». Dette er en lite presis og absolutt subjektiv formulering. <\/p>\n\n\n\n
Etter min mening b\u00f8r en akademisk tekst framst\u00e5 ryddig og sammenhengende, og med en grunnleggende disposisjon i form av en tydelig innledning, hoveddel, avslutning og kildeliste. Akkurat dette er jo en noks\u00e5 selvf\u00f8lgelig del av en god besvarelse, og noe som en samtalerobot kan v\u00e6re et nyttig verkt\u00f8y til \u00e5 oppn\u00e5.<\/p>\n\n\n\n
Videre b\u00f8r en besvarelse vise studentens evne til \u00e5 dr\u00f8fte ulike problemstillinger i lys av b\u00e5de ulike teorier og egen yrkespraksis.<\/p>\n\n\n\n
I retningslinjene for mappevurdering ved IKT og l\u00e6ring 1 og 2, samt for fagemnet ORG5005, er dette beskrevet for studentene i kapittelet «Kvalitetskriterier<\/a>» (felles for b\u00e5de IKT og L\u00e6ring og ORG5005). Her understrekes at i besvarelsene er det viktig \u00e5 vise evne til dr\u00f8fting og at det \u00e5 dr\u00f8fte betyr at studenten belyser et tema fra ulike sider gjennom:<\/p>\n\n\n\n
- \n
- Ulike teorier knyttet til et sp\u00f8rsm\u00e5l<\/li>\n\n\n\n
- Ulike tolkninger av samme teorier<\/li>\n\n\n\n
- Egen erfaring
«Egen erfaring<\/em>» er sentralt i mine fagemner<\/em> og alle arbeidskrav er knyttet til det \u00e5 kombinere teori med egen praksis som underviser eller beredskapsleder\/ ansatt.<\/li>\n<\/ul>\n\n\n\nI tillegg skal alle besvarelser i IKT og l\u00e6ring og i ORG5005 avsluttes med et refleksjonsnotat, der studenten foretar en grundig gjennomgang av egen l\u00e6ringsprosess med arbeidskravet. Dette er beskrevet for studentene i retningslinjene for mappevurdering, kapittelet «Refleksjonsnotat \u2013 Utkast til veiledning». (I ORG5005 er kravene til egenrefleksjon noe mer utdypet<\/a> enn for IKT og l\u00e6ringsstudiene, men er i det vesentligste de samme<\/em>).<\/p>\n\n\n\n
Videre knyttes formuleringen «gode» til de kvalitative beskrivelsene gitt av karakterene A, B og C, i karakterbeskrivelsen for samfunnsvitenskapelige fag\/ sosiologi<\/a>.<\/p>\n\n\n\n
Avslutningsvis kan det ogs\u00e5 p\u00e5pekes at mine fagomr\u00e5der tilh\u00f8rer EVU-segmentet og f\u00f8lgelig er mine studenter i hovedsak erfarne undervisere\/ instrukt\u00f8rer og beredskapspersonell. Kravene man kan stille til denne studentgruppen vil n\u00f8dvendigvis v\u00e6re noe annerledes enn de man kan stille til f\u00f8rste\u00e5rsstudenter.<\/p>\n\n\n\n
Andre fagomr\u00e5der vil ha andre definisjoner p\u00e5\/ krav til «gode besvarelser», og andre studenttyper, noe som kan minske overf\u00f8ringsverdien til fag og eksamensoppgaver utenfor mitt fagomr\u00e5de og studentgruppe.<\/p>\n\n\n
\n<\/figure>\n<\/div>\n\n\nN\u00e5r det gjelder sp\u00f8rsm\u00e5let om hvorvidt samtaleroboter kan skrive gode faktabaserte stiler, ble s\u00e6rnorske tema valgt basert p\u00e5 egne interesser. Igjen var det p\u00e5standene om at samtaleroboter kunne skrive om absolutt alt<\/em> som var utslagsgivende for temavalgene. I tillegg ble det etter hvert ogs\u00e5 interessant \u00e5 sjekke ut andre p\u00e5stander, s\u00e5 som at ChatGPT raskt og greit l\u00f8ste motorproblemer (b\u00e5tproblemet), kunne l\u00f8se g\u00e5ter osv.<\/p>\n\n\n
\n<\/figure>\n<\/div>\n\n\nI alle tilfeller der det fantes b\u00e5de en gratis- og en betalingsversjon, var det gratisversjonen som ble testet. Dette valget ble foretatt ut fra en antakelse av at de fleste studenter vil benytte gratisversjoner av de ulike samtalerobotene, s\u00e6rlig n\u00e5r de har full tilgang til utdanningsinstitusjonenes egne samtaleroboter (egenutviklede eller institusjonsavtaler med f.eks. Copilot). En slik antakelse kan imidlertid v\u00e6re feil, og den er ikke fundert i konkrete forskningsresultat.<\/p>\n\n\n\n
GPT UiO og Sikt KI-Chat er organisasjonsversjoner<\/em>, og Microsoft CoPilot (Bing Chat) ble testet b\u00e5de i ordin\u00e6r versjon og i organisasjonsversjone<\/em>n tilgjengelig for ansatte og studenter ved Nord universitet.<\/p>\n\n\n\n
At de fleste samtalerobotene ble testet i gratisversjoner kan v\u00e6re en svakhet, da betalingsversjonene kan ha ytterligere funksjoner<\/a> som styrker verkt\u00f8yenes evne til \u00e5 produsere relevante tekster. Og i noen tilfeller var det eksterne «preview-sider» som ble benyttet, noe som kan medf\u00f8re en ytterligere svakhet.<\/p>\n\n\n\n
Men ved gjennomgang av b\u00e5de popul\u00e6rvitenskapelige og vitenskapelige ressurser fant jeg lite som tyder p\u00e5 at betalingsversjonene av de ulike samtalerobotene har st\u00f8rre evne til \u00e5 finne korrekt informasjon, forst\u00e5r input og output i st\u00f8rre grad, eller har mindre grad av hallusinasjoner<\/a> enn gratisversjonene n\u00e5r det gjelder \u00e5 produsere besvarelser p\u00e5 arbeidskrav\/ eksamensoppgaver basert p\u00e5 h\u00f8yere niv\u00e5<\/em> i Blooms Taksonomi.<\/p>\n\n\n
\n<\/figure>\n<\/div>\n\n\nEt av flere interessante momenter ved fremveksten av samtaleroboter er at det fra enkelte hold blir understreket viktigheten av \u00e5 stille de riktige sp\u00f8rsm\u00e5lene p\u00e5 den rette m\u00e5ten, eller som det kalles, «Prompt engineering<\/a>\u00bb . Tanken er at det har ingen hensikt \u00e5 stille samtalerobotene enkle sp\u00f8rsm\u00e5l<\/em> som f.eks. Googles s\u00f8kemotor l\u00f8ser like greit, men at sp\u00f8rsm\u00e5lene m\u00e5 skreddersys<\/a>.<\/p>\n\n\n\n
Denne argumentasjonen minner om det «gamle» r\u00e5det om at man m\u00e5tte bruke spissede og konkrete s\u00f8kestrenger i Google og andre s\u00f8kemotorer, slik at man raskt fikk frem lenker til relevant informasjon.<\/p>\n\n\n\n
Jeg har i mine tester ikke<\/em> drevet utstrakt «prompt engineering\u00bb ut fra en antakelse om at mange brukere, spesielt studenter uten dyp fagkunnskap<\/em>, sannsynligvis vil bruke samtaleroboter uten omfattende prompt engineering.
Jeg mener, basert b\u00e5de p\u00e5 egne erfaringer som underviser og forsker, at dette vil samsvare med det mange av oss opplevde den gang s\u00f8kemotorene kom i alminnelig bruk; de som hadde gode kunnskaper om det tema de s\u00f8kte p\u00e5, klarte \u00e5 foreta spissede s\u00f8k, de som ikke hadde kunnskaper fra f\u00f8r klarte det ikke.<\/p>\n\n\n\nDette blir dermed en realistisk tiln\u00e6rming for \u00e5 vurdere hvordan verkt\u00f8yene fungerer i praksis. <\/p>\n\n\n\n
Mitt rasjonale<\/strong> for at testingen av ulike arbeidskrav utf\u00f8rt uten utstrakt bruk av «prompt engineering\u00bb er en realistisk tiln\u00e6rming, er at effektiv bruk av en samtalerobot<\/em> for \u00e5 generere svar p\u00e5 universitetsoppgaver som krever analyse, syntese og evaluering vil v\u00e6re utfordrende for studenter som i utgangspunktet vil ha lave fagkunnskaper ved oppstart av arbeidskrav i mine emner. Slik jeg ser det, basert p\u00e5 egen undervisningserfaring, kan dette begrunnes blant annet med at:<\/p>\n\n\n\n
- \n
- Forst\u00e5else av komplekse konsepter<\/strong>: H\u00f8yere niv\u00e5er av Blooms taksonomi krever en dyp forst\u00e5else av fagstoffet (og ikke minst at man f\u00f8rst leser pensum<\/em>, f\u00f8r man begynner p\u00e5 besvarelsen). Studenter med lavere fagkunnskaper vil erfaringsmessig ha vanskeligheter med \u00e5 formulere sp\u00f8rsm\u00e5l som kan lede til dyptg\u00e5ende og relevante svar.<\/li>\n\n\n\n
- Kritisk tenkning<\/strong>: Arbeidskrav (eksamensoppgaver) som krever analyse og evaluering forutsetter evnen til kritisk tenkning. Dette inneb\u00e6rer \u00e5 kunne vurdere informasjon, identifisere sammenhenger og trekke konklusjoner, noe som kan v\u00e6re utfordrende for studenter uten et solid faglig grunnlag.<\/li>\n<\/ol>\n\n\n\n
Dermed kan det<\/strong>, etter min mening, antas at studenter som i utgangspunktet har begrensede fagkunnskaper ved oppstart av et fagemne, vil ha problemer med \u00e5 foreta effektiv promting<\/em>.
Videre<\/strong> har det liten hensikt<\/em> at man som fagperson tester samtaleroboter med utstrakt promting, n\u00e5r m\u00e5let er \u00e5 se hvorvidt en student – som n\u00f8dvendigvis mangler forelesers dybdekunnskap – muligens kan klare \u00e5 f\u00e5 gode svar fra en samtalerobot p\u00e5 arbeidskrav basert p\u00e5 h\u00f8yere niv\u00e5 i Blooms Taksonomi<\/em>.<\/p>\n\n\n\nSamme rasjonale<\/strong> gjelder for de enkle testene knyttet opp mot emner spesifikt for norske forhold (Norsk 70-talls litteratur, Sivilforsvaret, etc.), samt en enkel \u00abg\u00e5te-test\u00bb, test p\u00e5 verkt\u00f8yenes evne til \u00e5 finne konkret og korrekt informasjon knyttet til etternavn og et fors\u00f8k p\u00e5 gjenskape et konkret resultat beskrevet i Digi.no. S\u00e6rlig n\u00e5r det gjelder «b\u00e5tproblemet<\/a>» (Digi.no) er det vanskelig \u00e5 tenke seg at grundig promting er aktuelt n\u00e5r man ikke er motorkyndig. Var man det ville man jo ikke trenge en samtalerobot, men ganske enkelt sjekke basert p\u00e5 egen erfaring og kunnskap.<\/p>\n\n\n\n
S\u00e5 kan en jo stille sp\u00f8rsm\u00e5let; hva med de studenter som har et godt grep om fagomr\u00e5det fra f\u00f8r? Disse vil jo kunne bedrive effektiv promting, og dermed f\u00e5 en samtalerobot til \u00e5 formulere gode svar? Og det er utvilsomt riktig. Men samtaleroboter har ikke evnen til \u00e5 foreta reelle vurderinger, syntese eller analyse<\/em>. S\u00e5 en faglig dyktig student kan utnytte «sekret\u00e6r-funksjonen» til en samtalerobot, men vil samtidig vite at verkt\u00f8yet ikke kan brukes til \u00e5 produsere en helhetlig besvarelse i fagomr\u00e5der der det ikke uten videre finnes fasitsvar, og der eksamensoppgavene krever noe mer enn rene gjengivelser.<\/p>\n\n\n\n
I noen tilfeller har jeg reformulert oppgavetekster knyttet til mine fagomr\u00e5der for \u00e5 se om resultatene ble bedre, men dette virket i mine fors\u00f8k \u00e5 ikke ha noen som helst betydning for resultatet.<\/p>\n\n\n\n
Men<\/em> manglende promting er muligens nok en svakhet ved mine tester, da grundig promting kan p\u00e5virke relevansen og n\u00f8yaktigheten til svar som samtaleroboter gir. <\/p>\n\n\n\n
Jeg har imidlertid s\u00e5 langt ikke funnet belegg for at promting \u00f8ker samtaleroboters evne til \u00e5 l\u00f8se eksamensoppgaver knyttet til h\u00f8yere niv\u00e5<\/em> i Blooms Taksonomi i tilgjengelig vitenskapelig litteratur.<\/p>\n\n\n
\n<\/figure>\n<\/div>\n\n\nleseliste<\/h4>\n\n\n\n
- \n
- LLMs meet Bloom\u2019s Taxonomy: A Cognitive View on LLM Evaluations<\/a>, 2025<\/li>\n\n\n\n
- BloomLLM: Question Generation Combining Fine Tuning and Bloom\u2019s Taxonomy<\/a>, 2024<\/li>\n\n\n\n
- Aligning Assessment with Long Term Learning \u2014 Boud & Falchikov, Assessment & Evaluation in Higher Education<\/a>, 2006<\/li>\n\n\n\n
- Higher order prompting: Applying Bloom\u2019s revised taxonomy to the use of large language models in higher education<\/a>, 2025<\/li>\n\n\n\n
- Enhanced Bloom\u2019s Educational Taxonomy for Fostering Information Literacy in the Era of LLMs<\/a>, 2025<\/li>\n\n\n\n
- The Prompt Report: A Systematic Survey of Prompt Engineering Techniques<\/a>, 2024<\/li>\n\n\n\n
- Prompting Change: Exploring Prompt Engineering in LLM AI and Its Potential to Transform Education<\/a>, 2023<\/li>\n\n\n\n
- Generative AI Takes a Statistics Exam: Comparison of ChatGPT3.5, GPT 4, GPT 4o mini<\/a>, 2025<\/li>\n\n\n\n
- ChatGPT performance on multiple choice question examinations in higher education \u2014 scoping review<\/a>, 2024<\/li>\n\n\n\n
- The AI3 Model: AI, Assessment Innovation, and Academic Integrity<\/a>, 2025<\/li>\n\n\n\n
- Artificial intelligence in education: implications for academic integrity and the shift toward holistic assessment<\/a>, 2024<\/li>\n<\/ul>\n\n\n
\n![\"\"](\"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-content\/uploads\/sites\/6\/2023\/12\/linjer.jpg\")
<\/figure>\n<\/div>\n\n\n<<\/strong>Til Prolog<\/a> *<\/strong> Til testoversikten<\/a> *<\/strong> Til Epilog<\/a>><\/strong><\/p>\n\n\n\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
Overordnede sp\u00f8rsm\u00e5l for testingen Testene er i hovedsak utf\u00f8rt ut fra f\u00f8lgende overordnede sp\u00f8rsm\u00e5l: Valg foretatt, og rasjonale for valgene Jeg valgte \u00e5 teste de ulike samtalerobotene p\u00e5 spesifikke arbeidskrav innenfor mine spesifikke fagomr\u00e5der som ligger i grenselandet mellom humaniora og samfunnsvitenskap, og der vurderingsformen er mappeevaluering. Begrunnelsen for \u00e5 f\u00f8rst og fremst fokusere p\u00e5 … Fortsett \u00e5 lese \u00abOverordnede sp\u00f8rsm\u00e5l, valg foretatt og rasjonale for mine valg\u00bb<\/span><\/a><\/p>\n","protected":false},"author":11,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"coauthors":[2],"class_list":["post-7115","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages\/7115","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/comments?post=7115"}],"version-history":[{"count":8,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages\/7115\/revisions"}],"predecessor-version":[{"id":7426,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages\/7115\/revisions\/7426"}],"wp:attachment":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/media?parent=7115"}],"wp:term":[{"taxonomy":"author","embeddable":true,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/coauthors?post=7115"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- BloomLLM: Question Generation Combining Fine Tuning and Bloom\u2019s Taxonomy<\/a>, 2024<\/li>\n\n\n\n
- Kritisk tenkning<\/strong>: Arbeidskrav (eksamensoppgaver) som krever analyse og evaluering forutsetter evnen til kritisk tenkning. Dette inneb\u00e6rer \u00e5 kunne vurdere informasjon, identifisere sammenhenger og trekke konklusjoner, noe som kan v\u00e6re utfordrende for studenter uten et solid faglig grunnlag.<\/li>\n<\/ol>\n\n\n\n
- Forst\u00e5else av komplekse konsepter<\/strong>: H\u00f8yere niv\u00e5er av Blooms taksonomi krever en dyp forst\u00e5else av fagstoffet (og ikke minst at man f\u00f8rst leser pensum<\/em>, f\u00f8r man begynner p\u00e5 besvarelsen). Studenter med lavere fagkunnskaper vil erfaringsmessig ha vanskeligheter med \u00e5 formulere sp\u00f8rsm\u00e5l som kan lede til dyptg\u00e5ende og relevante svar.<\/li>\n\n\n\n
- Kan ChatGPT (og lignende verkt\u00f8y) produsere gode faktabaserte stiler over et gitt tema?<\/em><\/li>\n<\/ol>\n\n\n\n