Generativ kunstig intelligens (KI) og storskala spr\u00e5kmodeller som ChatGPT kan skape s\u00e5 overbevisende besvarelser, at de kan best\u00e5 eksamener<\/a> uten det krever noen s\u00e6rlig menneskelig l\u00e6ring. Alt studentene trenger \u00e5 gj\u00f8re, er \u00e5 gi en passende prompt. Selv om dette i seg selv kan kreve visse ferdigheter, kan studenten sitte igjen med en forst\u00e5else av fagstoffet som ellers ikke ville gjort det mulig \u00e5 ha best\u00e5tt eksamen.<\/p>\n\n\n\n Selv om de fleste studenter \u00f8nsker \u00e5 l\u00e6re p\u00e5 en akademisk hederlig m\u00e5te, kan det v\u00e6re fristende \u00e5 f\u00e5 ChatGPT til \u00e5 gj\u00f8re jobben hvis den kan gj\u00f8re det like bra eller bedre. ChatGPT utfordrer derfor eksamensdesignet v\u00e5rt. S\u00e5 la oss se p\u00e5 hvordan vi kan m\u00f8te denne utfordringen. <\/p>\n\n\n\n Jason M. Lodge og hans australske kolleger har identifisert seks ulike tiln\u00e6rminger<\/a> for \u00e5 h\u00e5ndtere KIs innvirkning p\u00e5 akademiske oppgaver og eksamener. La oss begynne med \u00e5 se p\u00e5 dem og deretter diskutere Nord universitets tiln\u00e6rming opp mot dem.<\/p>\n\n\n\n Her h\u00e5per vi at KI er en d\u00f8gnflue og at problemet g\u00e5r over av seg selv. Her er det bare \u00e5 gj\u00f8re et s\u00f8k p\u00e5 KI og juks og innse at dette sannsynligvis ikke er en b\u00e6rekraftig tiln\u00e6rming. Problemet er her, og det kommer sannsynligvis til \u00e5 bli verre snarere enn bedre. Is\u00e6r hvis utgangspunktet er, hvordan eksamener er utformet i dag.<\/p>\n\n\n\n De f\u00f8rste forbudene mot KI-verkt\u00f8y som ChatGPT mislyktes fordi studentene raskt fant l\u00f8sninger. Det er ogs\u00e5 sv\u00e6rt vanskelig \u00e5 oppdage alt juks. Hvis studenten bruker KI p\u00e5 en enkel og ureflektert m\u00e5te, er det lett \u00e5 oppdage, men en avansert bruk kan for eksempel v\u00e6re \u00e5 f\u00e5 ChatGPT til \u00e5 skrive som deg selv, gi den nok kontekst og kritisk sjekke sitater selv. Selv om deteksjonsverkt\u00f8yer som Turnitin h\u00e6vder \u00e5 kunne oppdage 97% av tekst skrevet med ChatGPT, s\u00e5 er dette en tvilsom p\u00e5stand. OpenAI har selv kj\u00f8rt tests hvor der er mange falske positiv, for eksempel vil en tekst skrevet av Shakespeare sl\u00e5 ut som en ChatGPT-tekst (OpenAI FAQ<\/a>). Khalil og Er (2023) testet 50 essays generert med ChatGPT. Deteksjonsprogramvaren indikerte bare for 10 av dem at over 20 % var generert med generisk KI. Dessuten kan studenter \u00abbare\u00bb bruke verkt\u00f8yer tilgjengelig p\u00e5 nettet som for eksempel ZeroGPT<\/a> og selv sjekke om teksten sl\u00e5r ut og s\u00e5 rette et par sm\u00e5ting i den.<\/p>\n\n\n\n Eksamensoverv\u00e5kning (tilsyn) begrenser bruken av kunstig intelligens, men er ikke en universall\u00f8sning. Denne l\u00f8sningen kan v\u00e6re relevant p\u00e5 samme m\u00e5te som vi bruker skoleeksamener i dag. Det kan v\u00e6re tilfeller der vi sjekker studentenesevne til \u00e5 l\u00f8se oppgaver som best\u00e5r av faktabaserte svar som ville v\u00e6rt enkle \u00e5 l\u00f8se med generativ KI. Gjennom et studieprogram kan det v\u00e6re fornuftig \u00e5 identifisere kritiske eksamener hvor bruken av eksamensoverv\u00e5kning kan v\u00e6re spesielt verdifull. Ved \u00e5 anvende eksamensoverv\u00e5kning selektivt p\u00e5 disse n\u00f8kkelpr\u00f8vene, sikrer vi ikke bare en korrekt og rettferdig evaluering av studentenes kunnskaper, men vi opprettholder ogs\u00e5 integriteten til eksamenen og verdien av de kvalifikasjonene den representerer.<\/p>\n\n\n\n Dette spenner fra \u00e5 tillate eller til og med kreve at studentene bruker KI til for eksempel \u00e5 vurdere kvaliteten p\u00e5 et KI-generert svar. M\u00e5let her er at studentene skal tenke kritisk om generativ KI, men ogs\u00e5 at de skal kunne bruke den aktivt og produktivt. Vi kan for eksempel oppmuntre studentene til \u00e5 vurdere etikken bak og mulige problemer som kan oppst\u00e5. Denne tiln\u00e6rmingen stemmer bedre overens med hvordan generativ KI endrer m\u00e5ten vi jobber p\u00e5. Det skjer allerede i full fart, og sp\u00f8rsm\u00e5let er om vi i det hele tatt unng\u00e5 generativ KI i fremtiden? Microsoft har for eksempel lansert co-pilot, der generativ KI hele tiden tilbyr seg \u00e5 hjelpe deg i deres produksjonsverkt\u00f8yer. Nye ferdigheter som \u201cprompt engineering\u201d er allerede etterspurt p\u00e5 arbeidsmarkedet, s\u00e5 ved \u00e5 omfavne bruken av kunstig intelligens i eksamener fremmer vi denne kompetansen hos studentene. Om vi vil det eller ikke blir hverdagens teknologibruk mer og mer infiltrert av KI.<\/p>\n\n\n\n Det er imidlertid ogs\u00e5 bekymringer knyttet til etikk, rettferdighet og likestilling. Denne tiln\u00e6rmingen krever at studentene f\u00e5r sikker tilgang til avansert KI-teknologi og st\u00f8tte til \u00e5 utvikle sine KI-ferdigheter.<\/p>\n\n\n\n Et annet alternativ er \u00e5 ta hensyn til begrensningene ved generativ KI. Vi utformer alts\u00e5 oppgavene v\u00e5re slik at de ikke kan l\u00f8ses med KI, fordi kvaliteten p\u00e5 svaret blir for d\u00e5rlig. Problemet med denne tiln\u00e6rmingen er at den b\u00e5de er risikabel og fort kan bli utdatert etter hvert som generativ KI utvikler seg og blir mer sofistikert. Hvis du bare f\u00f8lger utviklingen fra GPT-3.5 til GPT-4 (og n\u00e5 turbo), vil du legge merke til en betydelig kvalitetsforbedring. Noen av oppgavene som 3.5 hadde problemer med, l\u00f8ser 4.0 ganske bra. S\u00e5 selv om vi fortsatt kan utvikle eksamensoppgaver som ChatGPT vil ha vanskeligere for \u00e5 l\u00f8se tilfredsstillende, er dette neppe en b\u00e6rekraftig tiln\u00e6rming. Et forslag har for eksempel v\u00e6rt \u00e5 bruke bilder i eksamensoppgaven, da ChatGPT var d\u00e5rlig til det. Med lanseringen av GPT-4v (v=visual) gelder det ikke lengere. N\u00e5 kan den ogs\u00e5 analysere bilder. Samtidig m\u00e5 man avveie s\u00e5danne ideer opp mot andre uhensiktsmessigheter. Et bilde er for eksempel vanskelig tilgjengelig for en blind student, s\u00e5 ut fra et universell design synspunkt b\u00f8r der f\u00f8lge en bildeforklaring med. <\/p>\n\n\n\n Denne tiln\u00e6rmingen starter med det mer grunnleggende sp\u00f8rsm\u00e5let om hvorfor vi i det hele tatt vurderer studentene. Hva er m\u00e5let med vurderingen? Hvis vurderingen f\u00f8les som et ork som ikke oppmuntrer til kreativitet eller reell l\u00e6ring, eller hvis tidspresset er sv\u00e6rt h\u00f8yt, \u00f8ker motivasjonen for \u00e5 bruke snarveier som ChatGPT. En annen viktig faktor er hvordan vurderingen passer inn i l\u00e6ringsprosessen, der vurderingene bare blir \u00f8yeblikksbilder av denne prosessen i form av produksjonsoppgaver som delvis er frakoblet l\u00e6ringsprosessen, s\u00e5 vurder om vurderingsmetoden kan tenkes p\u00e5 nytt. Kanskje skal vi slet og rett nedtone den summative vurdering og gj\u00f8re hele vurderingsprosessen mer formativ. Dette var allerede en god id\u00e9, men fremveksten av generativ KI har gjort det enda mer presserende. Jason M. Lodge anbefaler \u00e5 gj\u00f8re dette p\u00e5 mellomlang til lang sikt (helst s\u00e5 snart som mulig, men det kan kreve grundigere kvalitetsarbeid med selve oppgavedesignet, noe som kan v\u00e6re tidkrevende). Jason mener at informasjonsteknologien gir nye muligheter til \u00e5 sette s\u00f8kelys p\u00e5 vurdering, slik at l\u00e6ring blir en kontinuerlig utviklingsprosess snarere enn en prestasjon. Hvis du vil lese mer om dette, anbefales Jasons artikkel fra 2018: \u201cA Futures Perspective on Information Technology and Assessment<\/a>\u201c.<\/p>\n\n\n\n Jason M. Lodge oppsummerer de seks tiln\u00e6rmingene i en tabell der han ogs\u00e5 vurderer b\u00e6rekraften i tiln\u00e6rmingene p\u00e5 kort, mellomlang og lang sikt. Resultatet er at det bare er tiln\u00e6rmingene \u201comfavne\u201d og \u201ctenke nytt\u201d som anses som reelle alternativer p\u00e5 lang sikt, og at disse kan suppleres med \u201coverv\u00e5ke\u201d i spesifikke tilfeller der det gir mening.<\/p>\n\n\n\n La oss n\u00e5 vende blikket mot Nord universitets gjeldende eksamenspolitikk slik den er beskrevet i \u201cRetningslinjer for eksamenskandidater ved Nord universitet\u201d. Der st\u00e5r den sparsomme formuleringen om KI i siste punkt 29:<\/p>\n\n\n\n \u201d \u00c5 generere besvarelse ved hjelp av ChatGPT eller lignende kunstig intelligens og levere den helt eller delvis som egen besvarelse er \u00e5 regne som fusk dersom ikke annet er opplyst for den enkelte eksamen.\u201d<\/p>Retningslinjer for eksamenskandidater ved Nord universitet<\/cite><\/blockquote><\/figure>\n\n\n\n Ut fra \u201cignorere\u201d-tiln\u00e6rmingen er Nord for \u00f8yeblikket i et semi-forbud. Forbudet er ikke strengere enn at du som l\u00e6rer kan \u00e5pne opp for at det er tillatt \u00e5 bruke KI. Samtidig er det viktig \u00e5 understreke at du p\u00e5 grunn av GDPR ikke kan kreve at studentene bruker KI. Akkurat n\u00e5 kan du alts\u00e5 velge mellom \u00e5 forby eller delvis omfavne KI og eventuelt revurdere hele vurderingsdesignet for \u00e5 gj\u00f8re det til en kontinuerlig l\u00e6ringsprosess. Du kan velge \u00e5 se spredningen av generativ KI som en mulighet til \u00e5 jobbe mer dyptg\u00e5ende og systematisk med hvordan studentene dine blir vurdert (det kan selvsagt hende at du allerede har en sv\u00e6rt robust praksis som ikke utfordres av KI). Dette er ikke n\u00f8dvendigvis et enkelt omr\u00e5de \u00e5 navigere i. N\u00e5r alt kommer til alt, er det begrenset hvor mange eksamensoppgaver vi kan lage der studentene m\u00e5 analysere en tekst produsert av kunstig intelligens. Samtidig er det ganske problematisk \u00e5 forby KI og betrakte det som fusk bare fordi de smarteste studentene kan lage oppgaver der det ikke kan oppdages. I dag finnes det til og med nettselskaper som tilbyr en slik tjeneste, men det er jo ikke s\u00e5 stor forskjell fra studenter som tidligere har betalt andre for \u00e5 gj\u00f8re en oppgave for dem.<\/p>\n\n\n\n Et alternativ kan v\u00e6re \u00e5 gj\u00f8re eksamen muntlig, slik at effekten av \u00e5 bruke generativ KI blir mye mindre. Studenten m\u00e5 tross alt forst\u00e5 materialet selv. En kombinasjon av muntlig og skriftlig eksamen er ogs\u00e5 et alternativ, der studentens innsikt i sin egen tekst kan testes mer. Men den beste l\u00f8sningen p\u00e5 lang sikt er nok \u00e5 tenke p\u00e5 hvordan vi kan utforme vurderingsformer som ikke er s\u00e5rbare for bruk av kunstig intelligens. Det vil si oppgaver som krever en h\u00f8y grad av akademiske ferdigheter som kritisk tenkning, samarbeid, d\u00f8mmekraft, beslutningstaking, inkludert etisk beslutningstaking, refleksjon over prosessen og fagspesifikk innsikt. En tiln\u00e6rming er \u00e5 \u00f8ke graden av autentisitet. Hvis studentene m\u00e5 l\u00f8se virkelige problemer og gjennomf\u00f8re intervjuer osv., kan KI bare hjelpe deg s\u00e5 langt. Men det er ogs\u00e5 viktig \u00e5 tenke p\u00e5 variasjon i vurderingsformene i emnene og studieprogrammene, og hvis man \u00e5pner opp for bruk av generativ KI i oppgaver, b\u00f8r man sette kriterier som at studentene skal dokumentere hva som er frembrakt av KI og eventuelt vise hvordan de bruker KI med en kritisk tiln\u00e6rming.<\/p>\n\n\n\n Hvis du er interessert i ytterligere refleksjoner rundt KIs innvirkning p\u00e5 vurdering i h\u00f8yere utdanning, anbefaler vi diskusjonsnotatet: \u201c<\/a>Assessment reform for the age of artificial intelligence<\/a>\u201d publisert av TEQSA, kvalitetssikringsorganisasjonen for h\u00f8yere utdanning i Australia. Jason M. Lodge er en av medforfatterne av notatet. Dessverre er ikke alle forslagene helt gjennomf\u00f8rbare ved Nord universitet for \u00f8yeblikket, ettersom vi ikke har en GDPR-godkjent KI-tjeneste for studenter (kun for ansatte i form av Bing Chat).<\/p>\n\n\n\n Avslutningsvis f\u00f8lger her de to veiledende prinsippene om betydningen av KI for vurdering fra notatet og hvordan de utkrystalliserer seg i seks forslag til, hvordan vurdering (b\u00e5de formativ og summativ) b\u00f8r tenkes i en verden preget av generativ KI. Disse kan i seg selv f\u00e5 deg til \u00e5 tenke p\u00e5 hvordan fremtidens vurdering b\u00f8r se ut.<\/p>\n\n\n\n De to prinsippene:<\/strong><\/p>\n\n\n\n 1. Vurdering og l\u00e6ringserfaringer gj\u00f8r studentene i stand til \u00e5 delta etisk og aktivt i et samfunn gjennomsyret av kunstig intelligens.<\/strong><\/p>\n\n\n\n KI representerer en katalysator for endring som ikke ligner noe annet tidligere. Den p\u00e5virker ikke bare hvordan studentenes l\u00e6ring kan vurderes, men ogs\u00e5 hva som er verdt \u00e5 vurdere, og dermed hva og hvordan studentene l\u00e6rer. Dette inkluderer n\u00f8dvendigvis evnen til \u00e5 bruke KI-verkt\u00f8y, samt en bredere forst\u00e5else av etikken, begrensningene, skjevhetene og konsekvensene av KI.<\/p>\n\n\n\n 2. For \u00e5 kunne gj\u00f8re p\u00e5litelige vurderinger av studenters l\u00e6ring i en tid med kunstig intelligens kreves det flere, inkluderende og kontekstualiserte tiln\u00e6rminger til vurdering.<\/strong><\/p>\n\n\n\n Det finnes ikke \u00e9n enkelt vurderingstype som kan gj\u00f8re rede for all \u00f8nskelig og u\u00f8nsket bruk av KI blant studentene. Bruk av flere ulike typer vurderinger, n\u00e5r de er triangulerte, gir st\u00f8rre troverdighet og \u00e5pner for en mer inkluderende praksis.<\/p>\n\n\n\n Forslag:<\/strong><\/p>\n\n\n\n Hvis du i ditt eksamensdesign vil \u00e5pne opp for at studentene kan bruke KI b\u00f8r du sette opp kriterier for hvilken bruk som er tillatt og om der er ytterligere implikasjoner hvis studenten aktivt velger \u00e5 bruke KI. Jeg vil foresl\u00e5 at du ber studenten om \u00e5 reflektere over eget bruk og hva bruken av generativ KI har betydet for oppgaven og dens innhold. Her er et forslag til en tekst henvendt til studentene dine innholdende noe mulige kriterier:<\/p>\n\n\n\n Generativ KI er et verkt\u00f8y som hjelper til med \u00e5 generere tekster raskt, noe som forenkler prosessen med \u00e5 s\u00f8ke etter, finne, og oppsummere informasjon og ideer relatert til emnet du studerer, og forbedrer skriveferdighetene dine. Men det m\u00e5 aldri bli en automatpilot der du ikke utvikler din profesjonalitet og evne til kritisk tenkning.<\/p>\n\n\n\n 1. Du m\u00e5 unders\u00f8ke og vurdere informasjonen som genereres av generativ KI, da den kan produsere irrelevant eller un\u00f8yaktig informasjon. Det er viktig \u00e5 sjekke kilden til informasjonen og sitere den p\u00e5 riktig m\u00e5te. Tekster som utelukkende er generert av generativ KI, og som du kopierer og sender inn som din endelige tekst, regnes som plagiat.<\/p>\n\n\n\n 2. Du m\u00e5 eksplisitt oppgi at du har f\u00e5tt hjelp av generativ KI til \u00e5 lage oppgaven din, inkludert seksjoner eller deler som inneholder ideer\/problemstillinger identifisert via KI, eller oppgaver som er utf\u00f8rt, for eksempel redigering og parafrasering. Hvis du bruker tekst direkte generert fra ChatGPT eller annen generativ KI basert p\u00e5 en prompt, skal dette siteres og refereres til p\u00e5 samme m\u00e5te som i vanlige akademiske arbeider (les hvordan du siterer i APA-7 stil her<\/a>).<\/p>\n\n\n\n 3. N\u00e5r du sender inn din eksamensoppgave, skal du inkludere en refleksjonsdel inne i oppgaven om bruken av generativ KI. Denne refleksjonen kan plasseres under seksjonen \u201cMetode\u201d eller som et uavhengig avsnitt. Her skal du beskrive hvordan KI har blitt brukt, samt reflektere over dets betydning og innvirkning p\u00e5 arbeidet ditt.<\/p>\n\n\n\n 4. Innholdet i oppgavene skal i hovedsak v\u00e6re produsert av mennesker, ikke KI-generert. Hvis du er i tvil om oppgavens originalitet, kan du benytte programvareverkt\u00f8y for deteksjon av KI-innhold til \u00e5 verifisere arbeidet ditt.<\/p>\n\n\n\n 5. Alle tekster som mistenkes for plagiat eller som i stor grad er generert av kunstig intelligens, som indikert av deteksjonsprogramvare vil bli n\u00f8ye kontrollert. En vurdering av slike tilfeller vil bli foretatt for \u00e5 iverksette de mest hensiktsmessige tiltakene, med tanke p\u00e5 kursets kontekst og den spesifikke oppgaven.<\/p>\n","protected":false},"excerpt":{"rendered":" Selv om de fleste studenter \u00f8nsker \u00e5 l\u00e6re p\u00e5 en akademisk hederlig m\u00e5te, kan det v\u00e6re fristende \u00e5 f\u00e5 ChatGPT til \u00e5 gj\u00f8re jobben hvis den kan gj\u00f8re det like bra eller bedre. ChatGPT utfordrer derfor eksamensdesignet v\u00e5rt.\u00a0S\u00e5 la oss se p\u00e5 hvordan vi kan m\u00f8te denne utfordringen.\u00a0<\/p>\n","protected":false},"author":167,"featured_media":92,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[30,29,28,31],"coauthors":[48],"class_list":["post-91","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-digital-laring","tag-eksamen","tag-ki","tag-kunstig-intelligens","tag-vurdering"],"_links":{"self":[{"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/posts\/91","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/users\/167"}],"replies":[{"embeddable":true,"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/comments?post=91"}],"version-history":[{"count":7,"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/posts\/91\/revisions"}],"predecessor-version":[{"id":226,"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/posts\/91\/revisions\/226"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/media\/92"}],"wp:attachment":[{"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/media?parent=91"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/categories?post=91"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/tags?post=91"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/site.nord.no\/plus\/wp-json\/wp\/v2\/coauthors?post=91"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Ignorere (ignore)<\/strong><\/h4>\n\n\n\n
Forby (ban)<\/strong><\/h4>\n\n\n\n
Overv\u00e5ke (invigilate)<\/strong><\/h4>\n\n\n\n
Omfavne (embrace)<\/strong><\/h4>\n\n\n\n
Designe rundt (Design around)<\/strong><\/h4>\n\n\n\n
Tenke nytt (rethink)<\/strong><\/h4>\n\n\n\n
![\"\"](\"https:\/\/site.nord.no\/plus\/wp-content\/uploads\/sites\/81\/2024\/04\/Tabell-blogginnlegg.png\")
<\/figure>\n\n\n\nKI i eksamen ved Nord universitet<\/h3>\n\n\n\n
KIs innvirkning p\u00e5 vurdering<\/h3>\n\n\n\n
\n
Hvordan kan du \u00e5pne din eksamen opp for bruk av KI?<\/h3>\n\n\n\n