Kap. 7 Hva gjør vi nu, lille du? – Didaktiske betraktninger

«We should be focused on how to change teaching and learning so that LLMs and all of the other technological distractions that have dominated youth attention are simply irrelevant.»
– Professor Amy J. Ko, 2023 (1)

«Banning ChatGPT is like prohibiting students from using Wikipedia or spell-checkers. Even if it were the “right” thing to do in principle, it is impossible in practice.»
– Professor Angela Duckworth og professor Lyle Ungar, 2023 (2)

«Rather than banning students from using labor-saving and time-saving AI writing tools, we should teach students to use them ethically and productively.»
– Professor John Villasenor, 2023 (3)

«For as long as there has been high-stakes assessment in education, there has been cheating. ChatGPT may make it a little easier for students to cheat, and a little harder for us to catch them if they do, but it doesn’t fundamentally change the integrity dynamics in higher education. The best ways of thwarting cheating have never been focused on policing and enforcement; they have been about integrity training, creating a healthy campus culture and reducing incentives to cheat.»
– Professor Danny Oppenheimer, 2023 (4)

Forbud er et håpløst utgangspunkt

Det vi, etter min mening, absolutt ikke skal gjøre er å forby bruk av ChatGPT.

Vi skal heller ikke utvikle omfattende og byråkratiske retningslinjer for bruk av samtaleroboter av type ChatGPT, der mangelen på tillit til studenter og forelesere er det underliggende motivet.

Selv om det finnes studenter som lar seg friste til snarveier, er det min påstand at flertallet er etisk bevisst nok til å håndtere disse systemene på en grei måte.
Faktisk virker tallene for de som er tatt for bruk av samtalerobot, sett opp mot det totale antallet studenter, ikke urovekkende høye. Riktignok kan det være mørketall her, men vi har ingen empiri som tilsier at dette er et uoverstigelig problem. Og dessuten er nok de fleste studenter heller ikke dummere enn at de raskt ser de store svakhetene ved ChatGPT og lignende verktøy.

De aller fleste forelesere har også tilstrekkelig ekspertise til å rigge både undervisning og vurderingssituasjoner uavhengig av studentenes tilgang på ulike samtaleroboter. Det store flertallet av forelesere er tross alt ikke «hentet inn fra gaten» men har både lang utdanning i, og mange års erfaring med, det/ de fagemner de underviser i.

Dermed skal vi heller ikke sette opp retningslinjer av typen «Hjemmeeksamen som eneste tellende vurdering/eksamen må unngås så langt det lar seg gjøre». Slike formuleringer viser ikke bare manglende forståelse for akademisk frihet og den enkelte fagansvarliges rett til å foreta faglige vurderinger av hva som er hensiktsmessig vurderingsform, men det viser også en total mangel på forståelse for, og kunnskap om, ulike måter å konstruere eksamensoppgaver på. Det viser også, etter min mening, manglende kunnskap om informasjonsteknologi og hva en samtalerobot rent faktisk kan «produsere».

Det finnes ingen Quick-Fix

Like lite som vi skal forby bruken av samtaleroboter, skal vi desperat lete etter Quick Fix-løsninger på nettet som kan avsløre GhatGPT-generert tekst. Det finnes nettbaserte system som skal kunne gjenkjenne tekster skrevet av KI, blant annet GPT-2 Output Detector Demo, men det er ingen garanti for denne type system avslører tekster skrevet av ChatGPT.

Jeg testet nevnte system på teksten om Sivilforsvaret, og fulgte da en oppskrift fra en lærer på en av de mange åpne lærergruppene på Facebook. Denne oppskriften besto i å først oversette elevens tekst via Google Translate til engelsk, og deretter lime den en engelske versjonen inn i GPT-2.

Rasjonale for dette skulle være at siden ChatGPT var bygget opp rundt engelsk, måtte man oversette norske tekster for at sjekke-program som GPT-2 skulle kunne avgjøre om teksten var ChatGPT-generert eller ikke.

Selv om dette var ytterst tvilsom logikk, så fulgte jeg denne oppskriften, og la først inn teksten i engelsk form (oversatt via Google Translate). Deretter gjorde jeg et nytt forsøk og la inn Chat GPT sin norske tekstversjon.

Den engelske teksten ble flagget som «uekte tekst» (altså skrevet av et AI-system), mens den norske teksten ble flagget som «ekte» (altså skrevet av et menneske).

Dermed fikk jeg et godt eksempel på at GPT-2 ikke er mye å stole på.

Jeg testet samme tekst (engelsk og norsk) i GPTZero og fikk akkurat samme resultat; den engelske teksten ble flagget som KI-generert tekst, mens den norske ble flagget som menneske-generert.

Skal slike systemer ha noen som helst funksjon, så må de reagere korrekt på den originale norske teksten. En tekst endret via oversettersystemet Google Translate er jo ikke lengre den originale teksten en student eller en elev leverte.

Men hva om vi spør ChatGPT selv? Jeg testet dette med teksten om Sivilforsvaret. ChatGPT svarte prompte:

Ja, jeg skrev det. Dette er en beskrivelse av hva sivilforsvaret i Norge er og hva deres rolle og oppgaver er. Jeg har beskrevet hvordan organisasjonen består av frivillige mennesker som ønsker å bidra til å hjelpe andre i nød og ulykker, og at de har mange ulike avdelinger som hver har sine egne spesielle oppgaver og ansvarsområder. Jeg har også pekt på at sivilforsvaret er kanskje mest kjent for sine store innsatser ved ulykker og kriser, men deres bidrag er viktig i mange andre sammenhenger også, som å organisere store arrangementer og øke bevisstheten om sikkerhet og beredskap i befolkningen.

Her treffer jo ChatGPT spikeren på hodet, men hva om den får en annen tekst?

Med fare for å bli beskyldt for at hele denne bloggboken er skrevet av ChatGPT la jeg inn følgende tekst tatt fra noe av det jeg har skrevet i dette innlegget:

Har du skrevet dette: Jeg har testet ut ChatGPT innenfor eget fagfelt, med blant annet oppgaver fra IKT og Lærings-studiene, og systemet svarer på (stort sett) utmerket norsk. Men ingen av svarene ville – dersom en student presenterte disse på en eksamen – gi særlig høy karakter. Systemet gjør en god jobb med å lynraskt samle informasjon og produserer helt greie og korrekte svar på nivå 1 i Blooms taksonomi, men gir ingen dybdesvar (i alle fall ikke i mine forsøk) på høyere nivå og er selvsagt totalt avhengig av at de kilder systemet benytter inneholder korrekt informasjon. ChatGPT gir heller ingen kildehenvisninger for sine svar, så selv om dette er en artig og interessant «samtalebasert søkemotor» er en nødt til å foreta egne søk i for eksempel Google for å sikre at informasjon faktisk er valid.

Ja, dette er noe jeg skrev. Det beskriver at jeg har testet ut ChatGPT (modellen som gjør min interaksjon med deg mulig) innenfor eget fagfelt og finner at systemet gir gode og korrekte svar på nivå 1 i Blooms taksonomi, som er relatert til å gjenkjenne eller gjengi kjent informasjon, men ikke på høyere nivåer som krever analyse og anvendelse av informasjonen. Jeg understreker også at ChatGPT ikke gir kildehenvisninger for sine svar, så det er viktig å bekrefte informasjonen gjennom andre kilder.

Javel ja. For de som stadig tror at ChatGPT (og lignende samtaleroboter) er et genialt verktøy som kan tenke selv, er dette nok et eksempel på at systemet sjonglerer med tekstbasert informasjon og vipper i ene eller andre retning alt etter hva systemet «gjenkjenner» basert på statistiske beregninger. Å bruke slike verktøy for å sjekke om en tekst virkelig er skrevet av en elev eller en student er ikke bare bortkastet, men er også et potensielt brudd på eleven og studentens rettsvern.

Test det, bruk det, forstå det

«Å avvise KI som et legitimt hjelpemiddel kan sammenlignes med å nekte bruk av ordbøker i språkstudier. Verden utvikler seg, og det gjør også måten vi lærer og jobber på.»
– Professor Atle G. Guttormsen, 2024 (5)

I 2024 er så og si samtlige mennesker i dette landet storkonsumenter av digitale medier, og der mange av verktøyene som benyttes er både til nytte og underholdning. Det er imidlertid ikke gitt at dette utstrakte konsumet av digitale medier gir seg utslag i særlig stor forståelse for hva digital teknologi i bunn og grunn rent faktisk er, noe som nok forretningslivet og media vet å utnytte via fantasihistorier om «kunstig intelligens». Men da er det opp til utdanningsinstitusjonene å hjelpe til med å utvikle kunnskap og forståelse om muligheter og begrensninger av denne type digitale verktøy, og det gjør vi ikke ved å utelukkende se på dem som «fuskeverktøy» eller – enda verre – ignorere dem totalt. Det er heller ikke til særlig hjelp at vi ukritisk omtaler denne type verktøy som «KI», selv om det er fristende å følge mediafantasiene og på den måten fremstå som moderne og fremtidsrettet.

ChatGPT og lignende samtaleroboter føyer seg, slik jeg ser det, inn i rekken av verktøy som kreative personer vil kunne finne nytte av i en skriveprosess, uten at det dermed fører til akademisk kollaps. Og de samme personer vil nok raskt oppdage at verktøyet har store svakheter og at bruken derfor etter hvert vil være av begrenset og mer fokusert art.

Jeg vil derfor, til tross for at ChatGPT og de andre samtalerobotene i mine tester ikke akkurat imponerte, anbefale alle som driver med undervisning å teste ut ChatGPT og lignende verktøy, og reflektere over hvordan disse kan benyttes i undervisning, og hva som er styrker og svakheter ved disse, hvilke positive muligheter som finnes og hvilke sikkerhetsutfordringer som kan oppstå ved bruk av disse systemene.

Samtalerobotene kan gi oss som forelesere en glimrende anledning til å la våre studenter utforske nok et (tilsynelatende) «nytt» verktøy, og samtidig sørge for at fokuset deres er på faglige arbeid knyttet til utfordrende oppgaver.

Og kan utforskning av ChatGPT og lignende samtaleroboter føre til refleksjoner rundt kunstig intelligens (som teknologisk forskning enda ikke har klart å frembringe) så er jo det bare bra.

Det som er mindre bra, er at samtaleroboter som all annen teknologi, trekker med seg en del problemstillinger som har lett for å drukne i all mediestøyen.

Forbud er et håpløst utgangspunkt

Det finnes ingen Quick-Fix

Test det, bruk det, forstå det

Leseliste