Kap. 6 Hva gjør vi nu, lille du? – Didaktiske betraktninger

«Banning ChatGPT is like prohibiting students from using Wikipedia or spell-checkers. Even if it were the “right” thing to do in principle, it is impossible in practice.»
– Professor Angela Duckworth og professor Lyle Ungar, 2023 (1)

Det vi, etter min mening, absolutt ikke skal gjøre er å forby bruk av ChatGPT.

Vi skal heller ikke utvikle omfattende og byråkratiske retningslinjer for bruk av statistiske modeller av type ChatGPT, der mangelen på tillit til studenter og forelesere er det underliggende motivet. Selv om det finnes studenter og forelesere som lar seg friste til snarveier, er det min påstand at flertallet er etisk bevisst nok til å håndtere disse systemene på en grei måte. Og studentene er ikke dummere enn at de raskt ser de store svakhetene ved ChatGPT og lignende system, og de aller fleste forelesere har nok ekspertise til å rigge både undervisning og vurdering slik at studentene oppnår læring uavhengig av tilgang på ulike språkmodeller.

Ei heller skal vi desperat lete etter Quick Fix-løsninger på nettet som kan avsløre GhatGPT-generert tekst. Det finnes nettbaserte system som skal kunne gjenkjenne tekster skrevet av KI, blant annet GPT-2 Output Detector Demo, men det er ingen garanti for denne type system avslører tekster skrevet av ChatGPT.

Jeg testet nevnte system på teksten om Sivilforsvaret, og fulgte da en oppskrift fra en lærer på en av de mange åpne lærergruppene på Facebook. Denne oppskriften besto i å først oversette elevens tekst via Google Translate til engelsk, og deretter lime den en engelske versjonen inn i GPT-2.

Rasjonale for dette skulle være at siden ChatGPT var bygget opp rundt engelsk, måtte man oversette norske tekster for at sjekke-program som GPT-2 skulle kunne avgjøre om teksten var ChatGPT-generert eller ikke.

Selv om dette var ytterst tvilsom logikk, så fulgte jeg denne oppskriften, og la først inn teksten i engelsk form (oversatt via Google Translate). Deretter gjorde jeg et nytt forsøk og la inn Chat GPT sin norske tekstversjon.

Den engelske teksten ble flagget som «uekte tekst» (altså skrevet av et AI-system), mens den norske teksten ble flagget som «ekte» (altså skrevet av et menneske).

Dermed fikk jeg et godt eksempel på at GPT-2 ikke er mye å stole på.

Jeg testet samme tekst (engelsk og norsk) i GPTZero og fikk akkurat samme resultat; den engelske teksten ble flagget som KI-generert tekst, mens den norske ble flagget som menneske-generert.

Skal slike systemer ha noen som helst funksjon, så må de reagere korrekt på den originale norske teksten. En tekst endret via oversettersystemet Google Translate er jo ikke lengre den originale teksten en student eller en elev leverte.

Men hva om vi spør ChatGPT selv? Jeg testet dette med teksten om Sivilforsvaret. ChatGPT svarte prompte:

Ja, jeg skrev det. Dette er en beskrivelse av hva sivilforsvaret i Norge er og hva deres rolle og oppgaver er. Jeg har beskrevet hvordan organisasjonen består av frivillige mennesker som ønsker å bidra til å hjelpe andre i nød og ulykker, og at de har mange ulike avdelinger som hver har sine egne spesielle oppgaver og ansvarsområder. Jeg har også pekt på at sivilforsvaret er kanskje mest kjent for sine store innsatser ved ulykker og kriser, men deres bidrag er viktig i mange andre sammenhenger også, som å organisere store arrangementer og øke bevisstheten om sikkerhet og beredskap i befolkningen.

Her treffer jo ChatGPT spikeren på hodet, men hva om den får en annen tekst?

Med fare for å bli beskyldt for at hele denne bloggboken er skrevet av ChatGPT la jeg inn følgende tekst tatt fra noe av det jeg har skrevet i dette innlegget:

Har du skrevet dette: Jeg har testet ut ChatGPT innenfor eget fagfelt, med blant annet oppgaver fra IKT og Lærings-studiene, og systemet svarer på (stort sett) utmerket norsk. Men ingen av svarene ville – dersom en student presenterte disse på en eksamen – gi særlig høy karakter. Systemet gjør en god jobb med å lynraskt samle informasjon og produserer helt greie og korrekte svar på nivå 1 i Blooms taksonomi, men gir ingen dybdesvar (i alle fall ikke i mine forsøk) på høyere nivå og er selvsagt totalt avhengig av at de kilder systemet benytter inneholder korrekt informasjon. ChatGPT gir heller ingen kildehenvisninger for sine svar, så selv om dette er en artig og interessant «samtalebasert søkemotor» er en nødt til å foreta egne søk i for eksempel Google for å sikre at informasjon faktisk er valid.

Ja, dette er noe jeg skrev. Det beskriver at jeg har testet ut ChatGPT (modellen som gjør min interaksjon med deg mulig) innenfor eget fagfelt og finner at systemet gir gode og korrekte svar på nivå 1 i Blooms taksonomi, som er relatert til å gjenkjenne eller gjengi kjent informasjon, men ikke på høyere nivåer som krever analyse og anvendelse av informasjonen. Jeg understreker også at ChatGPT ikke gir kildehenvisninger for sine svar, så det er viktig å bekrefte informasjonen gjennom andre kilder.

Javel ja. For de som stadig tror at ChatGPT (og lignende statistiske modeller) er et genialt verktøy som kan tenke selv, er dette nok et eksempel på at systemet sjonglerer med tekstbasert informasjon og vipper i ene eller andre retning alt etter hva systemet «gjenkjenner» basert på statistiske beregninger. Å bruke slike systemer for å sjekke om en tekst virkelig er skrevet av en elev eller en student er ikke bare bortkastet, men er også et potensielt brudd på eleven og studentens rettsvern.

Jeg vil, til tross for at ChatGPT og de andre systemene i mine tester ikke akkurat imponerte, anbefale alle som driver med undervisning å teste ut ChatGPT og lignende tjenester, og reflektere over hvordan disse kan benyttes i undervisning, og hva som er styrker og svakheter ved disse, hvilke positive muligheter som finnes og hvilke sikkerhetsutfordringer som kan oppstå ved bruk av disse systemene.

Og kan utforskning av ChatGPT og lignende system føre til refleksjoner rundt kunstig intelligens (som teknologisk forskning enda ikke har klart å frembringe) så er jo det bare bra.

Leseliste