«Once men turned their thinking over to machines in the hope that this would set them free. But that only permitted other men with machines to enslave them»
– Frank Herbert, Dune, 1965

«In reading the history of nations, we find that, like individuals, they have their whims and their peculiarities; their seasons of excitement and recklessness, when they care not what they do. We find that whole communities suddenly fix their minds upon one object, and go mad in its pursuit; that millions of people become simultaneously impressed with one delusion, and run after it, till their attention is caught by some new folly more captivating than the first.»
– Charles MacKay, 1841, (1a/ 1b)

David Rothenberg: «Gjør det vondt å tenke?»
Arne Næss Sr.: «Det gjør det, men det er en smerte vi ikke bør unndra oss. Det er en lidelse vi må lære å like.»
– Fra boken «Arne Næss – gjør det vondt å tenke?», av D. Rothenberg, 1992 (2)

«To the extent that we inhabit a culture where thought and writing have become effortless, we will also inhabit a culture incapable of responsible and redemptive relationships.»
– Jeffrey Bilbro, PhD, 2023 (3)

«Students don’t always know how to craft relevant prompts for the A.I. chatbots.»
– Professor John Spencer, 2023 (4)

«While current AI systems can be impressive, they are fundamentally limited to reactive behaviors or short-term capabilities, unable to form representations of themselves. Despite the allure of AI systems passing the Turing Test, this milestone in establishing AI consciousness has not yet been achieved.»
– Laszlo Szabo, 2024 (5)

Oppsummerende funderinger – På vei mot en konklusjon

Jeg har i denne bloggboken forsøkt å gi en oversikt over hva ChatGPT og lignende verktøy er for noe, og peker på noen sikkerhetsmessige, etiske, juridiske og læringsmessige problemstillinger knyttet til disse systemene. Videre beskriver jeg et sett med tester utført i perioden desember 2022 til desember 2023, og ytterligere tester gjennom 2024, samt januar 2025.

Overordnede spørsmål for testingen

Testene er i hovedsak utført ut fra følgende overordnede spørsmål:

Kan ChatGPT (og lignende verktøy) produsere gode akademiske svar på omfattende arbeidskrav der fokus er på øvre nivå i Blooms taksonomi, innen mitt undervisningsfelt?
Kan ChatGPT (og lignende verktøy) produsere gode faktabaserte stiler over et gitt tema?

Valg foretatt, og rasjonale for valgene

I alle tilfeller der det fantes både en gratis- og en betalingsversjon, var det gratisversjonen som ble testet. Dette valget ble foretatt ut fra en antakelse av at de fleste studenter vil benytte gratisversjoner av de ulike samtalerobotene, særlig når de har full tilgang til utdanningsinstitusjonenes egne samtaleroboter (egenutviklede eller institusjonsavtaler med f.eks. Copilot). En slik antakelse kan imidlertid være feil, og den er ikke fundert i konkrete forskningsresultat.

GPT UiO og Sikt KI-Chat er organisasjonsversjoner, og Microsoft CoPilot (Bing Chat) ble testet både i ordinær versjon og i organisasjonsversjonen tilgjengelig for ansatte og studenter ved Nord universitet.

At de fleste samtalerobotene ble testet i gratisversjoner kan være en svakhet, da betalingsversjonene kan ha ytterligere funksjoner som styrker verktøyenes evne til å produsere relevante tekster. Og i noen tilfeller var det eksterne «preview-sider» som ble benyttet, noe som kan medføre en ytterligere svakhet.

Men ved gjennomgang av både populærvitenskapelige og vitenskapelige ressurser fant jeg lite som tyder på at betalingsversjonene av de ulike samtalerobotene har større evne til å finne korrekt informasjon, forstår input og output i større grad, eller har mindre grad av hallusinasjoner enn gratisversjonene når det gjelder å produsere besvarelser på arbeidskrav/ eksamensoppgaver basert på høyere nivå i Blooms Taksonomi.

Et av flere interessante momenter ved fremveksten av samtaleroboter er at det fra enkelte hold blir understreker viktigheten av å stille de riktige spørsmålene på den rette måten, eller som det kalles, «Prompt engineering» . Tanken er at det har ingen hensikt å stille samtalerobotene enkle spørsmål som f.eks. Googles søkemotor løser like greit, men at spørsmålene må skreddersys.

Jeg har i mine tester ikke drevet utstrakt «prompt engineering» ut fra en antakelse om at mange brukere, spesielt studenter uten dyp fagkunnskap, sannsynligvis vil bruke samtaleroboter uten omfattende prompt engineering. Dette blir dermed en realistisk tilnærming for å vurdere hvordan verktøyene fungerer i praksis.

Mitt rasjonale for at testingen av ulike arbeidskrav utført uten utstrakt bruk av «prompt engineering» er en realistisk tilnærming, er at effektiv bruk av en samtalerobot for å generere svar på universitetsoppgaver som krever analyse, syntese og evaluering vil være utfordrende for studenter som i utgangspunktet vil ha lave fagkunnskaper ved oppstart av arbeidskrav i mine emner. Slik jeg ser det, basert på egen undervisningserfaring, kan dette begrunnes blant annet med at:

Forståelse av komplekse konsepter: Høyere nivåer av Blooms taksonomi krever en dyp forståelse av fagstoffet. Studenter med lavere fagkunnskaper vil erfaringsmessig ha vanskeligheter med å formulere spørsmål som kan lede til dyptgående og relevante svar.
Kritisk tenkning: Arbeidskrav (eksamensoppgaver) som krever analyse og evaluering forutsetter evnen til kritisk tenkning. Dette innebærer å kunne vurdere informasjon, identifisere sammenhenger og trekke konklusjoner, noe som kan være utfordrende for studenter uten et solid faglig grunnlag.

Dermed kan det, etter min mening, antas at studenter som i utgangspunktet har begrensede fagkunnskaper ved oppstart av et fagemne, vil ha problemer med å foreta effektiv promting.

Videre har det liten hensikt at man som fagperson tester samtaleroboter med utstrakt promting, når målet er å se hvorvidt en student – som nødvendigvis mangler forelesers dybdekunnskap – muligens kan klare å få gode svar fra en samtalerobot på arbeidskrav basert på høyere nivå i Blooms Taksonomi.

Samme rasjonale gjelder for de enkle testene knyttet opp mot emner spesifikt for norske forhold (Norsk 70-talls litteratur, Sivilforsvaret, etc.), samt en enkel «gåte-test», test på verktøyenes evne til å finne konkret og korrekt informasjon knyttet til etternavn og et forsøk på gjenskape et konkret resultat beskrevet i Digi.no. Særlig når det gjelder «båttesten» (Digi.no) er det vanskelig å tenke seg at grundig promting er aktuelt når man ikke er motorkyndig. Var man det ville man jo ikke trenge en samtalerobot, men ganske enkelt sjekke basert på egen erfaring og kunnskap.

Så kan en jo stille spørsmålet; hva med de studenter som har et godt grep om fagområdet fra før? Disse vil jo kunne bedrive effektiv promting, og dermed få en samtalerobot til å formulere gode svar? Og det er utvilsomt riktig. Men samtaleroboter har ikke evnen til å foreta reelle vurderinger, syntese eller analyse. Så en faglig dyktig student kan utnytte «sekretær-funksjonen» til en samtalerobot, men vil samtidig vite at verktøyet ikke kan brukes til å produsere en helhetlig besvarelse i fagområder der det ikke uten videre finnes fasitsvar, og der eksamensoppgavene krever noe mer enn rene gjengivelser.

I noen tilfeller har jeg reformulert oppgavetekster knyttet til mine fagområder for å se om resultatene ble bedre, men dette virket i mine forsøk å ikke ha noen som helst betydning for resultatet.

Men manglende promting er muligens nok en svakhet ved mine tester, da grundig promting kan påvirke relevansen og nøyaktigheten til svar som samtaleroboter gir.

Jeg har imidlertid så langt ikke funnet belegg for at promting øker samtaleroboters evne til å løse eksamensoppgaver knyttet til høyere nivå i Blooms Taksonomi i tilgjengelig vitenskapelig litteratur.

Jeg har ikke beskrevet testing av ulike samtaleroboters evne til å lage gode sammendrag av lengre tekst, reformuleringer av «tung/ omstendelig» tekst eller stavesjekk og oversetting fra f.eks. norsk til engelsk. Dette lå utenfor det som var mine to hovedspørsmål, men jeg har foretatt slik testing. Konklusjonen her er at slik bruk fungerer noenlunde greit. Her kan jeg helt klart se nytten av samtalerobotene, men det er jo synd å si at denne type resultat tilkjennegir «kunstig intelligens».

Så da kan jo hver og en stille seg spørsmålet; hva er mest tidseffektivt dersom innhenting av informasjon/verifiserbare fakta som del av besvarelser av arbeidskrav er målet – bruk av en samtalerobot der spørsmålene/ oppgaveteksten må «finpusset» flere ganger før en så uansett må sjekke resultatet via ordinære nettsøk, eller bruk av en søkemotor – med gode og spissede søkestrenger – der verifiserbare kilder kommer opp umiddelbart?

«Participants using GPT-4 when trying to solve a simple business problem got the answer wrong 23% more often than the control group that did not have access to an LLM — because GPT-4 not only often got the answer wrong but provided such a persuasive rationale for its solution that users accepted it at face value.»
– Mikhail Burtsev, Martin Reeves, og Adam Job, 2023 (5)

«Det første jeg prøvde, var å la ChatGPT analysere lønnsundersøkelsen vår. Den mest anonyme utgaven, vel og merke, for gud vet hva OpenAI bruker filene mine til. Og joda; den skrev Python-kode og analyserte fint, den. Men to problemer ble raskt klare:

Jeg må uansett dobbeltsjekke alt ChatGPT forteller meg, på gamlemåten.
ChatGPT forteller meg ingenting jeg ikke kunne funnet ut på gamlemåten – som jeg altså uansett må innom.

Dette har gjennomsyra det meste jeg har prøvd på.»
– Ole Petter Baugerød Stokke, 2024 (6)

Konklusjon

«The talk about existential risk from AGI is a magician’s distraction from what’s going on right in front of us – not a mechanical uprising, but a silent campaign to devalue the political and cultural currency of humane thought.»
– Professor Shannon Vallor, 2023 (7)

«Instead of minimizing users’ tendency to anthropomorphize conversational A.I. systems, many businesses are opting to maximize it. The more human-like a business’ chatbot seems, the more likely it is that users will like interacting with the chatbot, perceive it as friendly, believe they can relate to it, trust it, and even form some approximation of a social bond with it. For many businesses, the prospect of capturing an audience with a conversational A.I. system – a system they control and use for marketing and other commercially manipulative purposes – is irresistible.»
– Rick Claypool, 2023 (8)

«Remember, LLMs compute the probability of what word should come next in a sequence based on the parameters given in a prompt. This differs from the expectation (and illusion) that they understand and answer queries.»
– Chris Miciek, 2023 (9)

«A lot of people anthropomorphize these things because they ‘speak English.’ No, they don’t. It doesn’t speak English. It does a lot of math.»
– Rick Battle, 2024 (10)

«we found no evidence of formal reasoning in language models …. Their behavior is better explained by sophisticated pattern matching—so fragile, in fact, that changing names can alter results by ~10%!»
– Mehrdad Farajtabar, PhD, 07.10.2024 (11/12/13)

«Lowering the bar for AGI only muddles progress. True AGI requires reasoning frameworks that ensure correctness, adaptability, and logical consistency. The dream of AGI will not be realized by statistical tricks but by building systems capable of true logical reasoning.»
– TauLogicAI, 2024 (14)

Både mine tester, og internasjonal forskning på hvordan samtaleroboter behandler eksamensoppgaver knyttet til høyere nivå i Blooms taksonomi, viser at mediehistoriene om at dette var verktøy som lett kunne skrive gode universitetsbesvarelser ikke stemmer.

Undersøkelser utført av forskere i USA av påstander om at ChatGPT, og lignende verktøy, klarte bachelor og mastereksamener viser at også dette var «sannheter» med store modifikasjoner.

Det finnes ingen forskningsbaserte grunner til å tro at samtaleroboter på mystisk vis vil utgjøre en alvorlig «trussel» mot norske bachelor – og masteravhandlinger innen samfunnsvitenskap og humaniora, der analyse og vurdering er sentrale element. Dermed finnes det heller ingen forskningsbaserte grunner for å kreve spesielle tiltak knyttet til veiledning og eksaminasjon av disse. Det samme vil gjelde for ordinære hjemmeeksamener eller mappeevaluering av veiledete besvarelser der eksamensoppgavene/ arbeidskravene er konstruert i tråd med høyere nivå i Blooms taksonomi.

Både mine egne forsøk, og internasjonal forskning, viser at samtaleroboter klarer å levere svar på oppgaver som har sitt fokus på det å gjengi, beskrive og definere, og på oppgaver som krever sammenfatning og forklaring (Lavere nivå i Blooms Taksonomi). Men mine egne forsøk viser at det samtaleroboten fremkommer med ikke nødvendigvis er godt nok til å gi høyeste karakter (C, B eller A), selv der fagområdet/ fagbegrepene er velkjent og godt omtalt på Internett. Her vil det imidlertid kunne være ulikheter fra fagområde til fagområde, og at de samtaleroboter jeg har testet ikke gir gode resultat for mine oppgavetekster betyr ikke at de ikke kan gi gode svar (og dermed oppnå gode karakterer) i andre typer eksamensoppgaver basert på lavere nivå i Blooms Taksonomi.

Egne forsøk med de utvalgte samtalerobotene viser at en samtalerobot kan både legge inn kildehenvisninger i tekst og sette opp litteraturliste i tråd med APA-stilen. Men forsøkene viser også at samtaleroboters statistiske beregninger like gjerne fremkommer med falske kilder, som ekte.

ChatGPT, og de andre samtalerobotene jeg har testet, imponerer heller ikke når det gjelder å produsere faktabaserte stiler. I disse testene var «hallusinasjoner» særlig fremtredende. Men her vil mye selvsagt kunne avhenge av tematikken og hvilke krav som lærere i grunn- og videregående skole stiller til en stil.

Samtalerobotens evne til å besvare en enkel «gåte-test», deres evne til å finne konkret og korrekt informasjon knyttet til etternavn og et forsøk på gjenskape et konkret resultat beskrevet i Digi.no, var enkle forsøk som understreker samtalerobotenes manglende evne til å hente frem annen informasjon enn det de statistiske beregningene kan finne rent konkret i sitt innlagte datagrunnlag eller ved enkle internettsøk. Resultatene understreker at det ikke foretas noen form for resonering. Alt som foretas er statistisk beregnede sammensetninger av bokstaver, gitt bokstavsammensetningen av brukerens input.

Egne tester, og internasjonal forskning, viser at selv etter to år med utvikling har samtalerobotene stadig ingen evne til reell resonering eller til annen form for reell tankevirksomhet.

Vi er med andre ord stadig langt, langt unna den teoretiske drømmen om en generell kunstig intelligens (AGI).

«When we consider the way that LLMs work, with the input query used to provide a probability fit across the weighted nodes that make up its vector space, we can see that the generated output is effectively that of an oversized word prediction algorithm. This precludes any possibility of intelligence and thus cognitive awareness of ‘truth’. Meaning that even if there is no intent behind the LLM, it’s still bullshitting, even if it’s the soft (unintentional) kind. When taking into account the agency and intentions of those who created the LLM, trained it, and created the interface (like ChatGPT), however, we enter into hard, intentional bullshit territory. It is incidentally this same bullshitting that has led to LLMs being partially phased out already, with Retrieval Augmented Generation (RAG) turning a word prediction algorithm into more of a fancy search machine. Even venture capitalists can only take so much bullshit, after all.»
– Maya Posch, 2024 (15)

ChatGPT, og andre samtaleroboter, er først og fremst en «bullshit generator», slik professor Arvind Narayanan (2022) ved Princeton University påpekte (1).

Men denne og lignende samtaleroboter kan likevel i noen situasjoner være nyttige til en første informasjonsinnhenting (under forutsetning av at man så sjekker videre i mer kontrollerbare kilder). Samtaleroboter kan også være nyttige som oversettere, til ord- og begrepsforklaringer (forutsatt at begrepet er velkjent), og de kan foreta oppsummeringer av tekst, osv.

Og for brukere med gode fagkunnskaper kan en samtalerobot være en tidseffektivt innledning til å få unna ulike oppgaver.

Og en meget interessant studie utført i oktober 2024 viser at ChatGPT 4 var bedre til å diagnostisere sykdommer enn legene som deltok i forsøket. Dette er et eksempel som minner om det man på slutten av 80-tallet beskrev som nytteområdet for «ekspertsystemer», særlig konstruert for å nettopp støtte leger i deres diagnosering. I denne studien ser vi for øvrig det motsatt av det Mikhail Burtsev, Martin Reeves, og Adam Job beskriver i sitatet vist til tidligere i dette kapittelet. Mens gruppen av konsulenter fra Boston Consulting Group som benyttet ChatGPT lot seg overbevise selv om svarene var feil, lot legene i studien fra Ethan Goh m. fl. seg ikke overbevise av bedre forslag til diagnoser.

Media var raskt ute med overskrifter av typen «Chat GPT danker ut ekte leger», men dette er en tabloid forståelse, uten forankring i virkeligheten. Som forfatteren av denne studien selv skriver:

«Results of this study should not be interpreted to indicate that LLMs should be used for diagnosis autonomously without physician oversight. The clinical case vignettes were curated and summarized by human clinicians, a pragmatic and common approach to isolate the diagnostic reasoning process, but this does not capture competence in many other areas important to clinical reasoning, including patient interviewing and data collection. Furthermore, this study was acontextual, and clinicians’ understanding of the clinical environment is fundamental for high-quality decision-making.»

Et annet interessant (og innovativt) bruksområde er det førsteamanuensis June Borge Doornich beskriver i «Bygde egen ChatGPT for å formidle forskning. — Vi må tenke nytt.»

Og der det faktisk oppstår nytte er dette knyttet til at store språkmodeller (LLM) er glitrende mønstergjenkjennere. Det er derfor de i mange år har vært benyttet i banker for å f.eks. indikere mistenkelige transaksjoner eller mulig identitetstyveri. Det er heller ikke noe nytt at slike system danner basis for at en nettleser, en SMART-mobil eller en søkemotor foretar statistiske beregninger av hva en bruker forsøker å taste inn i en melding eller i en nettleser.

En av utfordringene knyttet til samtaleroboter er at folk flest forankrer sine holdninger til disse i det de leser i media, og ikke i forskningsbasert kunnskap. Dermed får vi en rekke tilfeller der brukere fullt og fast tror at bare fordi et dataprogram reagerer med menneskelignende respons, forstår programmet hva vi ber om og kan løse komplekse problemer. Men dels er det begrensninger i hva en språkmodell pakket inn i et grensesnitt av typen samtalerobot kan løse og dels krever effektiv bruk av slike system at brukeren selv har gode og solide fagkunnskaper om det som etterspørres, noe den jevne bruker av ChatGPT og lignende verktøy ofte ikke har.

Som professor Lucy Cheke fra universitetet i Cambridge sier det; “This becomes particularly problematic as people more and more rely on these systems to answer complex questions to which they would not be in a position to spot an incorrect answer.»

Og som Inga Strümke uttalte til Khrono i juli 2024; «Eg trur at KI kjem til å gjere dei dårlege dårlegare, og dei gode betre. Om du ikkje har peiling og brukar generativ KI, er det lett å la seg lure til å tru at du har forstått noko du i realiteten ikkje har arbeidd godt nok med. Har du alt god kontroll på feltet og er i stand til å vurdere ulike perspektiv, kan generativ KI by på alt frå nye idear til sekretærhjelp.»

Men selv der en bruker «har kontroll» på et fagfelt kan bruken av samtaleroboter lede til feilkonklusjoner, rett og slett fordi den statistiske sammensetningen av bokstaver er så «menneskelig» – og dermed overbevisende – at selv profesjonelle yrkesutøvere kan bli lurt.

Så til tross for at det åpenbart finnes nytteverdi i det vi kaller samtaleroboter, så representerer ikke disse verktøyene noen form for «make and break» innen lavere eller høyere utdanning. Tvert i mot; de representerer en distraksjon fra reell kunnskapsbygging.

Og helt til slutt; samtaleroboter er lysår unna noe som ligner på intelligens, og fortjener derfor ikke betegnelsen KI.

«Intelligence is what you use when you don’t know what to do.»
– Jean Piaget (16)

«These tools could be driving down IQs since they eliminate the need for us to think by immediately giving us an answer, with no effort on our part whatsoever. (…) That means people don’t need to solve problems quite so often, and that’s concerning, since intelligence is basically the ability to solve problems.»
– Professor Serge Larivée, 2023 (17)

«ChatGPT er ikke vennen din. Den er bare en datamaskin som er veldig god til å regne.»
– Ståle Lindblad, 2024 (18)

«Some people will start recognizing that it was always a pipe dream to reach anything resembling complex human cognition on the basis of predicting words.»
– Professor Daron Acemoglu, 2024 (19)

«This isn’t new technology. Those tools have been around for years. They’re not “thinking” or answering questions. They’re pattern matching. Which is what everything people call AI is doing, too.»
– Chris Ferdinandi, 2024 (20)

«We are still basically surrounded by GPT-4 level models with incremental changes, and nothing that OpenAI themselves thinks is worthy of the GPT-5 label, There are many such models now; there is a price war. There is very little moat. There is still no robust solution to hallucinations. Corporate adoption is far more limited than most people expected, and total profits across all companies (except of course hardware companies like NVidia, which profits from chips rather than models) have been modest at best. Most companies involved have thus far lost money.»
– Professor Gary Marcus, 2025 (21)

«The very concept of AGI is bass-ackwards. AGI is a solution to which specific problem? It has no specific mission definition, so what exactly are we building it for- Chits n’ giggles? Okay we want to «building something to generally replace a human» why? For exactly what? …and how exactly is that economical or even desirable?»
– David Hsing, 2025 (22)

I denne bloggboken er både testene jeg har utført, svarene som fremkom og den litteratur – både vitenskapelig og populærvitenskapelig – jeg har støttet meg på åpent tilgjengelig. Det som her er fremført er mine faglige tolkninger, og andre forelesere/ forskere kan ha andre tolkninger.

Du som student, og i egenskap av å være lærer/ instruktør/ kursholder eller opplæringsansvarlig, vil kanskje nå ha fått din førforståelse utfordret. Men det betyr ikke at det du tidligere har ment er feil. Men kanskje har du nå fått litt mer å fundere på?

«Hva skal vi med tida vi sparer?»
– Stein P. Aasheim, 2024 (23)

LESELISTE

I de ulike kapitlene er det lenket til en rekke interessante artikler og innlegg som i seg selv utgjør en god leseliste. I tillegg til de ulike leselistene, inklusive den til slutt i dette innlegget, anbefaler jeg at man også ser nærmere på følgende:

For de som vil lære mer om KI anbefaler jeg «AI: A Guide for Thinking Humans» av professor Melanie Mitchell. Professor Gary Marcus sine tanker på «Marcus on AI» er også vel verdt å lese.
Følg også med på The Nature of Intelligence, en podcast serie fra Santa Fe Institute.
Khrono sin KI-skole er også verdt å følge med på.
For å få et innblikk i siste nytt om forskning på store språkmodeller og samtaleroboter/ ChatGPT bør en sjekke ut arXiv.org.
For de som liker underholdende TV-serier med intelligent (relativt sett) IT-teknologisk innhold der futuristisk AI er i fokus, kan TV-serien «Person of interest» anbefales, og i den forbindelse er følgende artikkel ytterst interessant: «Decoding AI Ethics through ‘Person of Interest’: How the Show Anticipated Today’s AI Concerns»
En bør også følge med på utviklingen av verktøy som skaper innhold basert på dine egne data, og her er Google Notebook LM et interessant eksempel.

I tillegg kan en se på disse ressursene:

En kort konferanseartikkel basert på den første uttestingen; "Language Models: Viable Strategies for Portfolio Assessment», ble presentert virtuelt (asynkront) på den internasjonale konferansen The Future of Education 2024, 20-21 juni (Nivå 1).

Abstract akseptert: 31.01.2024.

Expert remarks: "In the current climate where ChatGPT is presenting challenges to the integrity of learning and student engagement, this paper presents an innovative approach in interrogating the potential implications for portfolio assessment within university courses".

Artikkel fagfellevurdert og akseptert: 06.06.2024

                   _________

En større og grundigere artikkel basert på alle testene er under utarbeidelse, og planlagt publisert i løpet av 2025.

Epilog