Epilog

Once men turned their thinking over to machines in the hope that this would set them free. But that only permitted other men with machines to enslave them
Frank Herbert, Dune, 1965

«In reading the history of nations, we find that, like individuals, they have their whims and their peculiarities; their seasons of excitement and recklessness, when they care not what they do. We find that whole communities suddenly fix their minds upon one object, and go mad in its pursuit; that millions of people become simultaneously impressed with one delusion, and run after it, till their attention is caught by some new folly more captivating than the first.»
– Charles MacKay, 1841, (1a/ 1b)

David Rothenberg: «Gjør det vondt å tenke?»
Arne Næss Sr.: «Det gjør det, men det er en smerte vi ikke bør unndra oss. Det er en lidelse vi må lære å like.»
– Fra boken «Arne Næss – gjør det vondt å tenke?», av D. Rothenberg, 1992 (2)

«To the extent that we inhabit a culture where thought and writing have become effortless, we will also inhabit a culture incapable of responsible and redemptive relationships.»
– Jeffrey Bilbro, PhD, 2023 (3)

«Students don’t always know how to craft relevant prompts for the A.I. chatbots.»
– Professor John Spencer, 2023 (4)

«While current AI systems can be impressive, they are fundamentally limited to reactive behaviors or short-term capabilities, unable to form representations of themselves. Despite the allure of AI systems passing the Turing Test, this milestone in establishing AI consciousness has not yet been achieved.»
– Laszlo Szabo, 2024 (5)

Innledning

Som Alberto Romero skriver i innleget 30 Things I’ve Learned About AI: «To know if an AI tool works, don’t read news headlines — try it yourself.»

Dette er en påstand som jeg uten videre kan si meg enig i. Men som samfunnsinformatiker er medias overskrifter og fornøyelige skriverier, og folk flest sine reaksjoner på disse, like interessante som det rent tekniske. Og ikke minst er det interessant å se at selv professorer lar seg friste til å bruke media som utgangspunkt for sterke meninger, uten selv å ha foretatt faktisk testing av ulike samtaleroboter med egne eksamensoppgaver.

Jeg har i denne bloggboken forsøkt å gi en oversikt over hva ChatGPT og lignende verktøy er for noe, og peker på noen sikkerhetsmessige, etiske, juridiske, helsemessige og læringsmessige problemstillinger knyttet til disse systemene. Videre beskriver jeg et sett med tester utført i perioden desember 2022 til desember 2023, og ytterligere tester gjennom 2024 og deler av 2025.

Overordnede spørsmål er så vidt nevnt innledningsvis, men er gjentatt i en gjennomgang av valgene jeg har foretatt for testingen, samt rasjonale for valgene. Dette gjør jeg i det følgende separate «vedlegg», slik at de som ikke er interessert i dette kan gå videre.

Valg foretatt, og rasjonale for valgene

Konklusjon – tester og gjennomgang av litteratur

«The talk about existential risk from AGI is a magician’s distraction from what’s going on right in front of us – not a mechanical uprising, but a silent campaign to devalue the political and cultural currency of humane thought.»
– Professor Shannon Vallor, 2023 (6)

«Instead of minimizing users’ tendency to anthropomorphize conversational A.I. systems, many businesses are opting to maximize it. The more human-like a business’ chatbot seems, the more likely it is that users will like interacting with the chatbot, perceive it as friendly, believe they can relate to it, trust it, and even form some approximation of a social bond with it. For many businesses, the prospect of capturing an audience with a conversational A.I. system – a system they control and use for marketing and other commercially manipulative purposes – is irresistible.»
– Rick Claypool, 2023 (7)

«Remember, LLMs compute the probability of what word should come next in a sequence based on the parameters given in a prompt. This differs from the expectation (and illusion) that they understand and answer queries.»
– Chris Miciek, 2023 (8)

«A lot of people anthropomorphize these things because they ‘speak English.’ No, they don’t. It doesn’t speak English. It does a lot of math.»
– Rick Battle, 2024 (9)

«we found no evidence of formal reasoning in language models …. Their behavior is better explained by sophisticated pattern matching—so fragile, in fact, that changing names can alter results by ~10%!»
– Mehrdad Farajtabar, PhD, 07.10.2024 (10/11/12)

«Lowering the bar for AGI only muddles progress. True AGI requires reasoning frameworks that ensure correctness, adaptability, and logical consistency. The dream of AGI will not be realized by statistical tricks but by building systems capable of true logical reasoning.»
– TauLogicAI, 2024 (13)

«The current idea that chatbots are «AI» and claims that computers can now truly think is a reflection of the imbalance between rapid technological progress and the widespread lack of scientific literacy. In the past, people fervently believed in demons and UFOs. Today, it’s AI»
– Per A. Godejord (14)

Mitt utsagn over bygger på en observasjon Carl Sagan gjorde på slutten av 1990-tallet; at det var et kritisk behov for utbredt vitenskapelig kompetanse i en verden som i stadig større grad formes av vitenskap og teknologi. I dag er denne teknologiske påvirkningen, i det minste i den velstående delen av verden, enda mer fremtredende.

Sagan advarte om at et samfunn som er sterkt avhengig av teknologi, men mangler forståelse for den, er iboende ustabilt og utsatt for manipulasjon. Han mente at manglende vitenskapelig forståelse gjør folk sårbare for pseudovitenskap og feilinformasjon, noe som hemmer evnen til å ta informerte beslutninger.

Etter min mening er denne bekymringen like relevant i dag, om ikke mer. Dette så vi særlig i mediehysteriet rundt fremveksten av samtaleroboter av typen ChatGPT. Det virker for meg som behovet for det Carl Sagan kalte et «baloney detection kit» er enda større nå enn det var på 90-tallet. Og da særlig knyttet til de ulike påstandene om at ChatGPT og lignende verktøy kan svare ekspertmessig på alle typer universitetsoppgaver.

Både mine tester, og internasjonal forskning på hvordan samtaleroboter behandler eksamensoppgaver knyttet til høyere nivå i Blooms taksonomi, viser at mediehistoriene om at dette var verktøy som lett kunne skrive gode universitetsbesvarelser ikke stemmer.

Undersøkelser utført av forskere i USA av påstander om at ChatGPT, og lignende verktøy, klarte bachelor og mastereksamener viser at også dette var «sannheter» med store modifikasjoner.

Det finnes ingen forskningsbaserte grunner til å tro at samtaleroboter på mystisk vis vil utgjøre en alvorlig «trussel» mot norske bachelor – og masteravhandlinger innen samfunnsvitenskap og humaniora, der analyse, tolkning og vurdering er sentrale element. Dermed finnes det heller ingen forskningsbaserte grunner for å kreve spesielle tiltak knyttet til veiledning og eksaminasjon av disse. Det samme vil gjelde for ordinære hjemmeeksamener eller mappeevaluering av veiledete besvarelser der eksamensoppgavene/ arbeidskravene er konstruert i tråd med høyere nivå i Blooms taksonomi.

Både mine egne forsøk, og internasjonal forskning, viser at samtaleroboter klarer å levere svar på oppgaver som har sitt fokus på det å gjengi, beskrive og definere, og på oppgaver som krever sammenfatning og forklaring (Lavere nivå i Blooms Taksonomi). Men mine egne forsøk viser at det samtaleroboten fremkommer med ikke nødvendigvis er godt nok til å gi høyeste karakter (C, B eller A), selv der fagområdet/ fagbegrepene er velkjent og godt omtalt på Internett. Her vil det imidlertid kunne være ulikheter fra fagområde til fagområde, og at de samtaleroboter jeg har testet ikke gir gode resultat for mine oppgavetekster betyr ikke at de ikke kan gi gode svar (og dermed oppnå gode karakterer) i andre typer eksamensoppgaver basert på lavere nivå i Blooms Taksonomi.

Egne forsøk med de utvalgte samtalerobotene viser at en samtalerobot kan både legge inn kildehenvisninger i tekst og sette opp litteraturliste i tråd med APA-stilen. Men forsøkene viser også at samtaleroboters statistiske beregninger like gjerne fremkommer med falske kilder, som ekte.

ChatGPT, og de andre samtalerobotene jeg har testet, imponerer heller ikke når det gjelder å produsere faktabaserte stiler. I disse testene var «hallusinasjoner» særlig fremtredende. Men her vil mye selvsagt kunne avhenge av tematikken og hvilke krav som lærere i grunn- og videregående skole stiller til en stil.

Samtalerobotens evne til å besvare en enkel «gåte-test», deres evne til å finne konkret og korrekt informasjon knyttet til etternavn og et forsøk på gjenskape et konkret resultat beskrevet i Digi.no, var enkle forsøk som understreker samtalerobotenes manglende evne til å hente frem annen informasjon enn det de statistiske beregningene kan finne rent konkret i sitt innlagte datagrunnlag eller ved enkle internettsøk. Resultatene understreker at det ikke foretas noen form for resonering. Alt som foretas er statistisk beregnede sammensetninger av bokstaver, gitt bokstavsammensetningen av brukerens input.

Egne tester, og internasjonal forskning, viser at selv etter de siste års utvikling har samtalerobotene stadig ingen evne til reell resonering eller til annen form for reell tankevirksomhet.

Vi er med andre ord stadig langt, langt unna den teoretiske drømmen om en generell kunstig intelligens (AGI).

Ikke KI men ordinær teknologi

«When we consider the way that LLMs work, with the input query used to provide a probability fit across the weighted nodes that make up its vector space, we can see that the generated output is effectively that of an oversized word prediction algorithm. This precludes any possibility of intelligence and thus cognitive awareness of ‘truth’. Meaning that even if there is no intent behind the LLM, it’s still bullshitting, even if it’s the soft (unintentional) kind. When taking into account the agency and intentions of those who created the LLM, trained it, and created the interface (like ChatGPT), however, we enter into hard, intentional bullshit territory. It is incidentally this same bullshitting that has led to LLMs being partially phased out already, with Retrieval Augmented Generation (RAG) turning a word prediction algorithm into more of a fancy search machine. Even venture capitalists can only take so much bullshit, after all.»
– Maya Posch, 2024 (15)

ChatGPT, og andre samtaleroboter, er først og fremst en «bullshit generator», slik professor Arvind Narayanan (2022) ved Princeton University påpekte (1).

Men denne og lignende samtaleroboter kan likevel i noen situasjoner være nyttige til en første informasjonsinnhenting (under forutsetning av at man så sjekker videre i mer kontrollerbare kilder). Samtaleroboter kan også være nyttige som oversettere, til ord- og begrepsforklaringer (forutsatt at begrepet er velkjent), og de kan foreta oppsummeringer av tekst, osv. Videre kan de være svært gode verktøy til å hjelpe til med gi en god struktur på en besvarelse. Dette siste gjør jo at vi fagansvarlige nå uten videre kan ta som en selvfølge at en besvarelse på universitetsnivå, er grundig strukturert og at dette ikke er noe som gir uttelling karaktermessig. (Mens en dårlig strukturert besvarelse, selvsagt fortsatt gir nedtrekk karaktermessig).

Og for brukere med gode fagkunnskaper kan en samtalerobot være en tidseffektivt innledning til å få unna ulike oppgaver.

Og der det faktisk oppstår nytte er dette knyttet til at store språkmodeller (LLM) er glitrende mønstergjenkjennere. Det er derfor de i mange år har vært benyttet i banker for å f.eks. indikere mistenkelige transaksjoner eller mulig identitetstyveri. Det er heller ikke noe nytt at slike system danner basis for at en nettleser, en SMART-mobil eller en søkemotor foretar statistiske beregninger av hva en bruker forsøker å taste inn i en melding eller i en nettleser.

En av utfordringene knyttet til samtaleroboter er at folk flest forankrer sine holdninger til disse i det de leser i media, og ikke i forskningsbasert kunnskap. Dermed får vi en rekke tilfeller der brukere fullt og fast tror at bare fordi et dataprogram reagerer med menneskelignende respons, forstår programmet hva vi ber om og kan løse komplekse problemer. Men dels er det begrensninger i hva en språkmodell pakket inn i et grensesnitt av typen samtalerobot kan løse og dels krever effektiv bruk av slike system at brukeren selv har gode og solide fagkunnskaper om det som etterspørres, noe den jevne bruker av ChatGPT og lignende verktøy ofte ikke har.

Som professor Lucy Cheke fra universitetet i Cambridge sier det; “This becomes particularly problematic as people more and more rely on these systems to answer complex questions to which they would not be in a position to spot an incorrect answer.»

Og som Inga Strümke uttalte til Khrono i juli 2024; «Eg trur at KI kjem til å gjere dei dårlege dårlegare, og dei gode betre. Om du ikkje har peiling og brukar generativ KI, er det lett å la seg lure til å tru at du har forstått noko du i realiteten ikkje har arbeidd godt nok med. Har du alt god kontroll på feltet og er i stand til å vurdere ulike perspektiv, kan generativ KI by på alt frå nye idear til sekretærhjelp.»

Men selv der en bruker «har kontroll» på et fagfelt kan bruken av samtaleroboter lede til feilkonklusjoner, rett og slett fordi den statistiske sammensetningen av bokstaver er så «menneskelig» – og dermed overbevisende – at selv profesjonelle yrkesutøvere kan bli lurt.

Så til tross for at det åpenbart finnes nytteverdi i det vi kaller samtaleroboter, så representerer ikke disse verktøyene – i seg selv – noen form for «make and break» innen lavere eller høyere utdanning. Tvert i mot; de representerer en distraksjon fra reell kunnskapsbygging.

Det betyr imidlertid ikke at verktøyene ikke kan utnyttes i læringssituasjoner, der elever/ studenter både kan få innsikt i forskningsområdet «KI» og kontroversene knyttet til dette området, oppøve evnen til faglig refleksjon og kildekritikk, skjønne forskjellen på Science Fiction og Science Facts og eksperimentere med verktøyene for å se hvor de kan gi konkret nytte og hvor de skaper merarbeid.

Slik jeg ser det, er den nåværende oppfatningen av at samtaleroboter er «KI», og påstander om at datamaskiner nå virkelig kan tenke, et resultat av kombinasjonen rask teknologisk utvikling og en utbredte mangel på vitenskapelig forståelse. I «gamle dager» trodde folk på demoner og UFOer. I dag er det den tenkende datamaskin som på mystisk vis kan løse alle våre problemer.

Men samtaleroboter er lysår unna noe som ligner på intelligens, og fortjener derfor ikke betegnelsen KI. Dette er ganske enkelt ordinær teknologi til generell bruk, og med alle de utfordringer som følger med ikke-spesialisert bruk av store språkmodeller. Det potensielt transformative er ikke samtalerobotene i seg selv men at den kunnskapsløse bruken blir utbredt og derigjennom svekker befolkningens evne til kildekritikk, evne til å skille mellom korrekt og falsk informasjon og evne til selvstendig tenkning og selvstendig utførelse av en rekke oppgaver både kunstnerisk og akademisk.

En slik utvikling utgjør en direkte trussel mot nasjonal sikkerhet og beredskap.

Sluttord

«Intelligence is what you use when you don’t know what to do.»
– Jean Piaget (16)

«These tools could be driving down IQs since they eliminate the need for us to think by immediately giving us an answer, with no effort on our part whatsoever. (…) That means people don’t need to solve problems quite so often, and that’s concerning, since intelligence is basically the ability to solve problems.»
– Professor Serge Larivée, 2023 (17)

«ChatGPT er ikke vennen din. Den er bare en datamaskin som er veldig god til å regne.»
– Ståle Lindblad, 2024 (18)

«Some people will start recognizing that it was always a pipe dream to reach anything resembling complex human cognition on the basis of predicting words.»
– Professor Daron Acemoglu, 2024 (19)

«This isn’t new technology. Those tools have been around for years. They’re not “thinking” or answering questions. They’re pattern matching. Which is what everything people call AI is doing, too.»
– Chris Ferdinandi, 2024 (20)

«We are still basically surrounded by GPT-4 level models with incremental changes, and nothing that OpenAI themselves thinks is worthy of the GPT-5 label, There are many such models now; there is a price war. There is very little moat. There is still no robust solution to hallucinations. Corporate adoption is far more limited than most people expected, and total profits across all companies (except of course hardware companies like NVidia, which profits from chips rather than models) have been modest at best. Most companies involved have thus far lost money.»
– Professor Gary Marcus, 2025 (21)

«Higher confidence in GenAI’s ability to perform a task is related to less critical thinking effort. When using GenAI tools, the effort invested in critical thinking shifts from information gathering to information verification; from problem-solving to AI response integration; and from task execution to task stewardship.»
– Hao-Ping (Hank) Lee, et.al., 2025 (22)

«The very concept of AGI is bass-ackwards. AGI is a solution to which specific problem? It has no specific mission definition, so what exactly are we building it for- Chits n’ giggles? Okay we want to «building something to generally replace a human» why? For exactly what? …and how exactly is that economical or even desirable?»
– David Hsing, 2025 (23)

«AI was born on a fateful day in the Summer of 1956, conceived by four ambitious researchers. It died the same day.»
– Alberto Romero, 2025 (24)

«We are surrounded by hysteria about the future of Artificial Intelligence and Robotics. There is hysteria about how powerful they will become how quickly, and there is hysteria about what they will do to jobs.»
– Professor emeritus Rodney Brooks, 2017 (25)

I denne bloggboken er både testene jeg har utført, svarene som fremkom og den litteratur – både vitenskapelig og populærvitenskapelig – jeg har støttet meg på åpent tilgjengelig. Det som her er fremført er mine faglige tolkninger, og andre forelesere/ forskere kan ha andre tolkninger.

Du som student, og i egenskap av å være lærer/ instruktør/ kursholder eller opplæringsansvarlig, vil kanskje nå ha fått din førforståelse utfordret. Men det betyr ikke at det du tidligere har ment er feil. Men kanskje har du nå fått litt mer å fundere på?

Og kanskje kan du neste gang en selger, en administrator eller en professor forteller deg at nå har «KI» (dvs. ulike versjoner av samtaleroboter) skapt tenkende maskiner som kan løse alle typer eksamensoppgaver og samtidig føre til læring for alle som bruker dem, stille noen kritiske spørsmål? En god ide her er å bruke Dr. Carl Sagen sitt «baloney detection kit», slik forskeren Dr. Sashank Dara gjengir det i sin artikkel «Navigating the AI/ML Hype: Applying Carl Sagan’s Baloney Detection Principles».

«Hva skal vi med tida vi sparer?»
– Stein P. Aasheim, 2024 (26)

Microsoft Copilot oppsummerer sitatene fra dette kapittelet

LESELISTE

I de ulike kapitlene er det lenket til en rekke interessante artikler og innlegg som i seg selv utgjør en god leseliste. I tillegg til de ulike leselistene, inklusive den til slutt i dette innlegget, anbefaler jeg at man også ser nærmere på følgende:

For de som vil lære mer om KI anbefaler jeg «AI: A Guide for Thinking Humans» av professor Melanie Mitchell. Professor Gary Marcus sine tanker på «Marcus on AI» er også vel verdt å lese.
Følg også med på The Nature of Intelligence, en podcast serie fra Santa Fe Institute.
Khrono sin KI-skole er også verdt å følge med på.
For å få et innblikk i siste nytt om forskning på store språkmodeller og samtaleroboter/ ChatGPT bør en sjekke ut arXiv.org og PLOS sine artikler om KI
For de som liker underholdende TV-serier med intelligent (relativt sett) IT-teknologisk innhold der futuristisk AI er i fokus, kan TV-serien «Person of interest» anbefales, og i den forbindelse er følgende artikkel ytterst interessant: «Decoding AI Ethics through ‘Person of Interest’: How the Show Anticipated Today’s AI Concerns»

Innledning

Konklusjon – tester og gjennomgang av litteratur

Ikke KI men ordinær teknologi

Sluttord

LESELISTE

I tillegg kan en se på disse ressursene:

«Siste nytt» om ChatGPT og openai (utvalg)