«In reality, what we call “artificial intelligence” today is neither artificial nor intelligent. The early AI systems were heavily dominated by rules and programs, so some talk of “artificiality” was at least justified. But those of today, including everyone’s favourite, ChatGPT, draw their strength from the work of real humans: artists, musicians, programmers and writers whose creative and professional output is now appropriated in the name of saving civilisation. At best, this is “non-artificial intelligence.»
– Evgeny Morozov, PhD, 2023 (1)

«Strictly speaking, AI is not a technology at all. Facial-recognition software, translation and speech recognition programs, scheduling algorithms, and predictive models might all have different machine learning tools running in the background, but it is patently absurd to refer to them as a singular technology. We do not call everything containing copper wires «wiring».»
– R.H. Lossin, PhD. og J. Resnikoff, PhD., 2024 (2)

Have modern chatbots actually passed the Turing Test? And if so, should we grant them thinking status, as Turing proposed? Surprisingly, given the Turing Test’s broad cultural importance, there’s little agreement in the AI community on the criteria for passing, and much doubt about whether having conversational skills that can fool a human reveals anything about a system’s underlying intelligence or “thinking status.”
– Professor Melanie Mitchell, 2024 (3)

Godejord’s 10 teser

ChatGPT og lignende tjenester er ikke kunnskapsressurser men statistiske modeller knyttet til språkgjenkjenning.
«Språkgjenkjenning» betyr her statistiske beregninger av hva brukeren antakelig mener med sin forespørsel, og statistiske beregninger av hvilken informasjon som muligens kan passe til forespørselen.
ChatGPT og lignende tjenester foretar ingen analyse eller faglig refleksjon knyttet til verken forespørsel eller generert svar.
ChatGPT og lignende tjenester gir kun svar på nivå 1, og selv der sees store svakheter.
ChatGPT og lignende tjenester presenterer det rene tøv som fakta, på en slik måte at man må kjenne fagområdet svært godt for å se alle feilene.
ChatGPT og lignende tjenester feiler (selvfølgelig) i alle oppgaver som inneholder praktisk arbeid i kombinasjon med faglig refleksjonsevne understøttet av relevante kilder.
ChatGPT og lignende tjenester klarer ikke (igjen selvfølgelig) å foreta refleksjon over egen læring.
Hverken ChatGPT, GPT-2 Output Detector Demo eller GPTZero er pålitelige verktøy for å avsløre ChatGPT-genererte tekster.
ChatGPT og lignende tjenester er ikke eksempler på KI.
ChatGPT og lignende tjenester er ikke en uoverkommelig trussel mot undervisning og læring.

Fortsatt store svakheter

Selv i juni 2024 viser ChatGPT de samme svakheten som mange fagfolk påpekte allerede i 2022 og tidlig i 2023, og det denne samtaleroboten rent faktisk kan gjøre er begrenset.

«It is important to keep in mind that while these models are designed to generate human-like text, they are not perfect, and their outputs should not be taken as truth without further validation. This is because the models are based on statistical probabilities and may generate text that is not accurate or relevant to the given context».

Sitatet over er fra Rohit Vincent, forsker ved Version 1, og han setter fingeren rett på det «ømme punkt» når det gjelder språkmodeller; «…the models are based on statistical probabilities and may generate text that is not accurate or relevant to the given context».

Disse samtalerobotene, enten de heter ChatGPT eller Bing Chat, foretar kun statistiske beregninger på den input de får fra en bruker og ser om det rent statistisk finnes noe i deres database (eller på internett) som kan tenkes å matche dette. Men systemene foretar absolutt ingen analyse av hva det konkret spørres etter og hva som rent konkret finnes av pålitelig og verifisert informasjon i deres databaser eller på internett.

ChatGPT og tilsvarende system er ikke eksempler på kunstig intelligens

«The results are impressively realistic, but the “basic statistics” are the same. There is no sentience, there’s no self-contemplation, there’s no self-awareness.»
– Professor Michael Wooldridge, 2022 (4)

Gjennom de ulike kapitlene i denne gjennomgangen har jeg flere steder benyttet betegnelsen «KI» om ChatGPT og lignende systemer. I første kapittel ba jeg ChatGPT presentere seg selv, og deretter definere KI. Men ut fra de testene jeg har beskrevet her, er det noe som tyder på at ChatGPT og de andre systemene jeg har testet oppfyller hele eller deler av definisjonen på KI?

ChatGPT og lignende samtaleroboter virker tilsynelatende å oppfylle punkt 6 om evne til å forstå naturlig språk, men «forstå» her er jo kun i betydningen statistiske beregninger av hva som sannsynligvis er forventet, basert på et sett med forhåndsdefinerte regler. Verktøyene forstår absolutt ingen ting av det vi spør om eller den informasjon verktøyene finner og presenterer.

Punkt 1 om evnen til å lære virker også, rent overfladisk, å være oppfylt. Men faktum er jo at «læringen» her er representert ved at mennesker legger inn ytterligere informasjonstekster i systemenes database, samt oppgraderer (om nødvendig) verktøyenes programkode slik at verktøyenes evne til å foreta statistiske beregninger av den økte mengden informasjon forbedres. Noen av disse samtalerobotene, slik som Copilot (Bing Chat) og ChatGPT 4 omni, har tilgang til deler av Internett og har dermed en enorm «database» av tekstlig informasjon. Men samtalerobotene har ikke på egenhånd bestemt seg for å bruke Internett og ingen av disse verktøyene foretar noen som helst form for refleksjon over informasjonen de har tilgang til. Og «læringen» resulterer følgelig kun i at evnen til å foreta statistiske beregninger av mulige svar en bruker ønsker, øker i takt med informasjonsmengdens størrelse.

Og i hvor stor grad de øvrige punktene knyttet til de grunnleggende egenskaper og kriterier ChatGPT viste til i kapittel 2 er oppfylt, avhenger av i hvilken «leir» man befinner seg. Selv hører jeg ubetinget til den gruppen informasjonsteknologer, både nasjonalt og internasjonalt, som ikke anerkjenner at vi per nå har oppnådd system som kvalifiserer til betegnelsen Kunstig Intelligens.

ChatGPT, og tilsvarende verktøy, sin evne til å gi svar er utelukkende et resultat av programmering utført av mennesker og ikke et kjennetegn på egen «tenkning» eller «intelligens». Disse samtalerobotene er programmert til å finne mønstre og assosiasjoner mellom ord og uttrykk basert på enorme mengder data. ChatGPT, og lignende verktøy, er følgelig helt like de dataverktøy vi lenge har benytte til å klassifisere eller analysere store mengder data uten at disse dermed er betegnet som «kunstig intelligens».

ChatGPT og tilsvarende samtaleroboter er altså ikke mystisk og ubegripelig magi, men digitale verktøy som er helt og holdent avhengig av verifiserbar og korrekt menneskelig input og fornuftig menneskelig bruk. Når ChatGPT kommer med ubrukbare svar, kan en bruker fintune systemet ved hjelp av ulike spørsmål, påstander ol. (basert på brukerens egne kunnskaper) og når et rimelig fornuftig svar så fremkommer er dette ikke et resultat av «kunstig intelligens» men av a) statistiske beregninger utført på av mennesker innlagt menneskeskapt informasjon og b) brukerens egen intelligens.

Konklusjon

«ChatGPT is absolutely not self-aware, conscious, or alive in any reasonable definition of these terms. The large language model that drives ChatGPT is static. Once it’s trained, it does not change; it’s a collection of simply-structured (though massive in size) feed-forward neural networks that do nothing but take in text as input and spit out new words as output. It has no malleable state, no updating sense of self, no incentives, no memory. It’s possible that we might one day day create a self-aware AI, but if such an intelligence does arise, it will not be in the form of a large language model.»
– Professor Cal Newport, 2023 (5)

«An example of machine learning, generative ‘AI’ is neither artificial nor intelligent. Generative AI systems are trained on vast corpuses of data created by humans, and, despite objections to the contrary, will require human input for widespread adoption.»
– Harry Law, 2023 (6)

ChatGPT er først og fremst en «bullshit generator», slik professor Arvind Narayanan (2022) ved Princeton University påpekte (1), men denne og lignende samtaleroboter kan likevel i noen situasjoner være nyttige til en første informasjonsinnhenting. Noen eksempler på slik praktisk nytte beskrives i artikkelen «Kunstig intelligens: Fire konkrete erfaringer» [Se test]

Ut fra mine tester, ut fra det jeg hører fra enkelte av mine kollegaer om deres erfaringer med ChatGPTs evner til å løse/ ikke klare å løse eksamensoppgaver og det jeg så langt har lest i internasjonale forskningsartikler, er det vanskelig å fremme en klar og endelig konklusjon på hva som bør gjøres med utfordringer knyttet til eksamensbesvarelser. Dette er noe som vil være vidt forskjellig fra fagfelt til fagfelt, fra stor utfordring til ingen utfordring overhode. Uansett vil jeg våge følgende påstander:

Er eksamens, – eller hjemmeoppgaver, av en slik art at ChatGPT og lignende samtaleroboter faktisk klarer å produsere svar på karakternivå C til A, da må enten oppgaveformen endres eller denne type oppgaver kun gis på den klassiske måten; – ved oppmøte i et lokale, uten hjelpemidler og med eksamensvakter.
I alle fagområder der det er mulig å konstruere eksamensoppgaver som støtter studentaktiv læring og som sikter mot de øvre nivå i Blooms-taksonomi, bør man gjøre dette.
I fagområder der dette er naturlig, bør ordinær eksamen erstattes av mappevurdering.

Min, og andres, erfaring understreker at utdanningsinstitusjoner bør være varsom med å lage for bombastiske regelverk knyttet til bruk av samtaleroboter og vurderingsformer. Dette er et felt som i sin helhet bør overlates til den enkelte fagansvarliges kunnskap og erfaring.

Vellykket mediekampanje

«Right now, ChatGPT is in a classic hype cycle. Media and analysts are promising that the technology will transform life and industry as we know it. We’ve been here before. Cell phone Internet browsers were supposed to replace computers. Instead, they’ve extended our connectivity. Facebook was supposed to transform human engagement. Now, it’s just one of many social media channels. Cloud services were set to eradicate on-premises data centers; now some leaders are retrenching due to cloud’s spiraling costs.

ChatGPT and other generative AI tools will follow a similar path, with excessive promises and dashed expectations, until the technology becomes more stable and predictable and delivers real ROI for important use cases.»
– Richard Bird, 2023 (7)

ChatGPT var aldri et revolusjonerende og strålende eksempel på Kunstig Intelligens. Det var, og er, et interessant steg i utviklingen av «smarte løsninger» innen det store fagområdet løselig kalt KI. Men først og fremst var dette et ypperlig eksempel på hvordan en vellykket mediekampanje fra en kommersiell aktør, som sprer seg med lynets hastighet over det meste av verden uten noen form for kritisk journalistikk, kan få flere politikere, forelesere, utdanningsadministratorer og andre fagfolk til å fullstendig «miste hodet» og enten styrte fortvilt i skyttergraven (forby, regulere, kontrollere…) eller juble begeistret (ChatGPT og språkmodeller MÅ inn i all utdanning, dette er menneskehetens siste oppfinnelse før maskinene overtar…).

En del av de euforiske uttalelsene, særlig de knyttet til «nødvendigheten» av at ChatGPT (eller ChatGPT-lignende system) må inn i skolen, minner om holdningen til det digitale på slutten av 90-tallet og begynnelsen på 2000-tallet. Et godt eksempel på optimismen rundt IT den gang er dette sitatet fra Sør-Trøndelag Fylkeskommune sitt «Pedagogisk bruk av IT i divisjon utdanning 2001 2004»: «Med det omfattende kommunikasjonsaspektet som vi antakelig bare har sett begynnelsen av, står IT fram som kanskje det kraftigste verktøy for all læring». (Utkast til skisse s.8). En slik begeistring hadde den gang ingen forankring i klare forskningsresultat, og det er vel neppe feil å påpeke at årene som har gått siden 2001 ikke akkurat har styrket påstanden om «…kraftigste verktøy for all læring». På samme måte har vi per i dag ingen forskning som tyder på at samtaleroboter basert på språkmodeller (som altså ikke er noe nytt, til tross for hva media virker å tro) av typen ChatGPT eller Microsoft Copilot (Bing Chat) er en nødvendig del av utdanningsløpet verken i grunn-, videregående eller høyere utdanning.

Men det positive oppe i alt medietøvet og den påfølgende støyen er at ChatGPT, og lignende samtaleroboter, har løftet fagområde kunstig intelligens frem i lyset. Og det var egentlig på tide, da dette er et ytterst spennende fagfelt.

Jeg er ellers helt enig med Morten Irgens i at «problemet med hjemmeeksamener ikke fortjente alt bråket det fikk og er patetisk uvesentlig sammenlignet med mulighetene KI gir» og jeg kan også si meg enig i at akademias fokus på restriksjoner og mulige brudd på GDPR «…er et klassisk eksempel på over-compliance, og kan sammenliknes med å forby sykler i stedet for å påby hjelm» (Khrono, 30.12.2023)

Verken ChatGPT eller tilsvarende samtaleroboter er, slik jeg ser det, eksempler på «make and break» verken for undervisnings- og vurderingssituasjoner i høyere utdanning eller i lavere utdanningsløp. Men samtalerobotene representerer en verktøytype som, på samme måte som Google, Wikipedia, Google Translate, Apertium, Grammarly og QuillBot, kan ha en viss nytteverdi og som undervisere derfor bør ha både praktisk og teoretisk kjennskap til.

Samtalerobotene, og markedsføringen av dem, er glitrende eksempler på hvordan tjene penger på teknologi og passer følgelig godt inn som case i ulike former for handelshøyskole-utdanning. De sikkerhetsmessige og juridiske implikasjonene passer glitrende som eksempler innen utdanninger av typen IKT og læring, og kunnskap om språkmodeller og de ulike forsøkene med å skape KI er selvsagte tema innen informasjonsteknologi-utdanning. Hvilken nytte disse verktøyene vil ha i grunn- og videregående skole gjenstår å se, og vil i stor grad avhenge om skoleledere og lærere makter å ta eierskap til verktøyene og bruken av dem i det enkelte klasserom.

to Refleksjonsoppgaver

1. Er du en teknologioptimist eller en teknologipessimist? 
2. Hva mener du om ChatGPT og samtaleroboter som læringsverktøy? 
3. Kan du forankre din mening i relevant forskningslitteratur?

At en del av det informasjonsteknologiske miljøet (og forskere fra andre, tilstøtende miljø) ikke anerkjenner ChatGPT og lignende system som KI, betyr ikke nødvendigvis at det motsatt synspunkt er feil. 

Les gjennom følgende:

1. Hva er egentlig intelligens?

2. Definisjoner av KI

3. Tre debattinnlegg: Er prateroboten ChatGPT en klok samtalepartner eller papegøye?, Kunstig og menneskelig intelligens ligner mer enn Falkum og Lison hevder og Kunstig intelligens-modeller er ikke miniatyrversjoner av den menneskelige hjernen.

4. Les Are Large Language Models Intelligent? Are Humans?

Ut fra det du har lest over, samt det du har lest i denne bloggboken, hva er ditt syn på ChatGPT og lignende system? Er dette eksempler på KI? I så fall hvilken type KI er disse systemene eksempler på?

Hvis ikke revolusjonen kom i 2022, eller i 2023, når kommer den da? Kommer den i det hele tatt, eller renner det hele ut i sanden?

«Though AI companies are prone to making overblown promises that the tools will shortly be able to replace your content writing team or generate feature-length films or develop a video game from scratch, the reality is far more mundane: they are handy in the same way that it might occasionally be useful to delegate some tasks to an inexperienced and sometimes sloppy intern.»
– Molly White, 2024 (8)

«It feels like another sign that A.I. is not even close to living up to its hype. In my eyes, it’s looking less like an all-powerful being and more like a bad intern whose work is so unreliable that it’s often easier to do the task yourself. That realization has real implications for the way we, our employers and our government should deal with Silicon Valley’s latest dazzling new, new thing. Acknowledging A.I.’s flaws could help us invest our resources more efficiently and also allow us to turn our attention toward more realistic solutions.»
– Julia Angwin, 2024 (9)

«Of course, ChatGPT and its clones know how to produce mathematically plausible texts. But will we be seeing the Booker Prize awarded to Bard, BingAI or ChatGPT in five or ten years’ time? I doubt it very much. On the contrary, some authors will make fun of these machines, hijack them and use them as creative material. This will last for a while, and then we’ll move on to something else.»
– Yann Gourvennec, 2024 (10)

«It was always going to happen; the ludicrously high expectations from last 18 ChatGPT-drenched months were never going to be met. LLMs are not AGI, and (on their own) never will be; scaling alone was never going to be enough. The only mystery was what would happen when the big players realized that the jig was up, and that scaling was not in fact “All You Need”.»
– Professor Gary Marcus, 2024 (11)

«As much attention as they’ve attracted, ChatGPT is still not mainstream.»
– David Carr, 2024 (12)

«The teens I know are kind of “meh” towards all AI, but generally see ChatGPT as comedy entertainment. People are saying we should listen to how the youth are using AI, and I do agree on that. But it is also interesting to see some leaders (at least in the U.S.) that one week declare that mobile devices are ruining attention spans, schools, society in general… but then the next week are saying “the youth of today love AI, we should listen to them!”»
– Matt Crosslin, 2024 (13)

Kap. 10 Summa Summarum