Kap. 10 Summa Summarum – Didaktiske betraktninger

«In reality, what we call “artificial intelligence” today is neither artificial nor intelligent. The early AI systems were heavily dominated by rules and programs, so some talk of “artificiality” was at least justified. But those of today, including everyone’s favourite, ChatGPT, draw their strength from the work of real humans: artists, musicians, programmers and writers whose creative and professional output is now appropriated in the name of saving civilisation. At best, this is “non-artificial intelligence.»
– Evgeny Morozov, PhD, 2023 (1)

«Strictly speaking, AI is not a technology at all. Facial-recognition software, translation and speech recognition programs, scheduling algorithms, and predictive models might all have different machine learning tools running in the background, but it is patently absurd to refer to them as a singular technology. We do not call everything containing copper wires «wiring».»
– R.H. Lossin, PhD. og J. Resnikoff, PhD., 2024 (2)

«Have modern chatbots actually passed the Turing Test? And if so, should we grant them thinking status, as Turing proposed? Surprisingly, given the Turing Test’s broad cultural importance, there’s little agreement in the AI community on the criteria for passing, and much doubt about whether having conversational skills that can fool a human reveals anything about a system’s underlying intelligence or “thinking status.”»
– Professor Melanie Mitchell, 2024 (3)

Godejord’s 10 teser

ChatGPT og lignende tjenester er ikke kunnskapsressurser men statistiske modeller knyttet til språkgjenkjenning.
«Språkgjenkjenning» betyr her statistiske beregninger av hvilke bokstaver som logisk sett kan passe sammen som respons på de bokstavene en brukers forespørsel inneholder.
ChatGPT og lignende tjenester foretar ingen analyse eller faglig vurdering knyttet til verken forespørsel eller generert svar.
ChatGPT og lignende tjenester gir kun svar på nivå 1, og selv der sees store svakheter.
ChatGPT og lignende tjenester presenterer det rene tøv som fakta, på en slik måte at man må kjenne fagområdet svært godt for å se alle feilene.
ChatGPT og lignende tjenester feiler (selvfølgelig) i alle oppgaver som inneholder praktisk arbeid i kombinasjon med faglig refleksjonsevne understøttet av relevante kilder.
ChatGPT og lignende tjenester klarer ikke (igjen selvfølgelig) å foreta refleksjon over egen læring.
Hverken ChatGPT, GPT-2 Output Detector Demo eller GPTZero er pålitelige verktøy for å avsløre ChatGPT-genererte tekster.
ChatGPT og lignende tjenester er ikke eksempler på KI.
ChatGPT og lignende tjenester er ikke en uoverkommelig trussel mot undervisning og læring.

Fortsatt store svakheter

Selv i september 2024 viser ChatGPT de samme svakheten som mange fagfolk påpekte allerede i 2022 og tidlig i 2023, og det denne samtaleroboten rent faktisk kan gjøre er begrenset.

«It is important to keep in mind that while these models are designed to generate human-like text, they are not perfect, and their outputs should not be taken as truth without further validation. This is because the models are based on statistical probabilities and may generate text that is not accurate or relevant to the given context».

Sitatet over er fra Rohit Vincent, forsker ved Version 1, og han setter fingeren rett på det «ømme punkt» når det gjelder språkmodeller; «…the models are based on statistical probabilities and may generate text that is not accurate or relevant to the given context».

Disse samtalerobotene, enten de heter ChatGPT eller Bing Chat, foretar kun statistiske beregninger på den input de får fra en bruker og ser om det rent statistisk finnes noe i deres database (eller på internett) som kan tenkes å matche dette. Men systemene foretar absolutt ingen analyse av hva det konkret spørres etter og hva som rent konkret finnes av pålitelig og verifisert informasjon i deres databaser eller på internett.

ChatGPT og tilsvarende system er ikke eksempler på kunstig intelligens

«ChatGPT is absolutely not self-aware, conscious, or alive in any reasonable definition of these terms. The large language model that drives ChatGPT is static. Once it’s trained, it does not change; it’s a collection of simply-structured (though massive in size) feed-forward neural networks that do nothing but take in text as input and spit out new words as output. It has no malleable state, no updating sense of self, no incentives, no memory. It’s possible that we might one day day create a self-aware AI, but if such an intelligence does arise, it will not be in the form of a large language model.»
– Professor Cal Newport, 2023 (4)

«The results are impressively realistic, but the “basic statistics” are the same. There is no sentience, there’s no self-contemplation, there’s no self-awareness.»
– Professor Michael Wooldridge, 2022 (5)

Gjennom de ulike kapitlene i denne gjennomgangen har jeg flere steder benyttet betegnelsen «KI» om ChatGPT og lignende systemer. I første kapittel ba jeg ChatGPT presentere seg selv, og deretter definere KI. Men ut fra de testene jeg har beskrevet her, er det noe som tyder på at ChatGPT og de andre systemene jeg har testet oppfyller hele eller deler av definisjonen på KI?

ChatGPT og lignende samtaleroboter virker tilsynelatende å oppfylle punkt 6 om evne til å forstå naturlig språk, men «forstå» her er jo kun i betydningen statistiske beregninger av hvilke bokstaver i hvilken rekkefølge som sannsynligvis er forventet, basert på et sett med forhåndsdefinerte regler. Verktøyene forstår absolutt ingen ting av det vi spør om eller den informasjon verktøyene finner og presenterer. De kalles «samtaleroboter», og mange brukere omtaler disse verktøyene som «samtalepartner», fordi de simulerer en samtale. Men det foretas ingen reell samtale i normal betydning av ordet. ChatGPT og lignende verktøy er «døde ting» som har sin funksjon forankret i 0-er og 1-tall og som ikke har den minste aning om vår eksistens.

Punkt 1 om evnen til å lære virker også, rent overfladisk, å være oppfylt. Men faktum er jo at «læringen» her er representert ved at mennesker legger inn ytterligere informasjonstekster i systemenes database, samt oppgraderer (om nødvendig) verktøyenes programkode slik at verktøyenes evne til å foreta statistiske beregninger av den økte mengden informasjon forbedres. Noen av disse samtalerobotene, slik som Copilot (Bing Chat) og ChatGPT 4 omni, har tilgang til deler av Internett og har dermed en enorm «database» av tekstlig informasjon. Men samtalerobotene har ikke på egenhånd bestemt seg for å bruke Internett og ingen av disse verktøyene foretar noen som helst form for refleksjon over informasjonen de har tilgang til. Og «læringen» resulterer følgelig kun i at evnen til å foreta statistiske beregninger av mulige svar en bruker ønsker, øker i takt med informasjonsmengdens størrelse.

Og i hvor stor grad de øvrige punktene knyttet til de grunnleggende egenskaper og kriterier ChatGPT viste til i kapittel 2 er oppfylt, avhenger av i hvilken «leir» man befinner seg. Selv hører jeg ubetinget til den gruppen informasjonsteknologer, både nasjonalt og internasjonalt, som ikke anerkjenner at vi per nå har oppnådd system som kvalifiserer til betegnelsen Kunstig Intelligens.

ChatGPT, og tilsvarende verktøy, sin evne til å gi svar er utelukkende et resultat av programmering utført av mennesker og ikke et kjennetegn på egen «tenkning» eller «intelligens». Disse samtalerobotene er programmert til å finne mønstre og assosiasjoner mellom bokstaver, og ord og uttrykk disse kan forme, basert på enorme mengder data. ChatGPT, og lignende verktøy, er følgelig helt like de dataverktøy vi lenge har benytte til å klassifisere eller analysere store mengder data uten at disse dermed er betegnet som «kunstig intelligens».

ChatGPT og tilsvarende samtaleroboter er altså ikke mystisk og ubegripelig magi, men digitale verktøy som er helt og holdent avhengig av verifiserbar og korrekt menneskelig input og fornuftig menneskelig bruk. Når ChatGPT kommer med ubrukbare svar, kan en bruker fintune systemet ved hjelp av ulike spørsmål, påstander ol. (basert på brukerens egne kunnskaper) og når et rimelig fornuftig svar så fremkommer er dette ikke et resultat av «kunstig intelligens» men av a) statistiske beregninger utført på av mennesker innlagt menneskeskapt informasjon og b) brukerens egen intelligens.

Vellykket mediekampanje

«Right now, ChatGPT is in a classic hype cycle. Media and analysts are promising that the technology will transform life and industry as we know it. We’ve been here before. Cell phone Internet browsers were supposed to replace computers. Instead, they’ve extended our connectivity. Facebook was supposed to transform human engagement. Now, it’s just one of many social media channels. Cloud services were set to eradicate on-premises data centers; now some leaders are retrenching due to cloud’s spiraling costs. ChatGPT and other generative AI tools will follow a similar path, with excessive promises and dashed expectations, until the technology becomes more stable and predictable and delivers real ROI for important use cases.»
– Richard Bird, 2023 (6)

ChatGPT var aldri et revolusjonerende og strålende eksempel på Kunstig Intelligens. Det var, og er, et interessant steg i utviklingen av «smarte løsninger» innen det store fagområdet løselig kalt KI. Men først og fremst var dette et ypperlig eksempel på hvordan en vellykket mediekampanje fra en utvikler, som sprer seg med lynets hastighet over det meste av verden uten noen form for kritisk journalistikk, kan få flere politikere, forelesere, utdanningsadministratorer og andre fagfolk til å fullstendig «miste hodet» og enten styrte fortvilt i skyttergraven (forby, regulere, kontrollere…) eller juble begeistret (ChatGPT og språkmodeller MÅ inn i all utdanning, dette er menneskehetens siste oppfinnelse før maskinene overtar…).

En del av de euforiske uttalelsene, særlig de knyttet til «nødvendigheten» av at ChatGPT (eller ChatGPT-lignende system) må inn i skolen, minner om holdningen til det digitale på slutten av 90-tallet og begynnelsen på 2000-tallet. Et godt eksempel på optimismen rundt IT den gang er dette sitatet fra Sør-Trøndelag Fylkeskommune sitt «Pedagogisk bruk av IT i divisjon utdanning 2001 2004»: «Med det omfattende kommunikasjonsaspektet som vi antakelig bare har sett begynnelsen av, står IT fram som kanskje det kraftigste verktøy for all læring». (Utkast til skisse s.8). En slik begeistring hadde den gang ingen forankring i klare forskningsresultat, og det er vel neppe feil å påpeke at årene som har gått siden 2001 ikke akkurat har styrket påstanden om «…kraftigste verktøy for all læring». På samme måte har vi per i dag ingen forskning som tyder på at samtaleroboter basert på språkmodeller (som altså ikke er noe nytt, til tross for hva media virker å tro) av typen ChatGPT eller Microsoft Copilot (Bing Chat) er en nødvendig del av utdanningsløpet verken i grunn-, videregående eller høyere utdanning.

Men det positive oppe i alt medietøvet og den påfølgende støyen er at ChatGPT, og lignende samtaleroboter, har løftet fagområde kunstig intelligens frem i lyset. Og det var egentlig på tide, da dette er et ytterst spennende fagfelt.

Jeg er ellers helt enig med Morten Irgens i at «problemet med hjemmeeksamener ikke fortjente alt bråket det fikk og er patetisk uvesentlig sammenlignet med mulighetene KI gir» og jeg kan også si meg enig i at akademias fokus på restriksjoner og mulige brudd på GDPR «…er et klassisk eksempel på over-compliance, og kan sammenliknes med å forby sykler i stedet for å påby hjelm» (Khrono, 30.12.2023)

Verken ChatGPT eller tilsvarende samtaleroboter er, slik jeg ser det, eksempler på «make and break» verken for undervisnings- og vurderingssituasjoner i høyere utdanning eller i lavere utdanningsløp. Men samtalerobotene representerer en verktøytype som, på samme måte som Google, Wikipedia, Google Translate, Apertium, Grammarly og QuillBot, kan ha en viss nytteverdi og som undervisere derfor bør ha både praktisk og teoretisk kjennskap til.

Samtalerobotene, og markedsføringen av dem, er glitrende eksempler på hvordan tjene penger på teknologi og passer følgelig godt inn som case i ulike former for handelshøyskole-utdanning. Språkmodellers evne til å analysere store datasett vil kunne utnyttes i studentoppgaver i ulike fagområder.
De sikkerhetsmessige og juridiske implikasjonene passer godt som eksempler innen utdanninger av typen IKT og læring, og kunnskap om språkmodeller og de ulike forsøkene med å skape KI er selvsagte tema innen informasjonsteknologi-utdanning. Hvilken nytte disse verktøyene vil ha i grunn- og videregående skole gjenstår å se, og vil i stor grad avhenge om den enkelte lærer makter å ta eierskap til verktøyene og bruken av dem i klasserommet.

«In conclusion, while ChatGPT is a powerful language model, it is not sentient and does not bring us closer to the Singularity. Sentience and the Singularity are complex and highly speculative concepts that are the subject of ongoing research and debate in the field of artificial intelligence. As with any new technology, it is important to consider both the potential benefits and drawbacks and to approach its development and deployment with caution.»
– Professor Kok-Leong Ong og Dr Samar Fatima, 2023 (7)

to Refleksjonsoppgaver

OPPGAVE 1

a) Er du en teknologioptimist eller en teknologipessimist? 
b) Hva mener du om ChatGPT og samtaleroboter som læringsverktøy? Kan du forankre din mening i relevant forskningslitteratur?

OPPGAVE 2

At en del av det informasjonsteknologiske miljøet (og forskere fra andre, tilstøtende miljø) ikke anerkjenner ChatGPT og lignende system som KI, betyr ikke nødvendigvis at det motsatt synspunkt er feil. 

a) Praktisk - Les gjennom følgende:

1. Hva er egentlig intelligens?

2. Definisjoner av KI

3. Tre debattinnlegg: Er prateroboten ChatGPT en klok samtalepartner eller papegøye?, Kunstig og menneskelig intelligens ligner mer enn Falkum og Lison hevder og Kunstig intelligens-modeller er ikke miniatyrversjoner av den menneskelige hjernen.

4. Les Are Large Language Models Intelligent? Are Humans?

b) Teoretisk refleksjon:

Ut fra det du har lest over, samt det du har lest i denne bloggboken, hva er ditt syn på ChatGPT og lignende system? Er dette eksempler på KI? I så fall hvilken type KI er disse systemene eksempler på?

Revolusjonen som aldri kom

Selv om det nå i september 2024 er blitt stillere i media om ChatGPT, lever ideen om at samtaleroboter er representanter for KI stadig videre, selv om ingen av de svimlende påstandene om videre utvikling og utrolige resultater så langt har skjedd.

«We spent 18 months hearing about how Generative AI was going to “10x” coding, improving programmer productivity by a factor of 10. The data are coming in – and it’s not.»
– Professor Gary Marcus, 2024 (8)

«Though AI companies are prone to making overblown promises that the tools will shortly be able to replace your content writing team or generate feature-length films or develop a video game from scratch, the reality is far more mundane: they are handy in the same way that it might occasionally be useful to delegate some tasks to an inexperienced and sometimes sloppy intern.»
– Molly White, 2024 (9)

«It feels like another sign that A.I. is not even close to living up to its hype. In my eyes, it’s looking less like an all-powerful being and more like a bad intern whose work is so unreliable that it’s often easier to do the task yourself. That realization has real implications for the way we, our employers and our government should deal with Silicon Valley’s latest dazzling new, new thing. Acknowledging A.I.’s flaws could help us invest our resources more efficiently and also allow us to turn our attention toward more realistic solutions.»
– Julia Angwin, 2024 (10)

«Of course, ChatGPT and its clones know how to produce mathematically plausible texts. But will we be seeing the Booker Prize awarded to Bard, BingAI or ChatGPT in five or ten years’ time? I doubt it very much. On the contrary, some authors will make fun of these machines, hijack them and use them as creative material. This will last for a while, and then we’ll move on to something else.»
– Yann Gourvennec, 2024 (11)

«As much attention as they’ve attracted, ChatGPT is still not mainstream.»
– David Carr, 2024 (12)

«The teens I know are kind of “meh” towards all AI, but generally see ChatGPT as comedy entertainment. People are saying we should listen to how the youth are using AI, and I do agree on that. But it is also interesting to see some leaders (at least in the U.S.) that one week declare that mobile devices are ruining attention spans, schools, society in general… but then the next week are saying “the youth of today love AI, we should listen to them!”»
– Matt Crosslin, 2024 (13)

«After an explosive 2023, the pace of AI progress appears to have slowed; breakthroughs in generative AI are becoming less frequent. Investor calls have seen fewer mentions of AI, and companies struggle to realise the productivity gains initially promised by tools like ChatGPT.»
– Muhammad Zulhusni, 2024 (14)

Hvis ikke revolusjonen kom i 2022, i 2023 og heller ikke i 2024, når kommer den da? Kommer den i det hele tatt, eller renner det hele ut i sanden?

Og hva blir konklusjonen etter mine tester fra desember 2022 til september 2024?