«Once men turned their thinking over to machines in the hope that this would set them free. But that only permitted other men with machines to enslave them»
– Frank Herbert, Dune, 1965
David Rothenberg: «Gjør det vondt å tenke?»
Arne Næss Sr.: «Det gjør det, men det er en smerte vi ikke bør unndra oss. Det er en lidelse vi må lære å like.»
– Fra boken «Arne Næss – gjør det vondt å tenke?», av D. Rothenberg, 1992 (1)
«To the extent that we inhabit a culture where thought and writing have become effortless, we will also inhabit a culture incapable of responsible and redemptive relationships.»
– Jeffrey Bilbro, PhD, 2023 (2)
«When we consider the way that LLMs work, with the input query used to provide a probability fit across the weighted nodes that make up its vector space, we can see that the generated output is effectively that of an oversized word prediction algorithm. This precludes any possibility of intelligence and thus cognitive awareness of ‘truth’. Meaning that even if there is no intent behind the LLM, it’s still bullshitting, even if it’s the soft (unintentional) kind. When taking into account the agency and intentions of those who created the LLM, trained it, and created the interface (like ChatGPT), however, we enter into hard, intentional bullshit territory. It is incidentally this same bullshitting that has led to LLMs being partially phased out already, with Retrieval Augmented Generation (RAG) turning a word prediction algorithm into more of a fancy search machine. Even venture capitalists can only take so much bullshit, after all.»
– Maya Posch, 2024 (3)
Jeg har i denne bloggboken forsøkt å gi en oversikt over hva ChatGPT og lignende verktøy er for noe, og peker på noen sikkerhetsmessige, etiske, juridiske og læringsmessige problemstillinger knyttet til disse systemene. Videre beskriver jeg et sett med tester utført i perioden desember 2022 til desember 2023, og ytterligere tester i 2024. Testene er i hovedsak utført ut fra følgende overordnede spørsmål:
- Kan ChatGPT (og lignende verktøy) produsere gode akademiske svar på omfattende arbeidskrav der fokus er på øvre nivå i Blooms taksonomi, innen mitt undervisningsfelt?
- Kan ChatGPT (og lignende verktøy) produsere gode faktabaserte stiler over et gitt tema?
Jeg har ikke beskrevet testing av ulike samtaleroboters evne til å lage gode sammendrag av lengre tekst, reformuleringer av «tung/ omstendelig» tekst eller stavesjekk og oversetting fra f.eks. norsk til engelsk. Dette lå utenfor det som var mine to hovedspørsmål, men jeg har foretatt slik testing. Konklusjonen her er at slik bruk fungerer noenlunde greit. Her kan jeg helt klart se nytten av samtalerobotene, men det er jo synd å si at denne type resultat tilkjennegir «kunstig intelligens».
En av flere interessante momenter ved fremveksten av samtaleroboter er at dette understreker viktigheten av å stille de riktige spørsmålene på den rette måten, eller som det kalles, «Prompt engineering» . Tanken er at det har ingen hensikt å stille samtalerobotene enkle spørsmål som f.eks. Googles søkemotor løser like greit, men at spørsmålene må skreddersys.
Det er nok ingen dum ide, og inntil samtalerobotene langsomt svinner hen til nok et interessant men ikke særlig revolusjonerende verktøy, vil det sikkert være nyttig å se nærmere på dette. Det er vel neppe tvil om at jo bedre spørsmålet er formulert, jo enklere er det for verktøyenes statistiske beregninger. Problemet er imidlertid stadig at samtaleroboter ikke skjønner hva du spør om, ikke skjønner svaret det fremkommer med og at utfordringen med «hallusinasjoner» ikke er i nærheten av å bli løst.
Og for ordens skyld; det har heller aldri vært særlig smart å kun bruke enkle spørsmål/ søkestrenger i en søkemotor. Jo mer spissede og presise søkestrenger, jo bedre resultat.
Så da kan jo hver og en stille seg spørsmålet; hva er mest tidseffektivt dersom innhenting av informasjon/verifiserbare fakta som del av en oppgaveløsning er målet – bruk av en samtalerobot eller bruk av en søkemotor der verifiserbare kilder kommer opp samtidig med resultatene?
Men først og fremst kan vi jo fundere på følgende; Hvis samtaleroboter og språkmodeller er svaret, hva var da spørsmålet?
«Participants using GPT-4 when trying to solve a simple business problem got the answer wrong 23% more often than the control group that did not have access to an LLM — because GPT-4 not only often got the answer wrong but provided such a persuasive rationale for its solution that users accepted it at face value.»
– Mikhail Burtsev, Martin Reeves, og Adam Job, 2023 (4)
«Det første jeg prøvde, var å la ChatGPT analysere lønnsundersøkelsen vår. Den mest anonyme utgaven, vel og merke, for gud vet hva OpenAI bruker filene mine til. Og joda; den skrev Python-kode og analyserte fint, den. Men to problemer ble raskt klare:
- Jeg må uansett dobbeltsjekke alt ChatGPT forteller meg, på gamlemåten.
- ChatGPT forteller meg ingenting jeg ikke kunne funnet ut på gamlemåten – som jeg altså uansett må innom.
Dette har gjennomsyra det meste jeg har prøvd på.»
– Ole Petter Baugerød Stokke, 2024 (5)
LESELISTE
I de ulike kapitlene er det lenket til en rekke interessante artikler og innlegg som i seg selv utgjør en god leseliste.
For de som vil lære mer om KI anbefaler jeg «AI: A Guide for Thinking Humans» av professor Melanie Mitchell. Professor Gary Marcus sine tanker på «Marcus on AI» er også vel verdt å lese.
For de som liker underholdende TV-serier med intelligent (relativt sett) IT-teknologisk innhold der futuristisk AI er i fokus, kan TV-serien «Person of interest» anbefales (HBO Max), og i den forbindelse er følgende artikkel ytterst interessant:
«Decoding AI Ethics through ‘Person of Interest’: How the Show Anticipated Today’s AI Concerns»
I tillegg kan en se på disse artiklene:
- Sentient AI will never exist via machine learning alone
- Chat GPT – vår tids «Titanic»?
- KI endrer internett – og fyller det med «søppel»
- Det er ikke kunstig intelligens som vil ta jobben din, det er en person som bruker kunstig intelligens
- Why do people use ChatGPT? Exploring user motivations for generative conversational AI
- Oslo-skolen bør kaste ut ChatGPT!
- Ekspert tror KI-visjoner er overdrevne
- Er ChatGPT og andre AI-tjenester en revolusjon?
- ChatGPT and other language AIs are nothing without humans – a sociologist explains how countless hidden people make the magic
- Bruk av generativ kunstig intelligens i offentlig sektor
- ChatGPT struggles to answer medical questions, new research finds
- Chat GPT – en mer talefør slektning av ELIZA
- Chat GPT – et artig verktøy men ingen pålitelig eksamensløser
En kort konferanseartikkel basert på uttestingen; "Language Models: Viable Strategies for Portfolio Assessment», ble presentert virtuelt (asynkront) på den internasjonale konferansen The Future of Education 2024, 20-21 juni (Nivå 1).
Abstract akseptert: 31.01.2024.
Expert remarks: "In the current climate where ChatGPT is presenting challenges to the integrity of learning and student engagement, this paper presents an innovative approach in interrogating the potential implications for portfolio assessment within university courses".
Artikkel fagfellevurdert og akseptert: 06.06.2024
