Kap. 8 Summa Summarum – Didaktiske betraktninger

«In reality, what we call “artificial intelligence” today is neither artificial nor intelligent. The early AI systems were heavily dominated by rules and programs, so some talk of “artificiality” was at least justified. But those of today, including everyone’s favourite, ChatGPT, draw their strength from the work of real humans: artists, musicians, programmers and writers whose creative and professional output is now appropriated in the name of saving civilisation. At best, this is “non-artificial intelligence.”»
– Evgeny Morozov, PhD, 2023 (1)

«Strictly speaking, AI is not a technology at all. Facial-recognition software, translation and speech recognition programs, scheduling algorithms, and predictive models might all have different machine learning tools running in the background, but it is patently absurd to refer to them as a singular technology. We do not call everything containing copper wires “wiring.»
– R.H. Lossin, PhD. og J. Resnikoff, PhD., 2024 (2)

«An example of machine learning, generative ‘AI’ is neither artificial nor intelligent. Generative AI systems are trained on vast corpuses of data created by humans, and, despite objections to the contrary, will require human input for widespread adoption.

Mirroring the ‘ghost work’ of thousands of low paid workers often located in the Global South to accurately label data used to train the previous generation of machine learning systems, the existence of generative AI is premised on the indiscriminate usage of art, music, writing, and code produced by humans for training purposes. To create labels for a system that sought to detect toxicity in its ChatGPT model, for example, OpenAI sent tens of thousands of snippets of text to an outsourcing firm in Kenya who paid local workers to read and label harmful outputs.»
– Harry Law, 2023 (3)

Godejord’s 10 teser

ChatGPT og lignende tjenester er ikke kunnskapsressurser men statistiske modeller knyttet til språkgjenkjenning.
«Språkgjenkjenning» betyr her statistiske beregninger av hva brukeren antakelig mener med sin forespørsel, og statistiske beregninger av hvilken informasjon som muligens kan passe til forespørselen.
ChatGPT og lignende tjenester foretar ingen analyse eller faglig refleksjon knyttet til verken forespørsel eller generert svar.
ChatGPT og lignende tjenester gir kun svar på nivå 1, og selv der sees store svakheter.
ChatGPT og lignende tjenester presenterer det rene tøv som fakta, på en slik måte at man må kjenne fagområdet svært godt for å se alle feilene.
ChatGPT og lignende tjenester feiler (selvfølgelig) i alle oppgaver som inneholder praktisk arbeid i kombinasjon med faglig refleksjonsevne understøttet av relevante kilder.
ChatGPT og lignende tjenester klarer ikke (igjen selvfølgelig) å foreta refleksjon over egen læring.
Hverken ChatGPT, GPT-2 Output Detector Demo eller GPTZero er pålitelige verktøy for å avsløre ChatGPT-genererte tekster.
ChatGPT og lignende tjenester er ikke eksempler på KI.
ChatGPT og lignende tjenester er ikke en uoverkommelig trussel mot undervisning og læring.

Fortsatt store svakheter

Selv i desember 2023 viser ChatGPT de samme svakheten som mange fagfolk påpekte tidligere i 2023, og det denne språkmodellen rent faktisk kan gjøre er begrenset.

«It is important to keep in mind that while these models are designed to generate human-like text, they are not perfect, and their outputs should not be taken as truth without further validation. This is because the models are based on statistical probabilities and may generate text that is not accurate or relevant to the given context».

Sitatet over er fra Rohit Vincent, forsker ved Version 1, og han setter fingeren rett på det «ømme punkt» når det gjelder språkmodeller; «…the models are based on statistical probabilities and may generate text that is not accurate or relevant to the given context».

Disse modellene, enten de heter ChatGPT eller Bing Chat, foretar kun statistiske beregninger på den input de får fra en bruker og ser om det rent statistisk finnes noe i deres database (eller på internett) som kan tenkes å matche dette. Men systemene foretar absolutt ingen analyse av hva det konkret spørres etter og hva som rent konkret finnes av pålitelig og verifisert informasjon i deres databaser eller på internett.

ChatGPT og tilsvarende system er ikke eksempler på kunstig intelligens

Gjennom de ulike kapitlene i denne gjennomgangen har jeg flere steder benyttet betegnelsen «KI» om ChatGPT og lignende systemer. I første kapittel ba jeg ChatGPT presentere seg selv, og deretter definere KI. Men ut fra de testene jeg har beskrevet her, er det noe som tyder på at ChatGPT og de andre systemene jeg har testet oppfyller hele eller deler av definisjonen på KI?

ChatGPT og lignende system virker tilsynelatende å oppfylle punkt 6 om evne til å forstå naturlig språk, men «forstå» her er jo kun i betydningen statistiske beregninger av hva som sannsynligvis er forventet, basert på et sett med forhåndsdefinerte regler. Systemene forstår absolutt ingen ting av det vi spør om eller den informasjon systemene finner og presenterer.

Punkt 1 om evnen til å lære virker også, rent overfladisk, å være oppfylt. Men faktum er jo at «læringen» her er representert ved at mennesker legger inn ytterligere informasjonstekster i systemenes database, samt oppgraderer (om nødvendig) systemenes programkode slik at systemenes evne til å foreta statistiske beregninger av den økte mengden informasjon forbedres. Noen av disse systemene, slik som Copilot (Bing Chat), har tilgang til deler av Internett og har dermed en enorm «database» av tekstlig informasjon. Men systemene har ikke på egenhånd bestemt seg for å bruke Internett og ingen av disse systemene foretar noen som helst form for refleksjon over informasjonen de har tilgang til. Og «læringen» resulterer følgelig kun i at evnen til å foreta statistiske beregninger av mulige svar en bruker ønsker, øker i takt med databasens størrelse.

Og i hvor stor grad de øvrige punktene knyttet til de grunnleggende egenskaper og kriterier ChatGPT viste til i kapittel 1 er oppfylt, avhenger av i hvilken «leir» man befinner seg. Selv hører jeg ubetinget til den gruppen informasjonsteknologer, både nasjonalt og internasjonalt, som ikke anerkjenner at vi per nå har oppnådd system som kvalifiserer til betegnelsen Kunstig Intelligens.

ChatGPT, og tilsvarende system, sin evne til å gi svar er utelukkende et resultat av programmering utført av mennesker og ikke et kjennetegn på egen «tenkning» eller «intelligens». Disse systemene er programmert til å finne mønstre og assosiasjoner mellom ord og uttrykk basert på enorme mengder data. ChatGPT, og lignende system, er følgelig helt like de dataverktøy vi lenge har benytte til å klassifisere eller analysere store mengder data uten at disse dermed er betegnet som «kunstig intelligens».

Konklusjon

ChatGPT er først og fremst en «bullshit generator», slik professor Arvind Narayanan (2022) ved Princeton University påpekte (1), men dette og lignende system kan likevel i noen situasjoner være gode søkeverktøy og gode verktøy for en første skisse til en artikkel eller en oppgavebesvarelse.

Og ChatGPT, og lignende systemer, har løftet fagområde kunstig intelligens frem i lyset og inn i folks bevissthet. Og det var egentlig på tide, da dette er et ytterst spennende fagfelt.

Jeg er helt enig med Morten Irgens i at «problemet med hjemmeeksamener ikke fortjente alt bråket det fikk og er patetisk uvesentlig sammenlignet med mulighetene KI gir» og jeg kan også si meg enig i at akademias fokus på restriksjoner og mulige brudd på GDPR «…er et klassisk eksempel på over-compliance, og kan sammenliknes med å forby sykler i stedet for å påby hjelm» (Khrono, 30.12.2023)

Verken ChatGPT eller tilsvarende system er, slik jeg ser det, eksempler på «make and break» for undervisnings- og vurderingssituasjoner i høyere utdanning.

Refleksjonsspørsmål

At en del av det informasjonsteknologiske miljøet ikke anerkjenner ChatGPT og lignende system som KI, betyr ikke at det motsatt synspunkt er feil! 

Les gjennom følgende:

1. Hva er egentlig intelligens?

2. Definisjoner av KI

3. To debattinnlegg: Er prateroboten ChatGPT en klok samtalepartner eller papegøye? og Kunstig og menneskelig intelligens ligner mer enn Falkum og Lison hevder

Ut fra det du har lest over, samt det du har lest i denne bloggboken, hva er ditt syn på ChatGPT og lignende system? Er dette eksempler på KI? I så fall hvilken type KI er disse systemene eksempler på?

Leseliste

«Siste nytt» om ChatGPT (utvalg)

Videre arbeid

Både ChatGPT og Bing Chat vil bli jevnlig testet gjennom 2024 opp mot arbeidskrav i IKT og læringsstudiene og ORG5005 for å se om systemene blir bedre til å besvare denne type oppgaver.
Samtlige teoretiske arbeidskrav i IKT og læring 1 og 2 vil bli gjennomgått i løpet av våren 2024 for å styrke kravene til forankring i studentens egen yrkeshverdag, faglig forankring av egne refleksjoner og kravene til egenrefleksjon (metalæring). Per april 2024 er det særlig den teoretiske delen av AK2 i IKT1023 der studentbruken av ChatGPT og lignende system i utvikling av besvarelser til veiledning har vært mest utbredd, fra banal til noe mer avansert bruk, og som derfor vil måtte endres mest til neste studieår.
Testing av andre system enn de som er nevnt i denne fagressursen, så som Claude, vil bli utført gjennom 2024. Per 4. januar 2024 er jeg i gang med slik testing via Poe AI playground. (De ulike testene vil bli registrert og kommentert her)
ChatGPT, Bing Chat, og lignende system blir tatt inn i undervisningen i IKT og læringsstudiene, der dette passer. Foreløpig er det IKT1016 – Digital dannelse som har dette som fokus for første arbeidskrav.
Jeg har vurdert å ta inn problematikk knyttet til min undervisning i informasjonssikkerhet (IKT1013 og ORG5005), men siden ingen av disse systemene i seg selv representerer en ny trussel er jeg usikker på hva hensikten skulle være. Siden jeg tilhører den delen av det informasjonsteknologiske miljø som ikke anerkjenner at vi per nå har utviklet KI, er det også vanskelig å forelese om «KI-trusler». En helt annen ting er at såkalte «KI-systemer» er sårbare for angrep. Men digitale angrep mot selvkjørende biler eller ordinære biler med system tilknyttet Internett skiller seg ikke ut fra andre typer digitale angrep, selv om implikasjonene for selvkjørende biler kan bli svært alvorlig. Ei heller representerer de såkalte språkmodellene noe annet enn nok et sett med brukervennlige verktøy som f.eks. kan støtte klassiske sosiale manipuleringer med eller uten skadeprogram. Truslene i det digitale rom er stadig rettet mot oss som brukere av digitale medier, og det er stadig den enkelte borgers egen bevissthet som er nøkkelen til å avverge denne type angrep. Mediestøyen knyttet til fantasiene om at vi nå har utviklet Kunstig Intelligens endrer ikke disse enkle faktum.