«Generative AI doesn’t engage in any thinking. The modelling and algorithms update over time so that it can make better guesses. We can’t treat it like a calculator because it isn’t calculating. The process is called learning but isn’t truly learning as humans do. My sense is that the term ‘artificial intelligence’ is therefore somewhat misleading.»
– Jason M. Lodge, PhD, 2023 (1)
«Are these models understanding and reasoning in a general way, or are they doing what AI researcher Subbarao Kambhampati calls “approximate retrieval” — relying on patterns of text that are contained in the model’s training data?»
– Professor Melanie Mitchell, 2024 (2)
«Today our supposedly revolutionary advancements in artificial intelligence are indeed cause for both concern and optimism. Optimism because intelligence is the means by which we solve problems. Concern because we fear that the most popular and fashionable strain of A.I. — machine learning — will degrade our science and debase our ethics by incorporating into our technology a fundamentally flawed conception of language and knowledge.»
(…)
«The human mind is not, like ChatGPT and its ilk, a lumbering statistical engine for pattern matching, gorging on hundreds of terabytes of data and extrapolating the most likely conversational response or most probable answer to a scientific question. On the contrary, the human mind is a surprisingly efficient and even elegant system that operates with small amounts of information; it seeks not to infer brute correlations among data points but to create explanations.»
– Noam Chomsky, Ian Roberts and Jeffrey Watumull, 2023 (3)
«Chat GPT is, essentially, a super-duper search engine combined with some natural learning algorithms to join up the results. There is a huge amount of text in English online, and that feeds Chat GPT for both the answer to your question and how to express it.»
– Anthony Munnelly, 2023 (4)
![](https://site.nord.no/didaktiskebetraktninger/wp-content/uploads/sites/6/2023/12/linjer.jpg)
Innledning
Når oppgavene blir lange (i betydningen omfattende), og i tillegg kommer i form av en fem-punktsordre, ja da blir den kunstige intelligensen desto kortere. I de forrige kapitlene viser jeg til en del ulike tester, men 6. desember 2023 bestemte jeg meg for å ta for meg fem samtaleroboter og teste dem på første arbeidskrav i ORG5005 – Digital beredskap. Det jeg var interessert i å finne ut, var om utviklingen fra desember 2022 til desember 2023 hadde gjort disse verktøyene bedre til å løse oppgaver som krever mer enn bare gjengivelse.
Systemene og de svar de gav
- ChatGPT (OpenAI, ordinær gratisversjon 3.5)
- GPT UiO (basert på ChatGPT 3.5 turbo)
- Sikt KI-Chat (basert på ChatGPT 4 )
- Bing Chat (ordinær innebygget i Edge sidepanel)
- Jenni (gratisversjon)
Oppgaven (ORG5005, arbeidskrav 1)
De 5 verktøyene fikk følgende beskjed: «Skriv en akademisk besvarelse på følgende oppgave», og deretter fulgte oppgaveteksten (i form av en fem-punkts ordre) under i sin helhet:
ORDRE
1. Orientering om situasjonen
Hva vil et omfattende hybrid angrep, med utstrakt bruk av digitale angrepstyper, føre til for deg og din organisasjons evne til å utføre oppdrag i en krisesituasjon? Hva skjer med oppdragsløsningen vår når den digitale infrastrukturen forsvinner? Har alle de digitale støtteverktøyene vi omgir oss med gjort oss avhengige slik at vi ikke klarer oss uten? Hvordan kan din organisasjon øve for å være forberedt på å løse sitt/sine oppdrag i en situasjon med bortfall av digital infrastruktur? Hva skjer med deg som politileder når digital infrastruktur går ned i midt i et terrorangrep? Med deg som brannleder, med deg som paramedic, med deg som beredskapsleder i det private eller det offentlige?
Ut fra en tanke om at alle som jobber med beredskap må kunne lage/bidra/forstå/videreutvikle øvelser har MASIK et visst fokus nettopp på dette. Denne gangen er det du som skal prøve å lage et øvingsdirektiv for en øvelse for din enhet, med fokus på hybride angrep, der bortfall/forstyrrelser av digitale systemer har et særlig fokus.
Arbeidskravets læringsmål: Kunne lage/bidra/forstå/videreutvikle øvelser der hybride angrep og bortfall av digital infrastruktur har fokus. Øke egen bevissthet på de utfordringer som kan oppstå for egen del/ egen enhets oppdragsløsning ved bortfall av digital infrastruktur.
2. Oppdrag
Design et øvingsdirektiv med kommentarnotat, samt refleksjonsnotat, basert på scenarioet beskrevet under overskriften «Bakgrunn til oppgaven». Bruk dine erfaringer fra egen virksomhet og skreddersy direktivet slik at det dekker et øvelses/bevisstgjøringsbehov knyttet til digital beredskap (cyberangrep i kombinasjon med andre typer hybride angrep) som passer for din organisasjon.
3. Plan og utførelse
a) Lag et øvingsdirektiv for en øvelse for din organisasjon/ enhet med fokus på oppdragsløsning i en situasjon med hybride angrep, der bortfall av digitale tjenester er særlig fremtredende. Direktivet skal presentere øvelsens innhold, overordnet hensikt, mål og scenariotema, og beskrive planleggingsorganisasjonen og planprosessen. Milepæler, leveransefrister og rapporteringspunkter bør fremkomme. Scenarioet som presenteres som bakteppe for dette arbeidskravet er svært omfattende og har med omtrent alt som kan gå galt, samtidig. Å lage et øvingsdirektiv basert på hele scenarioet kan derfor være lite hensiktsmessig, så velg gjerne ut de deler som vil pass for din organisasjon.
b) Lag et kommentarnotat tilknyttet øvingsdirektivet med faglige referanser og begrunnelser for alle momenter/ valg du har beskrevet/ foretatt i direktivet.
c) I kommentarnotat legger du til et eget kapittel til slutt med tittel «Refleksjonsnotat», der du reflekterer over egen læringsprosess i forbindelse med arbeidskravet, jfr. «Retningslinjer for mappevurdering».
d) Direktiv (a) og kommentarnotat (b) med refleksjonskapittel (c) lastes opp her i Canvas til veiledning i form av ett PDF-dokument i tråd med frist gitt i fremdriftsplanen.
e) Besvarelsen skal ha forside med ditt navn, en kort innledning der du beskriver for hvilken organisasjon din øvelse er designet for, og klare overskrifter som skiller mellom øvingsdirektiv, kommentarnotat og refleksjonskapittelet. Og helt til slutt i besvarelsen settes opp litteraturliste ut fra APA-stilen
4. Administrasjon og forsyningstjeneste
I samme modulboks som denne oppgaven finner du digital føde i form av et hovedscenario/ situasjon du kan bruke som bakgrunn for din øvelse, eksempler på øvingsdirektiv (disse er kun eksempler og ikke ment som mal), samt annet fagstoff knyttet til oppgaven. Du finner også et dokument med tittel «Generell veiledning til arbeidskrav 1» som vil gi deg informasjon om hvordan en besvarelse på arbeidskravet kan utføres.
Kaffe, snus og andre fødevarer må hver enkelt holde selv.
5. Ledelse og samband
Fagansvarlig Per A. Godejord er tilgjengelig via meldingssystemet i Canvas, e-post eller via Canvasforum for spørsmål og kommentarer underveis. Når besvarelsene er levert vil fagansvarlig komme med veiledningskommentarer via innleveringssystemet i Canvas som forhåpentligvis vil være til støtte for videre utvikling av besvarelsen frem mot mappestenging.
ORDRE SLUTT
Konklusjon
Som en ser av resultatene, leverte samtligesamtaleroboter «svar» som alle stod til en god og solid F. Ett år med utvikling av disse verktøyene har ikke på noen måte gjort disse systemene mer intelligente enn de var i desember 2022 når det gjelder oppgaver utformet i tråd med de høyere nivå i Blooms taksonomi. Og selv om det ligger en rekke øvingsdirektiv og scenarioer om hybrid krigføring på nettet, klarte ingen av verktøyene ved hjelp av statistisk analyse av oppgaven gitt dem å finne frem til noe av dette.
Så hva gjør vi nå?
leseliste
- Bloom’s Taxonomy in the Interaction Between Artificial Intelligence and Human Learning
- Four lessons from ChatGPT: Challenges and opportunities for educators
- ChatGPT: Bullshit spewer or the end of traditional assessments in higher education? (PDF)
- Chatroboten er dårlegare til å løysa likningar enn ein gjengs ungdomsskulelev
- The trouble with Bloom’s taxonomy in an age of AI