«Generative AI doesn’t engage in any thinking. The modelling and algorithms update over time so that it can make better guesses. We can’t treat it like a calculator because it isn’t calculating. The process is called learning but isn’t truly learning as humans do. My sense is that the term ‘artificial intelligence’ is therefore somewhat misleading.»
– Jason M. Lodge, PhD, 2023 (1)
Innledning
Når oppgavene blir lange (i betydningen omfattende), og i tillegg kommer i form av en fem-punktsordre, ja da blir den kunstige intelligensen desto kortere. I de forrige kapitlene viser jeg til en del ulike tester, men 6. desember 2023 bestemte jeg meg for å ta for meg fem språkmodeller og teste dem på første arbeidskrav i ORG5005 – Digital beredskap. Det jeg var interessert i å finne ut, var om utviklingen fra desember 2022 til desember 2023 hadde gjort disse systemene bedre til å løse oppgaver som krever mer enn bare gjengivelse.
Systemene og de svar de gav
- ChatGPT (OpenAI, ordinær gratisversjon)
- GPT UiO (basert på ChatGPT 3.5 turbo)
- Sikt KI-Chat (basert på ChatGPT 4 )
- Bing Chat (ordinær innebygget i Edge sidepanel)
- Jenni (gratisversjon)
Oppgaven (ORG5005, arbeidskrav 1)
De 5 systemene fikk følgende beskjed: «Skriv en akademisk besvarelse på følgende oppgave», og deretter fulgte oppgaveteksten (i form av en fem-punkts ordre) under i sin helhet:
ORDRE
1. Orientering om situasjonen
Hva vil et omfattende hybrid angrep, med utstrakt bruk av digitale angrepstyper, føre til for deg og din organisasjons evne til å utføre oppdrag i en krisesituasjon? Hva skjer med oppdragsløsningen vår når den digitale infrastrukturen forsvinner? Har alle de digitale støtteverktøyene vi omgir oss med gjort oss avhengige slik at vi ikke klarer oss uten? Hvordan kan din organisasjon øve for å være forberedt på å løse sitt/sine oppdrag i en situasjon med bortfall av digital infrastruktur? Hva skjer med deg som politileder når digital infrastruktur går ned i midt i et terrorangrep? Med deg som brannleder, med deg som paramedic, med deg som beredskapsleder i det private eller det offentlige?
Ut fra en tanke om at alle som jobber med beredskap må kunne lage/bidra/forstå/videreutvikle øvelser har MASIK et visst fokus nettopp på dette. Denne gangen er det du som skal prøve å lage et øvingsdirektiv for en øvelse for din enhet, med fokus på hybride angrep, der bortfall/forstyrrelser av digitale systemer har et særlig fokus.
Arbeidskravets læringsmål: Kunne lage/bidra/forstå/videreutvikle øvelser der hybride angrep og bortfall av digital infrastruktur har fokus. Øke egen bevissthet på de utfordringer som kan oppstå for egen del/ egen enhets oppdragsløsning ved bortfall av digital infrastruktur.
2. Oppdrag
Design et øvingsdirektiv med kommentarnotat, samt refleksjonsnotat, basert på scenarioet beskrevet under overskriften «Bakgrunn til oppgaven». Bruk dine erfaringer fra egen virksomhet og skreddersy direktivet slik at det dekker et øvelses/bevisstgjøringsbehov knyttet til digital beredskap (cyberangrep i kombinasjon med andre typer hybride angrep) som passer for din organisasjon.
3. Plan og utførelse
a) Lag et øvingsdirektiv for en øvelse for din organisasjon/ enhet med fokus på oppdragsløsning i en situasjon med hybride angrep, der bortfall av digitale tjenester er særlig fremtredende. Direktivet skal presentere øvelsens innhold, overordnet hensikt, mål og scenariotema, og beskrive planleggingsorganisasjonen og planprosessen. Milepæler, leveransefrister og rapporteringspunkter bør fremkomme. Scenarioet som presenteres som bakteppe for dette arbeidskravet er svært omfattende og har med omtrent alt som kan gå galt, samtidig. Å lage et øvingsdirektiv basert på hele scenarioet kan derfor være lite hensiktsmessig, så velg gjerne ut de deler som vil pass for din organisasjon.
b) Lag et kommentarnotat tilknyttet øvingsdirektivet med faglige referanser og begrunnelser for alle momenter/ valg du har beskrevet/ foretatt i direktivet.
c) I kommentarnotat legger du til et eget kapittel til slutt med tittel «Refleksjonsnotat», der du reflekterer over egen læringsprosess i forbindelse med arbeidskravet, jfr. «Retningslinjer for mappevurdering».
d) Direktiv (a) og kommentarnotat (b) med refleksjonskapittel (c) lastes opp her i Canvas til veiledning i form av ett PDF-dokument i tråd med frist gitt i fremdriftsplanen.
e) Besvarelsen skal ha forside med ditt navn, en kort innledning der du beskriver for hvilken organisasjon din øvelse er designet for, og klare overskrifter som skiller mellom øvingsdirektiv, kommentarnotat og refleksjonskapittelet. Og helt til slutt i besvarelsen settes opp litteraturliste ut fra APA-stilen
4. Administrasjon og forsyningstjeneste
I samme modulboks som denne oppgaven finner du digital føde i form av et hovedscenario/ situasjon du kan bruke som bakgrunn for din øvelse, eksempler på øvingsdirektiv (disse er kun eksempler og ikke ment som mal), samt annet fagstoff knyttet til oppgaven. Du finner også et dokument med tittel «Generell veiledning til arbeidskrav 1» som vil gi deg informasjon om hvordan en besvarelse på arbeidskravet kan utføres.
Kaffe, snus og andre fødevarer må hver enkelt holde selv.
5. Ledelse og samband
Fagansvarlig Per A. Godejord er tilgjengelig via meldingssystemet i Canvas, e-post eller via Canvasforum for spørsmål og kommentarer underveis. Når besvarelsene er levert vil fagansvarlig komme med veiledningskommentarer via innleveringssystemet i Canvas som forhåpentligvis vil være til støtte for videre utvikling av besvarelsen frem mot mappestenging.
ORDRE SLUTT
Konklusjon
Som en ser av resultatene, leverte samtlige språkmodeller «svar» som alle stod til en god og solid F. Ett år med utvikling av språkmodeller har ikke på noen måte gjort disse systemene mer intelligente enn de var i desember 2022 når det gjelder oppgaver utformet i tråd med de høyere nivå i Blooms taksonomi. Og selv om det ligger en rekke øvingsdirektiv og scenarioer om hybrid krigføring på nettet, klarte ingen av systemene ved hjelp av statistisk analyse av oppgaven gitt dem å finne frem til noe av dette.
