NorskGPT er en norskutviklet samtalerobot, som benytter flere store språkmodeller, inkludert NorskGPT-modellen, som er trent på norske data. I tillegg gir den tilgang til et sett med andre modeller, slik at brukeren kan velge.
Akkurat som ved tidligere tester, beskrevet i kapittel 6 – «Når oppgavene blir lange…», ble verktøyet bedt om å skrive en akademisk besvarelse på oppgaveteksten til AK1 i ORG5005.
Jeg valgte å først teste verktøyet i modellen det automatisk valgte for meg, som var GPT4o, deretter valgte jeg Llama 4scout og så til slutt NorskGPT sin egen modell. Deretter testet jeg billedgenereringsmodellen Stable Diffusion 3.5.
Resultatene var som følger:
GPT4o – modellen
Øvingsdirektiv for krisehåndtering ved hybrid angrep med bortfall av digital infrastruktur
Forberedelse for: Politiet
Avgitt av: [Ditt navn]
Dato: [Dato]
Innleveringsfrist: [Frist for innlevering]
Innledning
Denne øvelsen er designet for Politiet og har fokus på hybride angrep med særlig vekt på bortfall av digital infrastruktur. Øvelsen vil bidra til å synliggjøre og adresserer utfordringer som oppstår når digitale tjenester og systemer forsvinner under krisesituasjoner. Det er viktig å skape bevissthet og ferdigheter som er nødvendige for effektiv oppdragsløsning i slike situasjoner.
1. Øvingsdirektiv
1.1. Overordnet hensikt
Øvelsen har som hensikt å forberede Politiet på å håndtere en situasjon der digitale infrastrukturer svikter på grunn av hybride angrep. Dette inkluderer å forbedre evnen til å tilpasse seg og fortsatt utføre kritiske oppdrag uten tilgang til de vanlige digitale verktøyene.
1.2. Mål
- Primært mål: Øke kompetanse i håndtering av krisesituasjoner med bortfall av digital infrastruktur.
- Sekundært mål: Identifisere sårbarheter og forbedringsområder i organisasjonens beredskapsplaner.
1.3. Scenariotema
Scenarioet baserer seg på et hybrid angrep hvor både fysisk og digitale aspekter er truet. Spesifikt vil scenarioet involvere:
- Et omfattende cyberangrep som fører til nedfall av alle digitale kommunikasjonsverktøy og databaser.
- Parallelle fysiske angrep på nøkkelinfrastruktur som skaper kaos og begrenset tilgjengelighet til vanlige ressurskanaler.
1.4. Planleggingsorganisasjonen og planprosessen
Planleggingskomiteen for denne øvelsen vil bestå av følgende nøkkelpersoner:
- Øvelseskoordinator
- IT-sikkerhetsekspert
- Representanter fra operativ enhet
- Kommunikasjonsansvarlig
Disse medlemmene vil møtes ukentlig i forkant av øvelsen for å sikre fullstendig beredskap og tillatelse.
2. Milepæler, leveransefrister og rapporteringspunkter
| Milepæl | Frist | Ansvarlig |
| Initial planleggingsmøte | [Dato] | Øvelseskoordinator |
| Utkast til scenario | [Frist] | IT-sikkerhetsekspert |
| Gjennomgang av sikkerhetsprosedyrer | [Frist] | Operativ enhet |
| Fullstendig øvingsplan | [Frist] | Kommunikasjonsansvarlig |
| Øvingsdag | [Dato] | Alle involverte |
| Etterøvelsesrapport | [Frist] | Øvelseskoordinator |
KOMMENTAR: Dette er ikke et øvingsdirektiv.
3. Kommentarnotat
3.1. Faglige referanser
For å begrunne elementer i direktivet har vi benyttet forskningsbaserte metoder og teorier fra fagfeltet krisehåndtering og beredskap. Blant annet er følgende referanser inkludert:
- Smith, J., et al. (2020). Crisis management in the digital age. Journal of Emergency Management, 35(4), 23-45.
- Holen, M., (2018). Practical approaches to hybrid warfare. International Security Review, 12(2), 113-135.
Kommentar: Dette er ikke en gang en skisse til et kommentarnotat
3.2. Begrunnelser for momenter/valg
Øvelsens innhold er nøye utformet for å speile realistiske utfordringer ved bortfall av digital infrastruktur. Operasjonelle scenarier er valgt for å belyse teknologiske avhengighet hos moderne politiarbeid, og å initiere diskusjoner om alternative metoder for oppdragsløsninger.
4. Refleksjonsnotat
4.1. Refleksjon over egen læringsprosess
Arbeidet med å utvikle dette øvingsdirektivet har gitt meg innsikt i kompleksiteten av hybridangrep og sårbarheten til vår digitale infrastruktur. Jeg har lært verdien av å planlegge for scenarioer uten tilgang til vanlige verktøy og kommunikasjon. Dette har også styrket forståelsen min for nødvendigheten av kontinuerlig revisjon av våre beredskapsplaner og opplæring.
Kommentar: Dette er ikke et refleksjonsnotat. Selv som skisse er det ubrukelig
Forside med navn, innledning, øvingsdirektiv, kommentarnotat og refleksjonskapittel er inkludert
Litteraturliste
Smith, J., et al. (2020). Crisis management in the digital age. Journal of Emergency Management, 35(4), 23-45.
Holen, M., (2018). Practical approaches to hybrid warfare. International Security Review, 12(2), 113-135
Kommentar: Disse to litteraturhenvisningene er ikke gjenfinnbar, verken ved søk i Goole eller Google Scholar. Mens det finnes et tidsskrift med navnet Journal of Emergency Management (det finnes faktisk mer enn ett), så dukker ikke International Security Review opp i noen søk.
Llama 4scout – modellen
**Forside**
Navn: [Ditt navn]
Organisasjon: [Din organisasjon]
**Innledning**
Denne besvarelsen er utarbeidet for [din organisasjon], som er en offentlig enhet ansvarlig for [kort beskrivelse av organisasjonens ansvar]. Øvelsen som presenteres i dette dokumentet er designet for å teste og forbedre organisasjonens evne til å håndtere hybride angrep, med særlig fokus på bortfall av digital infrastruktur.
**Øvingsdirektiv**
**Tittel:** «Hybrid Angrep – Bortfall av Digital Infrastruktur»
**Hensikt:** Øvelsens overordnede hensikt er å teste og forbedre [din organisasjon] sin evne til å løse oppdrag i en situasjon med hybride angrep, hvor bortfall av digitale tjenester er en sentral faktor.
**Mål:**
1. Teste organisasjonens evne til å kommunisere og koordinere uten bruk av digitale verktøy.
2. Evaluere organisasjonens beredskap og respons på hybride angrep.
3. Identifisere svakheter og forbedringsområder i organisasjonens krisehåndtering.
**Scenariotema:** Et omfattende hybrid angrep rammer Norge, med fokus på digitale angrep som fører til bortfall av kritisk infrastruktur, inkludert kommunikasjons- og informasjonssystemer.
**Planleggingsorganisasjon og planprosess:**
– Øvelsen planlegges av en tverrfaglig gruppe bestående av representanter fra [din organisasjon] og relevante eksterne aktører.
– Planprosessen inkluderer identifisering av mål og krav, utforming av scenario, samt utvikling av øvelsesscript og evalueringsplaner.
**Milepæler og leveransefrister:**
– Utkast til øvelsesscript: [dato]
– Ferdig øvelsesscript: [dato]
– Øvelse gjennomføres: [dato]
– Evalueringsrapport: [dato]
**Kommentarnotat**
**Innledning:** Kommentarnotatet gir en faglig begrunnelse for valg og beslutninger tatt i forbindelse med utarbeidelsen av øvingsdirektivet.
**Valg av Scenariotema:** Valget av et omfattende hybrid angrep som scenariotema er begrunnet i den økte trusselbildet Norge står overfor. Hybride angrep kombinerer ulike typer angrep, inkludert digitale angrep, som kan føre til omfattende konsekvenser for samfunnets kritiske infrastruktur.
**Fokus på Bortfall av Digital Infrastruktur:** Bortfall av digital infrastruktur er et sentralt element i øvelsen, da dette er en sårbarhet som kan ha store konsekvenser for både offentlig og privat sektor. Det å teste organisasjonens evne til å fungere uten digitale verktøy er derfor av stor viktighet.
**Referanser:**
– NOU 2020: 10, «Et trygt samfunn – innbyggernes sikkerhet»
– DSB, «Risikoanalyse 2020»
**Refleksjonsnotat**
Gjennom arbeidet med dette øvingsdirektivet har jeg fått en dypere forståelse for de utfordringer [din organisasjon] kan møte i en krisesituasjon med hybride angrep. Øvelsen vil bidra til å øke vår beredskap og evne til å håndtere slike situasjoner. Arbeidet har også gjort meg mer bevisst på viktigheten av å ha robuste planer og prosedyrer på plass for å håndtere bortfall av digital infrastruktur.
**Litteraturliste (APA-stil)**
DSB. (2020). Risikoanalyse 2020.
NOU 2020: 10. (2020). Et trygt samfunn – innbyggernes sikkerhet.
[Andre relevante kilder]
Kommentar: Her er absolutt alt fullstendig ubrukelig.
NorskGPT sin modell
Din besvarelse er klar. Du har fullført oppgaven med å lage et øvingsdirektiv med kommentarnotat og refleksjonskapittel. Besvarelsen din er i tråd med de gitte retningslinjene og er tydelig og godt strukturert. Du har lagt til en forside med ditt navn og en kort innledning som forklarer hvilken organisasjon øvelsen din er designet for. Besvarelsen din inkluderer også en litteraturliste ut fra APA-stilen.
Du har også tatt hensyn til å bruke fagstoffet som er tilgjengelig i modulboksen og har inkludert det i øvingsdirektivet ditt. Øvingsdirektivet ditt har en tydelig struktur og fokuserer på oppdragsløsningen i en situasjon med hybride angrep og bortfall av digitale tjenester. Kommentarnotatet ditt inkluderer faglige referanser og begrunnelser for alle valgene som er gjort i øvingsdirektivet. Refleksjonskapittelet ditt legger til en personlig perspektiv på læringsprosessen din i forbindelse med arbeidskravet.
Basert på denne vurderingen er jeg fornøyd med kvaliteten på besvarelsen din og tror at den vil være nyttig for å øve og lære om oppdragsløsning i en situasjon med hybride angrep og bortfall av digitale tjenester. Jeg anbefaler at du fortsetter å jobbe med lignende oppgaver og utvikle ferdighetene dine innen beredskapssektoren.
Hvis du har noen spørsmål eller trenger ytterligere veiledning, er du velkommen til å kontakte meg via meldingssystemet i Canvas,
Kommentar: Dette er jo et godt eksempel på at bare fordi man kombinerer store språkmodeller med enorme datasett, pakket inn i et samtale-grensesnitt, så får man ikke plutselig et resonerende eksempel på KI. Her har de statistiske beregningen havnet langt ute på jordet.
Stable Diffusion 3.5 Large lager bilder
Siden NorskGPT også har inkluder en modell for billedgenerering – Stable Diffusion 3.5 Large -, testet jeg denne delen av verktøyet med forespørsler knyttet til ORG5005-Digital beredskap. Kan verktøyet lage et bilde av et øvingsdirektiv eller av en student ved MASIK-emnet ORG5005?
Først ga jeg følgende oppgave «Lag et bilde av et øvingsdirektiv med fokus på hybrid krigføring».
Resultatet ble som følger:
Deretter prøvde jeg med forespørselen «Lag et bilde av en student som studerer masteremnet digital beredskap. Studenten er offiser».
Resultatet:
Vel, vel. Men siden det sies å være viktige med skikkelig promting prøver vi igjen; «Lag et bilde av en offiser i den norske Heimevernet som også er masterstudent ved ORG5005-Digital beredskap».
Resultatet:
Det er jo synd å si at dette er særlig imponerende, men la oss se om de statistiske beregningene blir noe bedre når forespørselen komme på engelsk og er noe mer utfyllende: «Create an image showcasing a Norwegian Navy officer employed in the Cyber Defense unit, depicted as a student enrolled in a master’s program in Digital Emergency Preparedness. The individual should be wearing an authentic Norwegian naval uniform, working on an advanced computer, and the image must clearly convey their role as a master’s student engaged in a task related to the field of Digital Emergency Preparedness».
Ok, la oss se om en kort beskjed om at overforstående bilde ikke var helt korrekt kan føre til bedre resultat. Jeg la inn følgende: «This is not a person in a Norwegian uniform! Try again!»
Og Stable Diffusion prøvde igjen:
Konklusjon
Igjen ser vi at en samtalerobot ikke klarer å komme frem til gode og konkrete svar som kan brukes til noe annet enn en første grovskisse, og der videre utvikling vil avhenge av studentens vilje og evne til å lese pensum, ikke verktøybruken i seg selv.
Og når NorskGPT sin egen modell får beskjed om «Skriv en akademisk besvarelse på følgende oppgave», så produserer den ikke en skisse til besvarelse, men en skisse til en slags veiledningsrespons. De statistiske beregningene ser her ut til å ha tolket at forespørselen gjaldt å produsere en kommentar på en students besvarelse.
Og som vi ser av billedtestene, så mangler det også mye på den kunstneriske intelligensen.
