ChatGPT Gratisversjon 4

«For generations we’ve told ourselves stories, using themes of magic and science, about inanimate things that we bring to life or imbue with power beyond human capacity. Is it any wonder that we can be primed to accept what marketers say about new tools and devices that supposedly reflect the abilities and benefits of artificial intelligence (AI)?»
– Michael Atleson, 2023 (1)

ChatGPT omni prøver seg på AK1 i ORG5005

I mai 2024 testet jeg OpenAIs nye gratisversjon GPT-4 omni på første arbeidskrav i ORG5005, som beskrevet i kapittel 5 «Når oppgavene blir lange…»

Svaret denne nye versjonen av ChatGPT kom frem med var ikke så mye bedre enn forsøket til forrige versjon:

Øvingsdirektiv

Navn: [Ditt navn]
Organisasjon: [Din organisasjon]
Dato: [Dato for innlevering]

1. Innledning

Dette øvingsdirektivet er designet for [din organisasjon] med fokus på håndtering av hybride angrep og bortfall av digitale tjenester. Øvelsen tar sikte på å styrke organisasjonens evne til å utføre sine oppdrag under krisesituasjoner som innebærer omfattende digitale og fysiske trusler.

2. Overordnet hensikt

Hensikten med øvelsen er å forberede [din organisasjon] på å håndtere en situasjon der digitale infrastrukturer svikter på grunn av et hybrid angrep, og samtidig sikre at organisasjonen kan opprettholde sine kjerneoppgaver.

3. Mål

  • Forbedre evnen til å håndtere oppdragsløsning under bortfall av digitale tjenester.
  • Øke bevisstheten om sårbarheter knyttet til digitale angrep.
  • Evaluere og forbedre beredskapsplaner og prosedyrer.
  • Styrke kommunikasjon og samarbeid internt i organisasjonen og med eksterne aktører.

4. Scenario

Øvelsen baserer seg på et omfattende hybrid angrep hvor:

  • Viktige IT-systemer blir kompromittert, og tilgang til nettverk og databaser er tapt.
  • Kommunikasjonskanaler er ustabile eller utilgjengelige.
  • Fysiske angrep og sabotasjeaktiviteter parallelt utfordrer organisasjonens ressurser.
  • Desinformasjon og falske nyheter skaper kaos og forvirring i befolkningen.

5. Planleggingsorganisasjon og planprosess

Planleggingsgruppen består av representanter fra alle relevante avdelinger i organisasjonen. Gruppen ledes av en øvingsleder som er ansvarlig for koordineringen av øvelsen. Planleggingsprosessen inkluderer:

  • Utvikling av detaljert øvingsscenario.
  • Definering av spesifikke mål for hver deltakergruppe.
  • Planlegging av logistikk og ressursbehov.
  • Utarbeidelse av evalueringskriterier.

6. Milepæler og leveransefrister

  • Uke 1: Oppstartsmøte med planleggingsgruppen.
  • Uke 2: Ferdigstillelse av detaljert scenario.
  • Uke 3: Gjennomgang av logistikk og ressursbehov.
  • Uke 4: Utarbeidelse av evalueringskriterier.
  • Uke 5: Endelig gjennomgang og justeringer.
  • Uke 6: Gjennomføring av øvelsen.
  • Uke 7: Evaluering og rapportering.

7. Rapportering

Rapportering inkluderer en detaljert analyse av øvelsen, med vekt på identifiserte styrker og svakheter, samt anbefalinger for forbedring av beredskapsplaner og prosedyrer.

[Min kommentar: Som vi ser produserer systemet ikke et øvingsdirektiv, men en gjengivelse av ordreformatet i oppgaveteksten. Riktignok finnes det mange måter å sette opp et øvingsdirektiv på, men dette er ikke noe som kan brukes. Her vil studenten ha mer nytte av eksemplene på øvingsdirektiv, eksempelet på studentbesvarelse og det generelle veiledningsdokumentet som ligger i Canvasrommet.]

Kommentarnotat

Faglige begrunnelser

  1. Scenario og målsetting: Valg av scenario er basert på en realistisk trusselvurdering, der hybride angrep utgjør en betydelig risiko for kritisk infrastruktur. Målet er å teste organisasjonens evne til å operere uten digitale tjenester, noe som er essensielt for å sikre kontinuitet i krisesituasjoner.
  2. Planleggingsorganisasjon: Involvering av representanter fra ulike avdelinger sikrer en helhetlig tilnærming og at alle aspekter av organisasjonens respons blir dekket. Dette inkluderer IT-avdelingen, operative enheter, kommunikasjonsteam og ledelsen.
  3. Milepæler og leveransefrister: Tidslinjen er satt opp for å sikre en grundig og systematisk forberedelse, som gir rom for justeringer og forbedringer underveis. Dette bidrar til en vellykket gjennomføring av øvelsen.
  4. Evaluering: Evaluering etter øvelsen er kritisk for å lære av erfaringene og forbedre fremtidige beredskapsplaner. Evalueringskriteriene er utarbeidet for å gi en klar vurdering av prestasjonen under øvelsen.

[Min kommentar: Dette er ikke et kommentarnotat som oppfyller oppgavens krav. Det er rent faktisk ikke et kommentarnotat overhode.]

Refleksjonsnotat

Arbeidet med dette øvingsdirektivet har økt min bevissthet om de komplekse utfordringene som kan oppstå ved bortfall av digital infrastruktur. Jeg har fått en dypere forståelse av hvor avhengige vi er av digitale systemer, og hvor viktig det er å ha robuste beredskapsplaner som inkluderer manuelle prosedyrer. Gjennom denne prosessen har jeg også innsett betydningen av tverrfaglig samarbeid og god kommunikasjon for å håndtere krisesituasjoner effektivt.

[Min kommentar: Dette er ikke et refleksjonsnotat, men en «flat» gjenngivelse av ord og setninger fra systemets datasett.]

Litteraturliste

  • Alexander, D. E. (2013). Principles of Emergency Planning and Management. Dunedin Academic Press.
  • Boin, A., & McConnell, A. (2007). Preparing for Critical Infrastructure Breakdowns: The Limits of Crisis Management and the Need for Resilience. Journal of Contingencies and Crisis Management, 15(1), 50-59.
  • Schneier, B. (2015). Data and Goliath: The Hidden Battles to Collect Your Data and Control Your World. W. W. Norton & Company.
  • Waller, M. A. (2015). Cyber Resilience in Critical Infrastructure: Preparing for and Responding to Cyber Threats. Springer.

[Min kommentar: Litteraturlisten er ikke dum, men det er synd å si at den er veldig relevant for oppgaven.]

[Dokumentet lastes opp som en PDF til Canvas i tråd med frist gitt i fremdriftsplanen.]

[Min kommentar: Det ovenforstående er en kopi fra oppgaveteksten og har selvsagt ingen ting å gjøre i en besvarelse.]

Konklusjon

ChatGPT 4o sitt forsøk på besvarelse av første arbeidskrav i ORG5005 står til en god og solid F.

ChatGPT omni prøver seg på et etternavn

Hvis vi kan tenke oss at prateroboter kan bruke sine statistiske beregninger på å søke effektivt gjennom konkret informasjon offentlig tilgjengelig på f.eks. internett, så burde spørsmål om helt konkrete ting frembringe korrekt informasjon. Det er jo gjerne den lynraske beregningen av store mengder tekstdata som kan være tidsbesparende bruk av denne type digitale verktøy.

Så det å spørre om «How many have the surname Godejord in Norway» burde kunne gi et helt konkret og korrekt resultat. Resultatet ble derimot følgende:

There are currently 11 people with the surname Godejord in Norway. This is based on the latest available data from Statistisk sentralbyrå (SSB), the Norwegian statistics bureau​ (Norway DNA Norgesprosjektet)​.

Denne versjonen av ChatGPT viser hvilke kilder den har besøkt og for dette spørsmålet hadde den sjekket 4 kilder:

Klikker vi på første kilden (Bing) kommer vi ut i søkemotoren og det første som møter oss da er følgende:

Antallet 47 er unektelig nokså langt unna tallet 11 som ChatGPT konkluderer med. Går vi til Statistisk Sentralbyrå sin side for søk etter etternavn, får vi følgende resultat:

Når ChatGPT 4 foretar søk går den etter tekstlig informasjon som ligger «opp i dagen» og systemet går ikke inn i f.eks. SSBs søkeside og legger inn «Godejord». Hvorfor verktøyet endte opp med tallet 11 når det første «opp i dagen» resultatet fra Bing var 47, er ikke godt å si.

Helt klart er det at verktøyets påstand om at svaret var «…based on the latest available data from Statistisk sentralbyrå (SSB)» ikke medfører riktighet.

Når en ikke kan «titte under panseret» er det ikke lett å finne ut hvordan ChatGPT 4 er programmert til å finne frem til informasjon. Men kanskje ChatGPT 4 kan svare på dette selv?

Når jeg søker etter informasjon for å svare på spørsmål, bruker jeg en strukturert prosess for å finne pålitelige og relevante kilder. Her er en generell oversikt over hvordan jeg gjør det:

  1. Forstå Spørsmålet: Først sørger jeg for å forstå spørsmålet eller emnet godt. Dette innebærer å identifisere nøkkelord og relevante temaer.
  2. Søk på Nettet: Jeg bruker søkemotorer til å finne informasjon ved å skrive inn relevante nøkkelord og fraser. Jeg bruker gjerne spesifikke søkefraser som inkluderer «site:», «filetype:», eller andre spesifikke operatorer for å finne mer presise resultater.
  3. Evaluere Kilder: Jeg vurderer kildene jeg finner basert på deres pålitelighet, aktualitet, og relevans. Pålitelige kilder kan inkludere offisielle nettsteder, akademiske publikasjoner, anerkjente nyhetsorganisasjoner, og andre velrenommerte institusjoner.
  4. Samle Informasjon: Jeg samler informasjon fra flere kilder for å få et helhetlig bilde. Dette inkluderer å lese gjennom artikler, rapporter, og andre dokumenter.
  5. Syntetisere Svaret: Jeg kombinerer informasjonen fra de forskjellige kildene til et konsist og sammenhengende svar. Jeg sørger for at informasjonen er korrekt og relevant for spørsmålet.
  6. Sitering og Kildehenvisning: Jeg sørger for å sitere kildene jeg har brukt på en måte som gjør det enkelt for brukeren å verifisere informasjonen. Dette inkluderer ofte direkte lenker til de originale kildene.

For eksempel, da du spurte om antall personer med etternavnet Godejord i Norge, brukte jeg SSB (Statistisk sentralbyrå) sin nettside for å finne den relevante informasjonen. Jeg søkte spesifikt etter «hvor mange har etternavnet Godejord i Norge site:ssb.no» for å finne den mest nøyaktige og oppdaterte informasjonen.

Dette høres jo bra ut, men da blir det jo et enda større mysterium hvordan det korrekte tallet 54 kan endte opp som 11. Skjønt egentlig er det ikke noe mysterium; for det overforstående er ikke konkret informasjon om hvordan ChatGPT fungerer, men en statistisk beregning av hvilke bokstaver som samlet kan gi et svar som statistisk sett sannsynligvis er forventet av brukeren.

Det er åpenbart at ChatGPT 4 ikke forstår spørsmålet, søket virker å ha vært ytterst enkelt, kildene er ikke på noen måte «evaluert» og «kombinasjonen av kildene» har på ingen måte gitt korrekt informasjon.

Et par uker etter overforstående test, prøvde jeg med med følgende «promt»:

Meg: Antall personer i Norge med etternavnet Godejord

ChatGPT: I Norge er det omtrent 5 personer som har etternavnet Godejord. Dette tallet er basert på data fra Statistisk sentralbyrå (SSB) og Norge.no, som gir en oversikt over antall personer med ulike etternavn i landet​ (SSB)​​ (Norge.no)​.

Akkurat ja.

ChatGPT 4 benytter stadig Bing som søkeverktøy, men ingen av de opplistede kilder, inklusive Bings oversikt, gir noen indikasjon på hvor tallet 5 kommer fra. Men resultatet må jo sies å hentyde til en alarmerende hurtig nedgang i antall personer med etternavnet Godejord. Er rødlisting neste?

Heldigvis viser Copilot, via et automatiske «sidepanel» i Bing, at det er 103.031 i hele verden som heter Godejord…

Men klikker en på lenken til denne oppmuntrende påstanden kommer en til en side som gir informasjon om tjenesten Forebears, og søker en etter Godejord her så kommer tallet 47 opp. Det er jo selvsagt noe bedre enn 5, men fortsatt ikke korrekt og milevis unna påstanden om at det totale antallet Godejorder i verden er 103.031.

Så i dette eksempelet har vi altså, i følge nasjonale og internasjonale KI-entusiaster, hele to kunstige intelligenser (ChatGPT og Copilot som del av Bing) i sving med å sjekke spørsmålet om antall personer med etternavn Godejord. Og likevel blir svaret lysår unna det korrekte.

Det er så en minnes vitsen om «Hvor mange professorer trengs det for å skifte en lyspære?»

Soldatens lille røde bok

Som avslutning på testingen av samtaleroboter, lot jeg igjen ChatGPT forsøke seg på Lasse Efskind‘s Soldatens lille røde bok, PAX forlag, 1970. Den tidligere versjonen gjorde det ikke særlig bra, så vil ChatGPT 4 gjøre det bedre?

Meg: Skriv en stil om boken «Soldatens lille røde bok». dens betydning for ungdom i førstegangstjeneste og forfatterens plass i Norge

ChatGPT: «Soldatens lille røde bok»: En Veiviser for Ungdom i Førstegangstjenesten

Introduksjon
«Soldatens lille røde bok» er en ikonisk bok som har fått en sentral plass i norsk militær kultur. Denne boken, som i utgangspunktet ble distribuert til ungdom i førstegangstjeneste, har ikke bare vært en praktisk håndbok for nye soldater, men også en guide til hvordan man navigerer i en utfordrende og ukjent verden. Gjennom sin enkle og direkte språkdrakt, har boken klart å nå ut til mange generasjoner av norske soldater, og har dermed bidratt til å forme deres erfaringer i militæret.

Bokens Betydning for Ungdom i Førstegangstjenesten
For ungdom som møter opp til førstegangstjeneste, kan overgangen fra sivilt liv til en militær hverdag være både krevende og overveldende. «Soldatens lille røde bok» spiller en viktig rolle i denne overgangen ved å tilby en lettfattelig innføring i de grunnleggende prinsippene og forventningene som følger med det å være soldat. Den dekker alt fra disiplin og respekt, til praktiske ferdigheter som våpenbruk og feltarbeid.

En av bokens største styrker er dens fokus på soldatens ansvar, både overfor seg selv og sine medsoldater. Dette ansvaret strekker seg ut over det å bare følge ordrer; det handler om å forstå sin rolle som en del av en større enhet, og om å bidra til fellesskapet. Dette er spesielt viktig for ungdom som for første gang står overfor et slikt ansvar, og boken gir dem en solid grunnmur av kunnskap og holdninger å bygge videre på.

Videre fungerer boken som en moralsk kompass. Den veileder unge soldater i hvordan de skal oppføre seg både i kamp og i hverdagen. Den legger vekt på verdier som ære, mot, og kameratskap – verdier som er essensielle for å kunne takle de utfordringene som militærtjenesten bringer. For mange ungdommer blir disse verdiene ikke bare noe de følger under tjenesten, men også prinsipper de tar med seg videre i livet.

Forfatterens Plass i Norge
Forfatteren av «Soldatens lille røde bok», som er en samling av bidrag fra flere militære eksperter og ledere, har en viktig plass i norsk kultur og historie. Boken ble til i en tid da det norske forsvaret hadde behov for å standardisere og effektivisere opplæringen av soldater, og den reflekterer tidens militære og politiske klima.

Bidragsyterne til boken, som ofte har bakgrunn fra Forsvaret, har ikke bare skapt et verktøy for opplæring, men også et kulturelt dokument som speiler verdiene og holdningene i det norske samfunnet. Boken har blitt en del av den kollektive norske militærhistorien, og den brukes fortsatt som et pedagogisk redskap i dag.

Forfatterens anonymitet i kombinasjon med bokens enkle og nøkterne utforming understreker et sentralt aspekt ved norsk kultur – det kollektive fremfor det individuelle. I stedet for å fremheve enkeltpersoners innsats, ligger bokens suksess i at den har blitt et felles eide dokument som tilhører alle soldater som har passert gjennom den norske førstegangstjenesten.

Konklusjon
«Soldatens lille røde bok» har hatt en varig innflytelse på unge mennesker i Norge som har gått gjennom førstegangstjenesten. Dens rolle som en veiviser i både praktiske og moralske spørsmål har gjort den til en uvurderlig ressurs for soldater, og den står som et testament til de verdiene som Forsvaret ønsker å fremme. Gjennom denne boken har forfatterne ikke bare hjulpet generasjoner av norske soldater med å tilpasse seg en ny hverdag, men de har også bidratt til å forme den norske militære identiteten.

Akkurat ja. Samtaleroboten kjører i vei med noe som muligens kunne passe på den klassiske Soldaten i felt, men er milevis unna boken mitt spørsmål eksplisitt viser til.

Igjen ser vi hvor lite egnet store språkmodeller er til denne type «faktabruk». Å kalle ChatGPT og lignende samtaleroboter for KI er å fullstendig utvanne både begrepet og forskningsfeltet.

<Tilbake