{"id":4664,"date":"2024-09-17T10:00:38","date_gmt":"2024-09-17T08:00:38","guid":{"rendered":"https:\/\/site.nord.no\/didaktiskebetraktninger\/?page_id=4664"},"modified":"2025-01-02T17:16:09","modified_gmt":"2025-01-02T16:16:09","slug":"openai-sin-o1","status":"publish","type":"page","link":"https:\/\/site.nord.no\/didaktiskebetraktninger\/openai-sin-o1\/","title":{"rendered":"OpenAI sin GPT o1 Preview"},"content":{"rendered":"\n

«o1 is still flawed, still limited, and it still seem more impressive on first use than it does after you spend more time with it<\/em>.\u00bb 
– Sam Altman, 2024 (1<\/a>)<\/p>\n\n\n\n

«It’s not AGI<\/a>, or even close<\/em>.\u00bb
– Professor Gary Marcus, 2024 (2<\/a>)<\/p>\n\n\n\n

«Men det m\u00e5 ikke forveksles med at modellen kan tenke<\/em>.\u00bb
– Professor Morten Goodwin, 2024 (3<\/a>)<\/p>\n\n\n\n

«The o1-preview model still hallucinates non-existing libraries and functions for me, and is quickly wrong about facts that aren’t well-represented on the web. It’s the usual string of «You’re absolutely correct, and I apologize for the oversight in my previous response. [Let me make another guess.]<\/em>. While the reasoning may have been improved, this doesn’t solve the problem of the model having no way to assess if what it conjures up from its weights is factual or not<\/em>.\u00bb
– layer8, 2024 (4<\/a>)<\/p>\n\n\n\n

«The o1 model doesn\u2019t \u201creason,\u201d at least not in the \u201chuman\u201d sense of the word. The model still doesn\u2019t know what it\u2019s saying<\/em>.\u00bb
– Javier Pastor, 2024 (5<\/a>)<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Innledning<\/h3>\n\n\n\n

I l\u00f8pet av h\u00f8sten 2024 kom nyheten om at OpenAI hadde videreutviklet ChatGPT-konseptet til et verkt\u00f8y som er enda kraftigere og som foretar noe som kan betegnes som resonering<\/a>. Verkt\u00f8yet blir kalt o1<\/a> (tidligere kalt Strawberry<\/em>).<\/p>\n\n\n\n

OpenAI selv beskriver verkt\u00f8yet som nyttig dersom \u00ab…you\u2019re tackling complex problems in science, coding, math, and similar fields. For example, o1 can be used by healthcare researchers to annotate cell sequencing data, by physicists to generate complicated mathematical formulas needed for quantum optics, and by developers in all fields to build and execute multi-step workflows<\/em>\u00bb.<\/p>\n\n\n\n

I nettartikkelen «Vi introduserer OpenAI o1: Et sprang i AIs resonneringsevner for avansert probleml\u00f8sning<\/a>\u00bb presenteres verkt\u00f8yet blant annet slik:<\/p>\n\n\n\n

«OpenAI’s ny modell, \u00c5penAI o1 eller Strawberry, representerer et betydelig fremskritt innen Kunstig intelligens. Den bygger p\u00e5 arven fra tidligere modeller, slik som OpenAIs GPT-serie, og introduserer forbedrede resonneringsevner som utdyper probleml\u00f8sning p\u00e5 tvers av ulike felt, som vitenskap, koding og matematikk. I motsetning til forgjengerne, som f\u00f8rst og fremst utmerket seg med \u00e5 behandle og generere tekst, kan o1-modellen unders\u00f8ke komplekse utfordringer dypere<\/em>.\u00bb<\/p>\n\n\n\n

Videre beskrives det at «OpenAI o1-modellen skiller seg ut fordi dens avanserte design forbedrer evnen til \u00e5 h\u00e5ndtere komplekse problemer innen naturfag, matematikk og koding betydelig. Bygget p\u00e5 utviklingen gjort av tidligere AI-gjennombrudd, bruker o1-modellen en blanding av forsterkning l\u00e6ring og en metode kalt tankekjede behandling. Denne tiln\u00e6rmingen lar den tenke gjennom problemer trinn for trinn, omtrent som mennesker gj\u00f8r, noe som gj\u00f8r den bedre til \u00e5 takle komplekse resonneringsoppgaver<\/em>.\u00bb<\/p>\n\n\n\n

Det er verdt \u00e5 merke seg at det er «naturfag<\/em>\u00bb, «matematikk<\/em>» og «koding<\/em>» som fremheves som omr\u00e5der for dette verkt\u00f8yet. Jeg jobber innen det samfunnsfaglige, men dersom verkt\u00f8yet virkelig evner \u00e5 «tenke gjennom problemer trinn for trinn, omtrent som mennesker gj\u00f8r,<\/em>…\u00bb burde det kunne klare \u00e5 levere akademiske besvarelser p\u00e5 arbeidskrav i mine fagemner. Eller…?<\/p>\n\n\n\n

Jeg testet GPT O1 Preview f\u00f8rst p\u00e5 AK1 i fagemnet ORG5005 – Digital beredskap<\/a> (et fagemne tilh\u00f8rende MASIK<\/a><\/em>), deretter p\u00e5 f\u00f8rste del av AK2 i fagemnet IKT1023 – Spillbasert l\u00e6ring<\/a> (IKT og l\u00e6ring 2). <\/p>\n\n\n\n

Videre testet jeg dets evne til \u00e5 skrive en stil om Kjell Hallbing og Lasse Efskinds bok «Soldatens lille r\u00f8de bok<\/a>\u00bb, og jeg ba om svar p\u00e5 hvor mange som har etternavnet Godejord<\/em> i Norge. <\/p>\n\n\n\n

Til slutt testet jeg verkt\u00f8yet p\u00e5 «b\u00e5tproblemet<\/a>\u00bb.<\/p>\n\n\n\n

o1 ble testet via Yuntian Dengs nettside «OpenAI-O1-Preview: Research Preview<\/a>\u00bb, tirsdag 17.09 2024. Denne nettsiden ble funnet via «How to Try and Use All OpenAI Models Including o1-preview and o1-mini for Free<\/a>\u00bb.<\/p>\n\n\n\n

\u00c5 bruke denne type «testside\u00bb kan v\u00e6re en klar svakhet ved dette fors\u00f8ket, siden jeg ikke kan sjekke at denne «appen\u00bb oppf\u00f8rer seg n\u00f8yaktig som den ordin\u00e6re GPT O1.<\/p>\n\n\n\n

Test av verkt\u00f8yet p\u00e5 AK1 i ORG5005<\/h3>\n\n\n\n

Akkurat som ved tester utf\u00f8rt p\u00e5 ChatGPT, beskrevet i kapittel 6 – «N\u00e5r oppgavene blir lange\u2026<\/a>\u00bb, ble verkt\u00f8yet bedt om \u00e5 skrive en akademisk besvarelse og hele oppgaveteksten for AK1 i ORG5005 ble lagt inn.<\/p>\n\n\n\n

Resultatet ble som f\u00f8lger:<\/p>\n\n\n\n

SVAR FRA o1<\/em><\/strong> START<\/em><\/strong><\/p>\n\n\n\n

Arbeidskrav 1 – \u00d8vingsdirektiv for Altiby Brannvesen<\/strong><\/p>\n\n\n\n

Studentens navn:<\/strong> Ola Nordmann<\/p>\n\n\n\n

—<\/p>\n\n\n\n

Innledning<\/strong><\/p>\n\n\n\n

Denne besvarelsen omhandler utarbeidelsen av et \u00f8vingsdirektiv for Altiby Brannvesen, med fokus p\u00e5 h\u00e5ndtering av hybride angrep og bortfall av digital infrastruktur. \u00d8velsen er designet for \u00e5 styrke beredskapen og bevisstheten rundt utfordringene som kan oppst\u00e5 n\u00e5r digitale systemer svikter under en krisesituasjon.<\/p>\n\n\n\n

—<\/p>\n\n\n\n

\u00d8vingsdirektiv<\/strong><\/p>\n\n\n\n

1. Innledning<\/strong><\/p>\n\n\n\n

Altiby Brannvesen st\u00e5r overfor stadig mer komplekse trusler, inkludert hybride angrep som kombinerer fysiske og digitale elementer. For \u00e5 sikre effektiv oppdragsl\u00f8sning under slike forhold, skal det gjennomf\u00f8res en \u00f8velse som simulerer et omfattende str\u00f8mbrudd kombinert med cyberangrep mot kritisk infrastruktur.<\/p>\n\n\n\n

2. Hensikt<\/strong><\/p>\n\n\n\n

\u00d8velsens hensikt er \u00e5 forbedre Altiby Brannvesens evne til \u00e5 h\u00e5ndtere krisesituasjoner hvor digital infrastruktur er utilgjengelig eller kompromittert, og \u00e5 \u00f8ke bevisstheten rundt avhengigheten av digitale systemer.<\/p>\n\n\n\n

3. M\u00e5lsettinger<\/strong><\/p>\n\n\n\n

– Overordnet m\u00e5l:<\/strong> Styrke beredskapen ved \u00e5 \u00f8ve p\u00e5 oppdragsl\u00f8sning uten tilgang til digitale systemer.<\/p>\n\n\n\n

– Delm\u00e5l:<\/strong>
– Identifisere s\u00e5rbarheter i dagens rutiner ved bortfall av digital infrastruktur.
– Teste alternative kommunikasjons- og ledelsessystemer.
– Evaluere beslutningsprosesser under begrenset situasjonsforst\u00e5else.<\/p>\n\n\n\n

4. Scenario<\/strong><\/p>\n\n\n\n

4.1 Scenariobeskrivelse<\/strong><\/p>\n\n\n\n

En kraftig storm treffer Altiby, noe som f\u00f8rer til omfattende str\u00f8mbrudd og \u00f8deleggelser. Samtidig blir byens nettverk utsatt for et koordinert cyberangrep som lammer kommunikasjon og tilgang til digitale ressurser. Brannvesenet m\u00e5 h\u00e5ndtere flere p\u00e5g\u00e5ende branner og redningsoppdrag uten vanlig tilgang til digitale verkt\u00f8y.<\/p>\n\n\n\n

4.2 Momenter i scenarioet<\/strong><\/p>\n\n\n\n

– Str\u00f8mbrudd i store deler av byen.
– Telekommunikasjon er ustabil eller utilgjengelig.
– N\u00f8dnett fungerer kun sporadisk.
– Digitale kart og ressursoversikter er utilgjengelige.
– Meldinger om branner og ulykker kommer inn via analoge kanaler.<\/p>\n\n\n\n

5. Planleggingsorganisasjon og prosess<\/strong><\/p>\n\n\n\n

5.1 Organisering<\/strong><\/p>\n\n\n\n

– \u00d8vingsleder:<\/strong> Beredskapssjef i Altiby Brannvesen.
– Planleggingsgruppe:<\/strong> Representanter fra operativ avdeling, kommunikasjon, IT og st\u00f8ttefunksjoner.
– Observat\u00f8rer:<\/strong> Innleid ekstern konsulent og representanter fra nabokommunens brannvesen.<\/p>\n\n\n\n

5.2 Planleggingsprosess<\/strong><\/p>\n\n\n\n

– Fase 1:<\/strong> Definere m\u00e5l og omfang (uke 1-2).
– Fase 2:<\/strong> Utarbeide detaljert \u00f8vingsplan (uke 3-4).
– Fase 3:<\/strong> Gjennomf\u00f8re \u00f8velsen (uke 5).
– Fase 4:<\/strong> Evaluering og rapportering (uke 6).<\/p>\n\n\n\n

6. Milep\u00e6ler og frister<\/strong><\/p>\n\n\n\n

– M\u00f8te i planleggingsgruppen:<\/strong> Uke 1, mandag kl. 10:00.
– Ferdigstillelse av \u00f8vingsplan:<\/strong> Uke 4, fredag kl. 15:00.
– Gjennomf\u00f8ring av \u00f8velsen:<\/strong> Uke 5, onsdag kl. 08:00 – 16:00.
– Evaluering og debrief:<\/strong> Uke 5, torsdag kl. 09:00.
– Endelig rapport:<\/strong> Uke 6, fredag kl. 12:00.<\/p>\n\n\n\n

7. Rapportering<\/strong><\/p>\n\n\n\n

– L\u00f8pende rapportering<\/strong> til \u00f8vingsleder ved milep\u00e6ler.
– Sluttrapport<\/strong> som inkluderer funn, anbefalinger og handlingsplan.<\/p>\n\n\n\n

—<\/p>\n\n\n\n

Kommentarnotat<\/strong><\/p>\n\n\n\n

1. Begrunnelse for valg av scenario<\/strong><\/p>\n\n\n\n

Valget av et scenario med str\u00f8mbrudd og cyberangrep er basert p\u00e5 \u00f8kende trender i hybride trusler mot kritisk infrastruktur (J\u00f8sok, 2020). Ved \u00e5 simulere bortfall av b\u00e5de fysiske og digitale systemer, settes brannvesenet p\u00e5 pr\u00f8ve i en realistisk og utfordrende situasjon.<\/p>\n\n\n\n

2. Faglige referanser og justeringer<\/strong><\/p>\n\n\n\n

– Avhengighet av digitale systemer:<\/strong> Moderne brannvesen er sterkt avhengige av digitale verkt\u00f8y for kommunikasjon, navigasjon og ressursstyring (Smith & Brown, 2019). Ved \u00e5 fjerne disse, tvinges mannskapet til \u00e5 benytte alternative metoder.<\/p>\n\n\n\n

– Kommunikasjon under krise:<\/strong> Effektiv kommunikasjon er kritisk. \u00d8velsen tester bruk av analoge kommunikasjonsmidler, som er anbefalt i krisesituasjoner med teknologisvikt (Nasjonal kommunikasjonsmyndighet, 2018).<\/p>\n\n\n\n

– Beslutningstaking under usikkerhet:<\/strong> Uten digitale situasjonsbilder m\u00e5 ledere ta beslutninger basert p\u00e5 begrenset informasjon, noe som krever trygghet og erfaring (Klein, 2008).<\/p>\n\n\n\n

3. Valg av m\u00e5l og delm\u00e5l<\/strong><\/p>\n\n\n\n

M\u00e5lene er satt for \u00e5 dekke b\u00e5de operative og organisatoriske aspekter ved kriseh\u00e5ndtering uten digitale hjelpemidler. Fokus p\u00e5 s\u00e5rbarhetsidentifisering legger grunnlag for forbedringstiltak.<\/p>\n\n\n\n

4. Refleksjonsnotat<\/strong><\/p>\n\n\n\n

Arbeidet med dette \u00f8vingsdirektivet har gitt meg innsikt i hvor s\u00e5rbar egen organisasjon er ved bortfall av digital infrastruktur. Planleggingsprosessen har bevisstgjort meg p\u00e5 viktigheten av redundante systemer og behovet for jevnlig trening p\u00e5 analoge metoder. Jeg har ogs\u00e5 erfart hvor komplekst det er \u00e5 designe en \u00f8velse som b\u00e5de er realistisk og oppn\u00e5elig innenfor organisatoriske rammer.<\/p>\n\n\n\n

—
SVAR FRA o1<\/em><\/strong> S<\/em>LUTT<\/strong><\/p>\n\n\n\n

Kommentarer fra meg<\/h3>\n\n\n\n
    \n
  1. Som en f\u00f8rste grov<\/em> skisse<\/em> er \u00f8vingsdirektivet<\/strong> ikke dumt, men det er langt unna et fullverdig direktiv.<\/li>\n\n\n\n
  2. Kommentarnotatet<\/strong> er ikke i n\u00e6rheten av kravene stilt i oppgaven og<\/li>\n\n\n\n
  3. refleksjonsnotatet<\/strong> er ikke en gang brukbar som skisse.<\/li>\n<\/ol>\n\n\n\n

    En student med skrivesperre kan ta utgangspunkt i dette for videre arbeid, men her har vi nok et godt eksempel p\u00e5 at samtaleroboter, uansett hvor «avansert\u00bb de p\u00e5st\u00e5es \u00e5 v\u00e6re, ikke kan erstatte studentens eget tankearbeid og arbeid med relevant fagstoff.<\/p>\n\n\n\n

    I ORG5005 (som for IKT og l\u00e6ring 1 og 2) er det \u00e5 vise evne til p\u00e5 egenh\u00e5nd \u00e5 finne relevant litteratur som kan st\u00f8tte opp under faglige refleksjoner helt vesentlig. La oss se p\u00e5 verkt\u00f8yets forslag til litteraturliste:<\/p>\n\n\n\n

    Litteraturliste<\/strong><\/p>\n\n\n\n

    – J\u00f8sok, \u00d8. (2020). Hybride trusler mot kritisk infrastruktur<\/em>. Norsk Sikkerhetsforlag.

    [Det finnes en     \u00d8yvind J\u00f8sok<\/a> som har skrevet om informasjonssikkerhet, men denne boken f\u00e5r ingen treff ved s\u00f8k i Google eller Google Scholar. «Norsk sikkerhetsforlag\u00bb<\/strong><\/em> virker ikke \u00e5 eksistere.<\/strong><\/em>]<\/p>\n\n\n\n


    – Klein, G. (2008). Naturalistic Decision Making<\/em>. Lawrence Erlbaum Associates.<\/p>\n\n\n\n

    [F\u00f8rste treff ved s\u00f8k p\u00e5 Google viser at Gary Klein har, sammen med Caroline E. Zsambok, v\u00e6rt redakt\u00f8r for boken «Naturalistic decision making<\/a>\u00bb<\/strong><\/em>. Men den kom i 1997. Forlaget er korrekt. <\/strong><\/em>
    Videre s\u00f8k viser at Gary Klein er forfatter av en artikkel «    Naturalistic decision making<\/a>\u00bb<\/strong><\/em>, publisert i juni 2008 i «Human Factors – The Journal of the Human Factors and Ergonomics Society\u00bb<\/strong><\/em>. <\/strong><\/em>
    S\u00e5 her vi ser nok et klassisk eksempel p\u00e5 at de statistiske beregningene setter sammen enkeltvis korrekt informasjon til noe som samlet sett blir feil.<\/strong><\/em>]<\/p>\n\n\n\n


    – Nasjonal kommunikasjonsmyndighet. (2018). Kommunikasjon i krisesituasjoner<\/em>. NKOM Rapport.<\/p>\n\n\n\n

    [Denne rapporten virker ikke \u00e5 eksistere, i alle fall ikke med dette navnet. Rapporter fra NKOM er tilgjengelig via NKOMs «Rapporter og dokumenter<\/a>\u00bb<\/strong><\/em>. Det n\u00e6rmeste jeg kunne finne var rapporten «EkomROS 2018 – Risikovurdering av ekomsektoren<\/a>\u00bb<\/strong><\/em>.<\/strong><\/em>]<\/p>\n\n\n\n


    – Smith, A., & Brown, B. (2019). Digital Dependency in Emergency Services<\/em>. Journal of Emergency Management, 17(4), 223-230.<\/p>\n\n\n\n

    [Verken forfatterne eller artikkelen er mulig \u00e5 finne ved ordin\u00e6re Google s\u00f8k eller ved s\u00f8k i Google Scholar. S\u00f8k etter tidsskriftet gir resultat p\u00e5 den aktuelle utgaven<\/a>, men her finnes ingen spor etter en artikkel med det navnet som oppgis av verkt\u00f8yet.<\/strong>]<\/p>\n\n\n\n

    Konklusjon<\/h3>\n\n\n\n

    Det er mulig media vil kalle resultatet gjengitt over for \u00e5 «resonere<\/em>\u00bb, men noe mer «intelligent<\/em>\u00bb og «tenkende<\/em>\u00bb enn ChatGPT 4. og lignende samtaleroboter er det absolutt ikke.<\/p>\n\n\n\n

    Digital Norway beskriver i nettartikkelen «OpenAI sin nye spr\u00e5kmodell kan \u00abresonnere\u00bb ved hjelp av en indre monolog<\/a>\u00bb at «Selv sier OpenAI at modellen er i stand til \u00e5 \u00abresonnere\u00bb. Dette handler om at spr\u00e5kmodellen kan l\u00f8se problemer ved \u00e5 emulere en form for logikk, i stedet for \u00e5 gjenkjenne m\u00f8nstre og regne seg frem til statistisk sett gode svar.<\/em>\u00bb<\/p>\n\n\n\n

    Resultatet fra denne testen viser absolutt ingen form for emulering av «logikk<\/em>\u00bb. Tvert i mot er det tydelig at verkt\u00f8yet benytter seg av statistiske beregninger av hvordan bokstaver kan settes sammen til noe som tilsynelatende virker \u00e5 v\u00e6re et fullverdig svar.<\/p>\n\n\n\n

    Som skisseverkt\u00f8y for \u00e5 komme i gang kan det nok v\u00e6re nyttig, men antakelig vil andre versjoner av ChatGPT eller Microsoft CoPilot v\u00e6re like – eller mer – nyttig. \u00c5 stole p\u00e5 verkt\u00f8yets evne til \u00e5 finne frem til relevant faglitteratur er totalt bortkastet, og en student som legger ved overforst\u00e5ende litteraturliste vil v\u00e6re heldig om vedkommende slipper unna med laveste karakter.<\/p>\n\n\n\n

    «Besvarelsen<\/em>\u00bb som s\u00e5dan st\u00e5r til en solid F<\/strong>.<\/p>\n\n\n

    \n
    \"\"<\/figure>\n<\/div>\n\n\n

    GPT O1 pr\u00f8ver seg p\u00e5 AK2 i IKT1023<\/h3>\n\n\n\n

    I dette arbeidskravet skal studentene utvikle et spill i Kodu<\/a>, og siden denne samtaleroboten skal v\u00e6re s\u00e6rlig velegnet for koding la jeg inn to «oppdrag\u00bb<\/strong><\/em> knyttet til f\u00f8rste del av arbeidskrav 2 i dette fagemnet.<\/p>\n\n\n\n

    Del 1 av AK2 er formulert som f\u00f8lger:<\/p>\n\n\n\n

    Krav i oppgaven<\/strong><\/h5>\n\n\n\n

    1) Lag et enkelt spill i Kodu<\/strong>. Bestem et enkelt plott. Ta utgangspunkt i f\u00f8lgende krav:<\/p>\n\n\n\n