{"id":4694,"date":"2024-09-17T15:58:40","date_gmt":"2024-09-17T13:58:40","guid":{"rendered":"https:\/\/site.nord.no\/didaktiskebetraktninger\/?page_id=4694"},"modified":"2026-01-28T11:42:50","modified_gmt":"2026-01-28T10:42:50","slug":"samleside-for-alle-testene","status":"publish","type":"page","link":"https:\/\/site.nord.no\/didaktiskebetraktninger\/samleside-for-alle-testene\/","title":{"rendered":"Samleside for alle testene"},"content":{"rendered":"\n

However, early evaluations indicate that ChatGPT\u2019s deep research mode does not yet live up to the hype. While it does produce polished reports, testers have found serious flaws. According to journalists who tried it, the AI often misses important details, struggles with very recent information, and sometimes invents facts even while sounding confident<\/em><\/p>ByteBridge, 2025 (1<\/a>)<\/cite><\/blockquote><\/figure>\n\n\n\n

<\/p>\n\n\n\n

\"\"
Illustrasjon<\/strong>: Et eksempel p\u00e5 en samtalerobot utviklet for \u00e5 unders\u00f8ke muligheten for en modells evne til resonering. <\/figcaption><\/figure>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n

Innledning<\/h3>\n\n\n\n

P\u00e5 denne siden finner du oversikt over alle hovedtestene utf\u00f8rt i perioden desember 2022 til september 2024, samt tester utf\u00f8rt i desember 2024, og tester utf\u00f8rt gjennom 2025. Testene 1, 2 og 3 er del av selve bloggboken, mens testene 4, 5 og 6 er vedlegg til denne. Testene om «KI» kan oppdage «KI-tekster» er hentet fra bloggbokens Kap. 7.<\/p>\n\n\n\n

Det jeg her, og i de f\u00f8lgende sidene, presenterer er et sett med feltobservasjoner <\/em>fra praktiske tester av samtaleroboter gjennomf\u00f8rt i tiln\u00e6rmet undervisningssituasjoner i perioden 2022\u20132025. M\u00e5let har v\u00e6rt \u00e5 unders\u00f8ke hvordan samtaleroboter fungerer i autentiske l\u00e6rings\u2011 og vurderingskontekster, s\u00e6rlig med tanke p\u00e5 studenters faglige kunnskaper ved oppstart i mine fagemner. Testene er gjennomf\u00f8rt med et pragmatisk, didaktisk utgangspunkt: Valg av modeller, versjoner og «prompt\u2011strategier» er styrt av realistiske rammer basert p\u00e5 over 20 \u00e5rs erfaring med undervisning heller enn av laboratorie\u2011optimalisering. Derfor m\u00e5 funnene leses som empiriske feltobservasjoner, ikke som fullstendig kontrollerte benchmarking\u2011studier.<\/p>\n\n\n\n

<\/p>\n\n\n\n

\n

«The myth of prompting sustains a reassuring story in which thought is treated as originary and the machine as a secondary extension.\u00bb<\/em>
– Owen Matson, Ph.D., 2025 (2<\/a>)<\/p>\n\n\n\n

<\/p>\n<\/blockquote>\n\n\n\n

Det er to hovedutgangspunkt for det \u00e5 teste samtaleroboter<\/strong>:<\/p>\n\n\n\n

    \n
  1. Teste for \u00e5 se hvor nyttig en samtalerobot kan v\u00e6re<\/strong>. M\u00e5let er \u00e5 f\u00e5 frem best mulig\/ mest korrekt svar ved godt formulert promting basert p\u00e5 egen fagekspertise.<\/li>\n\n\n\n
  2. Teste for \u00e5 f\u00e5 frem svakhetene<\/strong>. M\u00e5let her er \u00e5 se hvilke svar som fremkommer n\u00e5r brukeren ikke<\/em> innehar tilstrekkelig fagkompetanse til \u00e5 utf\u00f8re godt formulert promting, og der det ikke n\u00f8dvendigvis finnes klare svar p\u00e5 en oppgave.<\/li>\n<\/ol>\n\n\n\n

    Det er punkt nr. 2<\/strong> som er utgangspunktet for de tester jeg har utf\u00f8rt, og som er beskrevet her. For meg som fagansvarlig er det uinteressant om en fagekspert f\u00e5r frem gode svar fra en samtalerobot. Det som er interessant er om en vanlig student uten fagekspertise klarer \u00e5 f\u00e5 frem fullstendige besvarelser p\u00e5 et arbeidskrav \/ eksamensoppgave.<\/p>\n\n\n\n

    Evnen til \u00e5 formulere presise og m\u00e5lrettede foresp\u00f8rsler \u2013 enten det gjelder s\u00f8k i en s\u00f8kemotor eller prompting av samtaleroboter \u2013 henger tett sammen med brukerens forkunnskaper. Dette samsvarer med erfaringer mange av oss gjorde da s\u00f8kemotorene f\u00f8rst ble tatt i bruk i undervisning og akademisk arbeid; studenter med solid faglig forst\u00e5else klarte \u00e5 gjennomf\u00f8re spissede s\u00f8k, mens de med svakere forkunnskaper ofte strevde med b\u00e5de begrepsbruk og vurdering av relevans. Det samme ser vi n\u00e5 i m\u00f8te med samtaleroboter: De som allerede har et begrepsapparat og en viss tematisk innsikt, klarer lettere \u00e5 stille presise sp\u00f8rsm\u00e5l, vurdere kvaliteten p\u00e5 svarene og be om utdypning p\u00e5 en konstruktiv m\u00e5te.<\/p>\n\n\n\n

    Samtalerobotene som ble testet i hovedtestene<\/h3>\n\n\n\n

    I hovedtestene s\u00e5 jeg p\u00e5 14 samtaleroboter, og disse kan deles inn i to hovedkategorier<\/em>: de som er basert p\u00e5 samme underliggende teknologi (GPT-modeller fra OpenAI) og de som er utviklet av andre selskaper med ulike teknologier.

    Basert p\u00e5 GPT-teknologi fra OpenAI<\/strong><\/p>\n\n\n\n

      \n
    1. ChatGPT<\/strong> \u2013 Utviklet av OpenAI, ordin\u00e6r gratisversjon med GPT 3.5 og GPT-4.<\/li>\n\n\n\n
    2. GPT UiO<\/strong> \u2013 Basert p\u00e5 ChatGPT 3.5 turbo.<\/li>\n\n\n\n
    3. Sikt KI-Chat<\/strong> \u2013 Basert p\u00e5 ChatGPT 4.<\/li>\n\n\n\n
    4. GPT-3 Playground<\/strong> \u2013 En plattform for \u00e5 eksperimentere med GPT-3 fra OpenAI.<\/li>\n\n\n\n
    5. Chatsonic<\/strong> \u2013 Bruker GPT-3.5 eller GPT-4, samt Claude og Gemini .<\/li>\n\n\n\n
    6. Bing Chat (Copilot)<\/strong> \u2013 Bruker GPT-4 fra OpenAI.<\/li>\n\n\n\n
    7. Jenni<\/strong> \u2013 Bruker blant annet GPT-teknologi.<\/li>\n\n\n\n
    8. ChatGPT 4 omni<\/strong> \u2013 En variant av ChatGPT, bruker GPT-4.<\/li>\n\n\n\n
    9. OpenAIs GPT o1 Preview<\/strong> \u2013 En forh\u00e5ndsvisning av en ny modell fra OpenAI.<\/li>\n<\/ol>\n\n\n\n

      Andre teknologier<\/strong><\/p>\n\n\n\n

        \n
      1. Claude<\/strong> \u2013 Utviklet av Anthropic, bruker en annen spr\u00e5kmodell.<\/li>\n\n\n\n
      2. llama70b-v2-chat<\/strong> \u2013 Utviklet av Meta, bruker LLaMA-modellen.<\/li>\n\n\n\n
      3. Perplexity.ai<\/strong> \u2013 Bruker en kombinasjon av ulike teknologier for \u00e5 gi svar.<\/li>\n\n\n\n
      4. Gemini Pro<\/strong> \u2013 Utviklet av Google DeepMind, bruker Gemini-modellen.<\/li>\n\n\n\n
      5. QwQ-32B-preview<\/strong> – Eksperimentell forskningsmodell utviklet av Qwen Team. Har sin egen arkitektur\/ modell<\/li>\n<\/ol>\n\n\n\n

        Viktige forutsetninger<\/strong><\/h3>\n\n\n\n
          \n
        1. Studentene ved IKT og l\u00e6ringsstudiene og ORG5005<\/strong> er profesjonelle yrkesut\u00f8vere som, selv om tematikk og vinkling er nytt for de fleste, er forventet \u00e5 kunne kombinere egen yrkeserfaring med relevant faglitteratur i besvarelsen av de ulike arbeidskrav. De er ogs\u00e5 forventet \u00e5 kunne reflektere godt over egen l\u00e6ringsprosess.<\/li>\n\n\n\n
        2. Studentgruppen<\/strong> forventes \u00e5 v\u00e6re i stand til \u00e5 bed\u00f8mme noe ut fra ulike kriterier, kunne trekke egne slutninger og utlede abstrakte relasjoner, kunne se sammenhenger, og kunne bruke kunnskap og forst\u00e5else i konkrete situasjoner. Arbeidskravene gitt dem er derfor konstruert for \u00e5 kunne vise studentenes evner til \u00e5 respondere i tr\u00e5d med de h\u00f8yere niv\u00e5 i Blooms Taksonomi.<\/li>\n\n\n\n
        3. Testene er utf\u00f8rt<\/strong> ut fra en antakelse om at selv om studentene <\/em>er profesjonelle undervisere\/ instrukt\u00f8rer\/ kursholdere eller beredskapsledere er de uten dyp fagkunnskap om tematikken som tas opp i IKT og l\u00e6ringsstudiene og ORG5005, og derfor mest sannsynlig vil bruke samtaleroboter uten omfattende prompt engineering. <\/li>\n\n\n\n
        4. Testene som ikke er knyttet til konkrete arbeidskrav<\/strong>, er utf\u00f8rt ut fra antakelsen om at mange brukere ikke har s\u00e6rskilt kunnskap knyttet til det de sp\u00f8r en samtalerobot om, og derfor sannsynligvis vil bruke samtaleroboter uten omfattende prompt engineering. <\/li>\n<\/ol>\n\n\n\n

          Svakhetene ved min utf\u00f8relse av testene, samt mitt rasjonale for mine valg, er gjennomg\u00e5tt p\u00e5 en egen side<\/a>.<\/strong><\/p>\n\n\n\n

          Testene<\/h3>\n\n\n\n
            \n
          1. Test av hele eller deler av arbeidskrav fra IKT og l\u00e6ring og ORG5005<\/a> (Desember 2022 til desember 2023<\/em>)<\/li>\n\n\n\n
          2. Test av tematikk tilknyttet noen s\u00e6rnorske fenomen<\/a> (Desember 2022 til desember 2023<\/em>)<\/li>\n\n\n\n
          3. N\u00e5r oppgavene blir lange\u2026<\/a> Test av AK1 i ORG5005 (6. Desember 2023<\/em>)<\/li>\n\n\n\n
          4. Testing av ulike samtaleroboter i 2024 og 2025<\/a> (Januar til september 2024, og en test i desember 2024 og januar 2025<\/em>)<\/li>\n\n\n\n
          5. Test av OpenAIs GPT o1 Preview<\/a> (17. September 2024<\/em>)<\/li>\n\n\n\n
          6. Tester av ulike samtaleroboter og noen nye versjoner av ChatGPT<\/a> (2025)<\/li>\n\n\n\n
          7. Tester av om «KI» kan oppdage «KI-tekster»<\/a> (2023)<\/li>\n<\/ol>\n\n\n
            \n
            \"\"<\/figure>\n<\/div>\n\n\n

            Leseliste <\/h4>\n\n\n\n
              \n
            1. Analyzing o3 and o4-mini with ARC-AGI<\/a><\/li>\n\n\n\n
            2. FrontierMath Score of o3-mini Much Lower Than Claimed<\/a><\/li>\n\n\n\n
            3. Five things most people don’t seem to understand about DeepSeek<\/a><\/li>\n\n\n\n
            4. Making Logical Sense Of The Newly Launched OpenAI \u2018o1\u2019 Model That \u2018Thinks\u2019 Longer And Keeps Hidden Its Ace-In-The-Hole Chain-Of-Thought<\/a><\/li>\n\n\n\n
            5. Inference Scaling Reshapes AI Governance<\/a><\/li>\n\n\n\n
            6. Is AI the new research scientist? Not so, according to a human-led study<\/a><\/li>\n\n\n\n
            7. Study: Large language models still lack general reasoning skills<\/a><\/li>\n\n\n\n
            8. Reports of LLMs mastering math have been greatly exaggerated<\/a><\/li>\n\n\n\n
            9. I Think Therefore I am: No, LLMs Cannot Reason<\/a><\/li>\n\n\n\n
            10. The Surprising Effectiveness of Test-Time Training for Abstract Reasoning<\/a><\/li>\n\n\n\n
            11. OpenAI claims its newest chatbot GPT-4.5 should ‘hallucinate less’. How is that measured?<\/a><\/li>\n\n\n\n
            12. An Honest Review of ChatGPT o3<\/a><\/li>\n\n\n\n
            13. No, LLMs still can\u2019t reason like humans. This simple test reveals why<\/a><\/li>\n\n\n\n
            14. AI probably won’t replace me in 2025<\/a><\/li>\n\n\n\n
            15. No, Chatbots Aren\u2019t Sentient. But Are We?<\/a><\/li>\n\n\n\n
            16. Why Chatbots Aren\u2019t Working<\/a><\/li>\n\n\n\n
            17. SimpleBench – Where Everyday Human Reasoning Still Surpasses Frontier Models<\/a><\/li>\n<\/ol>\n\n\n
              \n
              \"\"<\/figure>\n<\/div>\n\n\n
              <Tilbake til start<\/a><\/strong><\/td>\"\"<\/a><\/td><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

              <\/p>\n","protected":false},"excerpt":{"rendered":"

              However, early evaluations indicate that ChatGPT\u2019s deep research mode does not yet live up to the hype. While it does produce polished reports, testers have found serious flaws. According to journalists who tried it, the AI often misses important details, struggles with very recent information, and sometimes invents facts even while sounding confident ByteBridge, 2025 … Fortsett \u00e5 lese \u00abSamleside for alle testene\u00bb<\/span><\/a><\/p>\n","protected":false},"author":11,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"coauthors":[2],"class_list":["post-4694","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages\/4694","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/comments?post=4694"}],"version-history":[{"count":83,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages\/4694\/revisions"}],"predecessor-version":[{"id":7547,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages\/4694\/revisions\/7547"}],"wp:attachment":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/media?parent=4694"}],"wp:term":[{"taxonomy":"author","embeddable":true,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/coauthors?post=4694"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}