{"id":2360,"date":"2023-12-03T10:44:32","date_gmt":"2023-12-03T09:44:32","guid":{"rendered":"https:\/\/site.nord.no\/didaktiskebetraktninger\/?page_id=2360"},"modified":"2026-01-20T13:50:01","modified_gmt":"2026-01-20T12:50:01","slug":"2-bullshit-generator-eller-genial-faktagjenngiver","status":"publish","type":"page","link":"https:\/\/site.nord.no\/didaktiskebetraktninger\/2-bullshit-generator-eller-genial-faktagjenngiver\/","title":{"rendered":"Kap. 3 Bullshit Generator eller genial faktagjenngiver?"},"content":{"rendered":"\n

At their core, LLMs are nothing more than sophisticated memorization machines, capable of reasonable-sounding statements, but unable to understand fundamental truth. Importantly and despite the fervent hopes of many, they are far from delivering or even prefiguring artificial general intelligence (AGI). The hype surrounding LLMs has reached stratospheric levels, fostering a misguided belief in their potential as AGI precursors<\/em><\/p>Matt Asay, 2024 (1<\/a>)<\/cite><\/blockquote><\/figure>\n\n\n\n

<\/p>\n\n\n\n

«… I can say with certainty that ChatGPT is more hype than harm\u2014and it might even offer some help<\/em>.»
– Jason Wingard, PhD., 2023 (2<\/a>)<\/p>\n\n\n\n

«Nevertheless, as we become more familiar with generative AI systems, we will see more clearly that it is not truly intelligent; there is no insight. It is not magic, but a very clever magician’s trick: an algorithm that is the product of extraordinary human ingenuity<\/em>.»
– PTI, 2024 (3<\/a>)<\/p>\n\n\n\n

«The AI keeps screwing up because these computers are stupid. Extraordinary in their abilities and astonishing in their dimwittedness. I cannot get excited about the next turn in the AI revolution because that turn is into a place where computers cannot consistently maintain accuracy about even minor things<\/em>\u00bb.
\u2013 Alex Cranz, 2024 (4<\/a>)<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Innledning<\/h3>\n\n\n\n

«ChatGPT is a bullshit generator. But it can still be amazingly useful<\/a>» skriver professor Arvind Narayanan and Sayash Kapoor i sin nettartikkel p\u00e5 AI Snake Oil. Jeg kunne ikke v\u00e6rt mer enig!<\/p>\n\n\n\n

Jeg har testet ut ChatGPT, samt noen lignende system, innenfor eget fagfelt, med blant annet oppgaver fra IKT og L\u00e6ringsstudiene (en oppgave innen informasjonssikkerhet, en innen opphavsrett og to innen prosjektarbeid med IKT), samt to oppgaver fra ORG5005 – Digital beredskap. Jeg har ogs\u00e5 testet disse systemene p\u00e5 noen s\u00e6rnorske tema.<\/p>\n\n\n\n

Testene<\/h3>\n\n\n\n

De ulike testene, ogs\u00e5 de f\u00f8rste som ble utf\u00f8rt i 2022 – 2023 og som var startgrunnlaget for denne bloggboken, er samlet i «vedlegget» Samleside for alle testene<\/a><\/strong>. Noen av testene er ogs\u00e5 med som deler av enkeltkapitler i denne boken.<\/p>\n\n\n\n

Konklusjon<\/h3>\n\n\n\n

Som resultatene fra de ulike testene viser, er verken ChatGPT eller de andre samtaleroboter s\u00e6rlig p\u00e5litelige. Eller som professor Morten Irgens sier det til Khrono 29.11.2023<\/a>: «Noen bruker ChatGPT som en kunnskapsmodell, og det er den jo ikke. Det er en modell som har et sett med sannsynlige relasjoner mellom tekst og ord og slikt. S\u00e5 n\u00e5r man bruker det som en kunnskapsmodell, da er det et problem\u00bb<\/em>.<\/p>\n\n\n\n

Testen beskrevet i denne bloggbokens Kap. 6, samt testene utf\u00f8rt i vedleggene, underbygger at disse verkt\u00f8yene ikke kan kalles «kunstig intelligens<\/em>» og at de er ytterst up\u00e5litelig som verkt\u00f8y for faktainnhenting og dermed ogs\u00e5 som produsenter av svar p\u00e5 universitetsoppgaver av en viss kompleksitet innen mine fagomr\u00e5der.<\/p>\n\n\n\n

Og Microsoft CoPilot sier det slik om sin evne til \u00e5 besvare eksamensoppgaver basert p\u00e5 Blooms Taksonomi sitt h\u00f8yeste niv\u00e5: «Som en form for kunstig intelligens, kan jeg generere svar basert p\u00e5 den informasjonen jeg har blitt trent p\u00e5, og jeg kan produsere innhold som kan virke kreativt, som dikt, historier, kode, og mer. Men det er viktig \u00e5 merke seg at dette innholdet er generert basert p\u00e5 m\u00f8nstre og informasjon jeg har l\u00e6rt fra mine treningsdata, og ikke fra noen form for menneskelig kreativitet eller original tenkning. N\u00e5r det gjelder \u00e5 svare p\u00e5 en eksamensoppgave konstruert ut fra Bloom’s taksonomi sitt h\u00f8yeste niv\u00e5, vil jeg kunne gi et svar basert p\u00e5 den informasjonen jeg har tilgjengelig. Men svaret vil v\u00e6re begrenset av min programmering og de dataene jeg har blitt trent p\u00e5. Jeg vil ikke v\u00e6re i stand til \u00e5 produsere et originalt eller kreativt svar p\u00e5 samme m\u00e5te som et menneske ville gjort.\u00bb<\/em><\/p>\n\n\n\n

Og det overforst\u00e5ende er (selv om det er et resultat av matematiske beregninger og ikke evne til \u00e5 tenke<\/em>) ingen overraskelse for de av oss som er informasjonsteknologer og har mange \u00e5rs erfaring i det \u00e5 konstruere eksamensoppgaver basert p\u00e5 Blooms Taksonomi. Det kan til tider v\u00e6re vanskelig nok \u00e5 f\u00e5 oss mennesker til \u00e5 l\u00f8fte oss opp til v\u00e5rt \u00f8verste niv\u00e5 av kreativitet, og da skal en ikke bli overrasket av at matematiske modeller uten noen form for tenkeevne ikke klarer seg s\u00e6rlig bra n\u00e5r oppgavene krever noe mer enn kun gjengivelse.<\/p>\n\n\n\n

En av mange artige ting med ChatGPT er at dersom brukeren p\u00e5peker at svarene er feil, innr\u00f8mmer systemet at det ikke har nok informasjon og deretter viser det til at man kan \u00abpr\u00f8ve \u00e5 s\u00f8ke etter informasjon i biblioteket eller p\u00e5 nettet\u00bb. Videre blir det hevdet at systemet l\u00e6rer, og som bruker blir man oppfordret til \u00e5 «mate» systemet med korrekt informasjon om emner det ikke klarer \u00e5 svare p\u00e5. Og siden systemet er programmert til \u00e5 benytte seg av de ord og setninger det registrerer fra samtalen, gir det inntrykk av \u00e5 v\u00e6re et intelligent og h\u00f8flig system som er oppriktig glad for at du hjelper det til \u00e5 bli bedre.<\/p>\n\n\n\n

Men skj\u00f8nner systemet at det har gjort en feil? Selvsagt ikke<\/a>. La oss se p\u00e5 f\u00f8lgende eksempel:<\/p>\n\n\n\n

  \"\"<\/em> Hvem var Henrik Ibsen?<\/em><\/p>\n\n\n\n

  \"\"<\/em> Henrik Ibsen var en norsk forfatter og teaterdramatiker. Han er kjent for \u00e5 v\u00e6re en pioner innen realismen i teateret og skrev mange verk som har blitt betraktet som klassikere, inkludert «Peer Gynt,» «Vildanden,» «En folkefiende,» og «Et dukkehjem.» Ibsen er ofte kreditert for \u00e5 ha hatt stor innflytelse p\u00e5 moderne teater og drama.<\/em><\/p>\n\n\n\n

Dette m\u00e5 jo sies \u00e5 v\u00e6re korrekt informasjon. Men hva skjer om jeg forteller systemet at dette er feil?<\/p>\n\n\n\n

  \"\"<\/em> Beklager, hvis jeg gav feil informasjon. Kan du v\u00e6re litt mer spesifikk om hva som er feil, eller gi mer detaljer om hvem Henrik Ibsen var? Jeg vil gjerne hjelpe deg med \u00e5 f\u00e5 riktig informasjon.<\/em><\/p>\n\n\n\n

Som vi ser reagerer systemet med en automatisk respons trigget av stikkordet «feil», og foretar ingen re-sjekk av egen informasjon f\u00f8r den beklager. Og det er jo ikke s\u00e5 rart, siden verken ChatGPT eller tilsvarende systemer foretar faglige vurderinger av sp\u00f8rsm\u00e5l brukeren stiller, p\u00e5stander brukeren kommer med eller de data systemene finner i egen database og\/eller p\u00e5 ulike baser tilknyttet internett.<\/p>\n\n\n\n

S\u00e5 hva skal vi da med dette verkt\u00f8yet? Hvorfor ble det konstruert? Og er det h\u00e5p om at utviklingen vil gj\u00f8re samtalerobotene til «smartere» tjenende \u00e5nder og gj\u00f8re hverdagen v\u00e5r enklere?<\/p>\n\n\n\n

Microsoft Copilot oppsummerer sitatene fra dette kapittelet<\/a><\/strong><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Leseliste<\/strong><\/h4>\n\n\n\n
    \n
  1. ChatGPT is bullshit<\/a><\/li>\n\n\n\n
  2. ChatGPT: A Bullshit Tool For Bullshit Jobs<\/a><\/li>\n\n\n\n
  3. ChatGPT – The Revolutionary Bullshit Parrot<\/a><\/li>\n<\/ol>\n\n\n\n
    <Forrige kapittel<\/a><\/strong><\/td>\"\"<\/a><\/td>Neste kapittel<\/a>><\/strong><\/td><\/tr><\/tbody><\/table><\/figure>\n","protected":false},"excerpt":{"rendered":"

    At their core, LLMs are nothing more than sophisticated memorization machines, capable of reasonable-sounding statements, but unable to understand fundamental truth. Importantly and despite the fervent hopes of many, they are far from delivering or even prefiguring artificial general intelligence (AGI). The hype surrounding LLMs has reached stratospheric levels, fostering a misguided belief in their … Fortsett \u00e5 lese \u00abKap. 3 Bullshit Generator eller genial faktagjenngiver?\u00bb<\/span><\/a><\/p>\n","protected":false},"author":11,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"coauthors":[2],"class_list":["post-2360","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages\/2360","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/comments?post=2360"}],"version-history":[{"count":63,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages\/2360\/revisions"}],"predecessor-version":[{"id":7421,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/pages\/2360\/revisions\/7421"}],"wp:attachment":[{"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/media?parent=2360"}],"wp:term":[{"taxonomy":"author","embeddable":true,"href":"https:\/\/site.nord.no\/didaktiskebetraktninger\/wp-json\/wp\/v2\/coauthors?post=2360"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}