{"id":2364,"date":"2023-12-03T10:48:21","date_gmt":"2023-12-03T09:48:21","guid":{"rendered":"https:\/\/site.nord.no\/didaktiskebetraktninger\/?page_id=2364"},"modified":"2026-01-27T14:19:48","modified_gmt":"2026-01-27T13:19:48","slug":"4-rasende-utvikling-fra-dum-til-dummere","status":"publish","type":"page","link":"https:\/\/site.nord.no\/didaktiskebetraktninger\/4-rasende-utvikling-fra-dum-til-dummere\/","title":{"rendered":"Kap. 5 Rasende utvikling – fra dum til dummere?"},"content":{"rendered":"\n

However, the tool does not answer correctly in higher-order thinking questions<\/em><\/p>Manojit Bhattacharya, et.al., 2024 (1<\/a>)<\/cite><\/blockquote><\/figure>\n\n\n\n

<\/p>\n\n\n\n

«KI-genererte tekstsvar og falske bilder kan se veldig imponerende ut. Men det skal ikke mye gransking til for \u00e5 avdekke at modellene som ligger bak, ikke forst\u00e5r noen ting. De er tross alt bare \u00abstokastiske papeg\u00f8yer\u00bb (tilfeldige papeg\u00f8yer), som gjentar varianter av ting de alt har h\u00f8rt<\/em>.»
– S\u00f8lve Eidnes, Katrine Seel og Signe Riemer-S\u00f8rensen, 2023 (2<\/a>)<\/p>\n\n\n\n

«What this experience proved to me is that ChatGPT 4 was simply doing what Google already does here, pulling top-rated answers off the Internet and spitting them back at me. It just does it in a more verbose format. Sadly, unlike Google, ChatGPT \u201cpretends\u201d it came up with the answer all on its own with zero attribution to the original source<\/em>.»
– Lance Cleveland, 2024 (3<\/a>)<\/p>\n\n\n\n

«This idea that there\u2019s a kind of unquantifiable magic sauce in AI that will allow us to forgive its tenuous relationship with reality is brought up a lot by the people eager to hand-wave away accuracy concerns. Google, OpenAI, Microsoft, and plenty of other AI developers and researchers have dismissed hallucination as a small annoyance that should be forgiven because they\u2019re on the path to making digital beings that might make our own lives easier.<\/em> But apologies to Sam and everyone else financially incentivized to get me excited about AI. I don\u2019t come to computers for the inaccurate magic of human consciousness. I come to them because they are very accurate when humans are not. I don\u2019t need my computer to be my friend; I need it to get my gender right when I ask and help me not accidentally expose film when fixing a busted camera. Lawyers, I assume, would like it to get the case law right<\/em>\u00bb.
\u2013 Alex Cranz, 2024 (4<\/a>)<\/p>\n\n\n\n

«No, Bloomberg News, ChatGPT did not get an MBA. No, NBC News, ChatGPT did not even pass an exam<\/em>.\u00bb<\/em>
– Professor Melanie Mitchell, 2023 (5<\/a>)<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

At ChatGPT gjorde det relativt d\u00e5rlig i mine fors\u00f8k beskrevet i de forrige kapitler, betyr ikke at det ikke kan komme ut med greie svar p\u00e5 niv\u00e5 1 i andre sammenhenger, og slike automatisk genererte fremstillinger kan jo v\u00e6re en god f\u00f8rste start (en slags «trigger») for en elev eller en student f\u00f8r denne tar fatt p\u00e5 en oppgave. Men kan ChatGPT (og lignende systemer) klare mer ordin\u00e6re eksamener, f.eks. p\u00e5 masterniv\u00e5?<\/p>\n\n\n\n

ChatGPT klarer universitetseksamener og best\u00e5r Turingtesten, Bing Chat dikter opp en bok som ikke eksisterer og Jenni bommer p\u00e5 et enkelt juridisk sp\u00f8rsm\u00e5l<\/h3>\n\n\n\n

I l\u00f8pet av 2023 kom det flere nyhetssaker om at ChatGPT klarte en MBA-eksamen<\/a> og eksamener innen jus og \u00f8konomi<\/a>, men kun p\u00e5 niv\u00e5 med C.<\/p>\n\n\n\n

I noen andre fors\u00f8k klarte ChatGPT \u00e5 svare til en A og en B. Men var dette virkelig eksempler p\u00e5 at ChatGPT og lignende spr\u00e5kmodeller rent faktisk klarte (og vil klare) \u00e5 oppn\u00e5 en mastergrad? P\u00e5 ingen m\u00e5te! Og professor Melanie Mitchell<\/a> forklarer hvorfor i «Did ChatGPT Really Pass Graduate-Level Exams?<\/a>» (2 deler).<\/p>\n\n\n\n

Ja og s\u00e5 var det Turing sin ber\u00f8mte test<\/a> da. Er det virkelig slik at dagens samtaleroboter har best\u00e5tt Turingtesten? Som professor Melanie Mitchell peker p\u00e5 i sin artikkel fra august 2024 The Turing Test and our shifting conceptions of intelligence<\/a>; «The answer is, of course, it depends on which version of the test you\u2019re talking about. A three-player imitation game with expert judges and longer conversation time has still not been passed by any machine (though there are plans to hold an ultra-strict version of it in 2029)<\/em>\u00bb.<\/p>\n\n\n\n

Som for p\u00e5standene om at ChatGPT best\u00e5r eksamener med glans, er alts\u00e5 ogs\u00e5 p\u00e5standen om at denne samtaleroboten har best\u00e5tt Turingtesten og derfor er intelligent, en sannhet med meget store<\/em> modifikasjoner.<\/p>\n\n\n\n

Jo mer utforsket og behandlet et emne er internasjonalt, jo bedre<\/a> vil nok svarene fra ChatGPT v\u00e6re p\u00e5 niv\u00e5 1, s\u00e5 lenge tematikken ikke ber\u00f8rer komplekse sp\u00f8rsm\u00e5l om litteratur eller tematikk som programmererne i OpenAI mener er kontroversielt<\/a>. Og nisjepregete tema som for eksempel l\u00f8dig litteratur i Norge p\u00e5 70-tallet genererer  i mine fors\u00f8k upresise eller helt feile svar. Men siden svarene, inklusive fors\u00f8k p\u00e5 \u00e5 korrigere sine feil, fremkommer p\u00e5 en h\u00f8flig m\u00e5te og med en sjarmerende lurendreier-vri p\u00e5 brukernes egne formuleringer, blir det hele ytterst forn\u00f8yelig.<\/p>\n\n\n\n

Mindre forn\u00f8yelig er det at ChatGPT, grunnet svakhetene<\/a> med store spr\u00e5kmodeller, overhode ikke skiller mellom sant og usant og derfor er ubrukelige som faktakilde. En student m\u00e5 derfor v\u00e6re n\u00f8ye med \u00e5 kildegranske informasjonen<\/a> denne f\u00e5r og ikke stole noe mer p\u00e5 ChatGPT enn p\u00e5 de enkleste Google-s\u00f8k.<\/p>\n\n\n\n

ChatGPT og lignende system kan sette sammen forfattere og fagressurser helt vilk\u00e5rlig, ut fra sine statistiske beregninger og ikke ut fra reelle kilder som rent faktisk passer til innholdet i studentens fagtekst. Det blir derfor viktig \u00e5 p\u00e5peke for studentene at forfalskede kildehenvisninger og litteraturlister (alts\u00e5 at det henvises til forfattere og fagressurser som ikke eksisterer, eller ikke tar opp tematikken beskrevet i studentens besvarelse<\/em>) er \u00e5 regne som fusk uansett om selve bruken av ChatGPT eller andre spr\u00e5kmodeller er tillatt.<\/p>\n\n\n\n

Et godt eksempel p\u00e5 hvordan en samtalerobot kan dikte opp en fagkilde er dette fra Bing Chat<\/a>, fra desember 2023, vist til under.<\/p>\n\n\n\n

Jeg hadde i utgangspunktet spurt den finne info om meg selv. Mye var korrekt, men noe var rent oppspinn. S\u00e5 lurte jeg p\u00e5 om jeg hadde skrevet noen b\u00f8ker? Og ja da det hadde jeg, korrekt nok. Men n\u00e5r jeg lurte p\u00e5 om jeg hadde skrevet noe om samfunnsinformasjonssikkerhet, da ble Bing Chat s\u00e6rdeles kreativ og diktet opp f\u00f8lgende:<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Samfunnsinformasjonssikkerhet er en bok som handler om hvordan man kan beskytte seg mot digitale trusler som nettmobbing, identitetstyveri, hacking og overv\u00e5king. Boken er skrevet av Per Arne Godejord og Beata Joanna Godejord, som begge er f\u00f8rsteamanuenser ved Nord universitet. Boken er basert p\u00e5 forskning og erfaringer fra prosjektet \u201cFighting child pornography: Exploring didactics and student engagement in social informatics\u201d, som ble publisert i Journal of the American Society for Information Science and Technology <\/em>(denne artikkelen eksisterer og jeg skrev den, men det er det eneste som stemmer i denne forn\u00f8yelige beskrivelsen<\/strong>).<\/p>\n\n\n\n

Boken har f\u00f8lgende innhold:<\/em><\/p>\n\n\n\n