Kap. 7 En sverm av djevler klokken tre – Didaktiske betraktninger

«To my mind, the immediate danger of ChatGPT is not so much that it will create better malware (although it may in time) but that it will lower the bar to entry in cybercrime, allowing more people with fewer skills to create original malware, or skilled people to do it more quickly.»
– Mark Stockley, 2023 (1)

«What ChatGPT and similar tools are is something different than what I think of when I hear the phrase ‘artificial intelligence’. They are large language models (LLMs), which I tend to think of as an expert system. Expert systems were all the rage back in the late ’70s and ’80s but fell out of favor as the phrase artificial intelligence started to take over.»
– John Bruggeman, 2023 (2)

“Computers are evolving very quickly … the human brain isn’t going to evolve, and so we still need to think about cognitive psychology”
– Andrew Van Schaack, PhD., 2024 (3)

«Cybersecurity is actually 90% about human behavior and 10% about technology.»
– Martin Fix, 2024 (4)

Jeg har nå vist til en del resultater fra mine tester av både ChatGPT og noen andre tilsvarende språkmodeller, og har pekt på klare svakheter. Disse svakhetene er også pekt på både nasjonalt og internasjonalt, og understreker at disse systemene ikke kan klassifiseres som kunstig intelligens, jfr. innledningen.

Tittelen på dette kapittelet får kanskje noen til å klø seg i hodet og lure på hva i all verden jeg mener her. Tittelen er dels en kulturell henvisning (Kiosklitteratur, 70-tall, Norge) og dels en flymilitær henvisning (Antall fiender, hvor). Og årsaken til denne «litterære» blomst av en tittel er at utviklingen av de ulike språkmodellene har synliggjort en sverm av atskillig alvorligere problemer i horisonten, enn at studenter muligens vil bruke språkmodeller til eksamensbesvarelser.

Problemene er knyttet til det sikkerhetsmessige, etiske og juridiske, samt noen læringsmessige utfordringer. Det er for min del nettopp denne type problemstillinger som gjør disse språkmodellene interessante, ikke minst som del av egen undervisning i informasjonssikkerhet og digital dannelse.

Her er et lite knippe av problemstillinger som jeg føler har druknet i all viraken rundt ChatGPT og lignende system:

Sikkerhetsmessige problemstillinger

Nettkriminelle: Disse kan bruke ChatGPT til å skrive skadelig programvare, lage svindelnettsteder, generere phishing-e-poster, og lage falske nyheter
Statlige aktører, terrorister og ekstremistgrupper: Disse kan utnytte språkmodellene til å destabilisere demokratiske stater vha. f.eks. falske nyheter, i tillegg til utvikling av skadelig programvare.

Etiske problemstillinger

Bias: Det har vært stilt spørsmål ved hvilke kilder som disse språkmodellene trenes på, og om kildematerialet er av en slik art at svarene preges av stereotyper
Transparens: Det fremgår ikke alltid på hvilken måte disse systemene treffer beslutninger om hva som er relevant informasjon, og dermed blir det vanskelig å skjønne hvorfor en språkmodell svarer som den gjør.
Utnyttelse av billig arbeidskraft i fattige land for å legge inn data i ChatGPT og lignende system
Bruk av språkmodellene: Disse systemene kan brukes til å skape falske nyheter, desinformasjon, falske bilder osv.

Juridiske problemstillinger

Opphavsrett: Språkmodellene kan produsere tekst som er helt, eller delvis, lik eksisterende opphavsbeskyttede tekster. Og hverken OpenAI eller andre leverandører av slike tjenester har søkt om å få bruke det opphavsbeskyttete materialet de har benyttet til å trene sine språkmodeller.
Personvern: Språkmodellene kan samle private opplysninger om brukerne, som senere kan benyttes for å identifisere brukere og på ulike måter være til ulempe og skade for disse.

Læringsmessige problemstillinger

Svekkelse av evnen til kritisk tenkning og evnen til problemløsning: ChatGPT, og lignende system, gir (i noen tilfeller) klare svar og løsninger på oppgaver. Dette kan over tid svekke elever og studenters evne til å håndtere prosessen med å analysere, evaluere og syntetisere informasjon på egenhånd.
Svekkelse av evnen til å tenke kreativt og komme frem med originale løsninger: ChatGPT og lignende system utmerker seg ved å generere svar basert på eksisterende kunnskap (når systemene ikke ganske enkelt finner på rent tøv), men de statistiske modellene gir (naturlig nok) systemene ingen evne til å tenke kreativt eller komme opp med originale ideer. Elever og studenter trenger muligheter til å utforske sin egen kreativitet, tenke utenfor boksen og utvikle sine unike perspektiver. Det er denne type evner som omfattes av f.eks. karakterene A og B ved et universitetsstudium og utstrakt bruk av statistisk generert innhold kan hindre utviklingen av denne type evner.
Sterkere skille mellom faglig svake og sterke elever og studenter: For de elever eller studenter som allerede har vanskeligheter med effektiv bruk av ordinære søkemotorer, som har problemer med å lese (og analysere) faglige tekster, har problem med å skrive akademiske tekster og er dårlig på å tenke strukturert, kan ChatGPT og andre språkmodeller bli en høyst usikker støtte som ytterligere fremhever disse brukernes svakheter isteden for å løfte dem kunnskapsmessig. Å bruke språkmodeller effektivt krever mye kunnskap, ikke bare om det tema man ønsker å søke på men også evnen til å lese de genererte tekstene nøye og kritisk, og deretter utføre søk på nett eller i bøker for å sjekke validiteten av det språkmodellen har produsert.

Det overforstående er bare noen problemområder som danner grunnlag for min videre fundering og uttesting av ChatGPT og lignende språkmodeller fremover.

Spesifikt om det sikkerhetsmessige

Som fagansvarlig for fagemnet «Digital beredskap» , samt annen undervisning innen informasjonssikkerhet, er jeg naturlig nok sterkt opptatt av de sikkerhetsmessige implikasjonene av systemer av typen ChatGPT, og ikke minst videosystem som f.eks. Sora.

Imidlertid er jeg per nå ikke umiddelbart bekymret over språkmodeller som ChatGPT og Bing Chat på kort sikt. At vi nå har flere typer statistiske modeller som kan skrive kildekode, vil selvsagt gi «Script kiddies» enda et verktøy. Men siden verken ChatGPT eller lignende system er feilfrie når det gjelder kodegenerering, er det per nå et stort spørsmål om hvor effektive verktøy dette vil være.

Videogenereringsverktøy av typen Sora kan muligens ha større effekt innen problemområdet Deepfake, men det er enda for tidlig å si med sikkerhet om disse verktøyene vil være mer effektive som Deepfake-verktøy enn allerede eksisterende system.

Det er jo ikke slik at vi ikke har hatt denne type verktøy før. Det som er nytt er muligheten for at «folk flest» får tilgang til kraftigere verktøy.

Men det at vi alle nå har tilgang til verktøy som ChatGPT og Sora kan muligens åpne for nye utfordringer og bekymringer på lengre sikt. For det første kan det øke potensialet for misbruk og spredning av falsk informasjon, da disse verktøyene gjør det mulig for enkeltpersoner å manipulere tekst og video på en avansert måte. Videre kan det muligens føre til økt kompleksitet og variasjon i cyberangrep, da flere angripere kan bruke slike verktøy til å skape skadelig programvare og falske videoer.

Og her er vi ved kjernen av utfordringene knyttet til ChatGPT og lignende system, samt de «nye» videogenereringssystemene:

Disse verktøyene fører ikke til noen form for ny trussel. Systemene vil først og fremst gi trusselaktører en økt evne til f.eks. sosial manipulasjon. Språkmodeller kan brukes til å muliggjøre en mer overbevisende kontakt mellom angriper og offer, inkludert opprettelse av falske dokumenter, uten de oversettelses-, stave- og grammatiske feil som tidligere ofte avslørte denne type angrep.
De ulike språkmodellene kan også benyttes i etterretningsarbeid som del av forberedelse til angrep mot organisasjoner eller enkeltpersoner, både fra kriminelle og statlige aktører.
Og sist, men ikke minst, kan språkmodeller muligens lette utviklingen av ulike typer av skadeprogram. Men en trusselaktør må fortsatt ha den nødvendige tekniske ekspertise til å både vurdere produktet og bruke det effektivt som del av et digitalt angrep.

På den positive siden gir tilgangen til disse verktøyene også muligheten for bedre forståelse av hvordan slike systemer kan støtte en angriper. Det kan føre til både økt bevissthet og til utvikling av verktøy for å oppdage og bekjempe falskt eller skadelig innhold generert ved hjelp av språkmodeller og nye videogenereringssystem.

Den økte tilgjengeligheten av slike verktøy (demokratisering av angrepsverktøy) understreker behovet for å stadig styrke informasjonssikkerheten på alle nivåer, både gjennom tekniske løsninger og ikke minst økt digital kompetanse og bevissthet blant oss som borgere i et heldigitalt mediesamfunn.

Hvis den enkelte bruker av de ulike digitale medier – fra SMART-mobil til EL-bil – kan avvennes den naive troen på at digitale angrep bare er noe som skjer andre eller at falske nyheter aldri dukker opp i egen SOME-strøm, vil selv ikke kraftige matematiske modeller (språkmodeller) eller kraftige videogenereringsverktøy hjelpe kriminelle eller statlige aktører til økt suksess.

LESELISTE TIL DETTE KAPITTELET

Sikkerhetsmessige problemstillinger

Etiske problemstillinger

Juridiske problemstillinger

Læringsmessige problemstillinger