«What is the problem for which LLMs are the solution?»
– Jeffrey Bilbro, PhD, 2023 (1)
«Så hva er kunstig intelligens? Først og fremst er det et gammelt fagfelt med et misvisende navn. Som helhet har fagfeltet vært en skuffelse, fordi ordet «intelligens» antyder et løfte disse løsningene aldri har vært i nærheten av å innfri. Samtidig er ideer derfra blitt brukt til å lage IT-løsninger i flere tiår.»
– Bjørn Stærk, 2023 (2)
«A system that most of us would think of as real AI – something that can, more or less, think like us – is known in Computer Science as Generalised Artificial Intelligence, and it is nowhere on the horizon. The term Artificial Intelligence is used instead to apply to anything produced using techniques designed in the quest for real AI. It’s not intelligent. It just does some stuff that AI researchers came up with, and that might look a bit smart. In dim light. From the right angle. If you squint.»
– Linda McIver, PhD, 2023 (3)
«One problem with the term “artificial intelligence” is that it gets tossed around so carelessly. The current AI chatbot narrative centers around the use of natural language processing (NLP), for example, but Google Search has been using NLP in its search results for a long time. AI is a marketing term used to generate hype, and the tech media is buying right into it.»
– Skyler Schain, 2023 (4)
«Contrary to the impression they might create, LLMs are not built for complex reasoning.»
– Mikhail Burtsev, Martin Reeves, og Adam Job, 2023 (5)
«Today’s AI systems – particularly generative AI tools such as ChatGPT – are not truly intelligent. What’s more, there is no evidence they can become so without fundamental changes to the way they work.»
– Professor Paul Compton, 2024 (6)
La oss starte med følgende påstand:
ChatGPT, Microsoft CoPilot og lignende samtaleroboter er ikke eksempler på Kunstig Intelligens (KI). Dette er verktøy som baserer seg på statistiske beregninger. De er som store og avanserte dataspill, der du som spiller får følelsen av at det ikke finnes noen begrensninger på hvor du kan gå eller hva du kan gjøre. Men man skal ikke utforske en slik avansert spillverden særlig mye før en ser at i virkeligheten får man kun gå og gjøre det spillets utviklere har bestemt. Slik er det også med ChatGPT og lignende verktøy. De utfører fantastisk hurtige statistiske beregninger av tilgjengelig informasjon og sannsynlig sammensetning av bokstaver, men alt systemene gjør er bestemt på forhånd av programkode.
Altså: Samtaleroboter, og de språkmodeller de er basert på, er designet for å etterligne menneskelig språkforståelse og språkbruk, men de er fortsatt begrenset av de teknologiske og vitenskapelige prinsippene de (og all annen informasjonsteknologi) er bygget på.
Så selv om samtaleroboter kan utføre til dels imponerende oppgaver og gi inntrykk av å forstå og resonnere, er de rett og slett program som følger forhåndsdefinerte algoritmer og mønstre. De kan kun analysere og generere tekst basert på mønstre i dataene de har fått lagt inn og de parametre for tolkning (inklusive stikkord for ting programmet skal unngå) som er innprogrammert, men de har ingen egen forståelse eller bevissthet.
Samtaleroboter kan altså ikke tenke, de kan ikke resonere og de foretar absolutt ingen analyser av verken det brukeren spør om eller de «svar» programkoden løfter frem. Dermed følger det rent logisk, så vel som teknisk, at en samtalerobot ikke kan «føre mennesker bak lyset» eller frykte å bli erstattet av en annen modell eller slått av.
Som professor Gary Marcus sier i sin kommentar til forskningsartikkelen «Frontier Models are Capable of In-context Scheming»; – «Yes, LLMs can do all this even if they are essentially just analogizing regurgitation machines with no real world model. They have lots of examples in the database — and little capacity to compute the internal consistency of their own actions. Worse, they do not actually calculate the consequences of their actions at all. They can’t reliably sanity check themselves for hallucinations, and they can’t reliably sanity check for whether what they are doing is harmful.»
Når vi leser denne type undersøkelser, gjerne via media, må vi huske på at samtaleroboter er dataprogram laget for å reproduserer ikke bare grammatiske og leksikalske mønstre, men også typiske mønstre for hele sjangre, type fortellinger, osv. Dette gjør de helt uten noen form for egen tankevirksomhet eller hensikt. De går bare gjennom settene med bokstaver, setter dem sammen til statistisk sannsynlige setninger og deretter i en dertil egnet samtaleform, basert på mønstrene de er blitt programmert med.
Dersom forskere (eller andre brukere) legger inn kommandoer/ promting som gir mønstre som statistisk sett peker mot «bedrag», altså det å nekte for noe eller påstå noe, eller foreta handlinger som flytting av data ol. (handlinger som altså allerede ligger innprogrammert som del av et, eller flere, handlingssett), så vil verktøyet utføre denne type «handling/ handlinger».
Det at et verktøy kan utføre handlinger de er programmert for, er ikke et tegn på at de er «intelligente» i betydningen av at de tenker og handler på egenhånd.
Jeg er ikke alene, verken nasjonalt eller internasjonalt, om å mene at ChatGPT og lignende språkmodeller overhode ikke er «intelligente».
«Den superintelligente KI-en har på en måte alle Guds egenskaper: Den er allmektig, allvitende, og enten velvillig, eller så er den Djevelen og du er i dens nåde. Som i enhver sekt er det også en følelse av hastverk. Du må handle nå! Verdens skjebne står på spill! Og selvfølgelig trenger du penger!»
– Inga Strümke, PhD. og Anders Løland, PhD., 2024 (7)
Hvis vi skal sette noen merkelapp på OpenAI sin ChatGPT og de andre samtalerobotene vi er blitt presentert for gjennom 2023 og nå i 2024, så kan det kanskje (med store modifikasjoner) bli «ekspertsystemer». Men ChatGPT og lignende systemer er ikke ekspertsystemer i tradisjonell forstand. Selv om de kan gi informasjon og svare på spørsmål, mangler de den eksplisitte kunnskapsrepresentasjonen som er karakteristisk for ekspertsystemer.
Vi kan heller ikke kalle dem for søkemotorer, i betydningen av at verktøyet henter frem lenker til websider, dokumenter ol. som passer til søkeordet eller setningen. ChatGPT og lignende verktøy kan sammenfatte informasjon fra ulike kilder og presentere noe som ser ut som et svar, og i de nyeste versjonene viser de til kilder. Men ved nærmere ettersyn er det ikke alltid kildene er relevante, eller rent faktisk inneholder samme informasjon som det svar samtaleroboten gir.
Så kanskje vi ganske enkelt skal venne oss til følgende:
- Kalle disse verktøyene samtaleroboter.
- Vite at når noe kalles samtalerobot, så betyr det digitale system basert på språkmodeller og som er programmert til å foreta statistiske beregninger av sannsynlig ønsket informasjon og gi et output bestående av statistisk beregnede sammensetninger av bokstaver som til sammen utgjør en menneskelignende fremstilling av tilsynelatende korrekt informasjon.
- Vite at fremstillingen fra disse verktøyene er uten noen form for faglig analyse av validitet – verken i forhold til spørsmålet, innhentet informasjon og dets kilder eller resultatet (svaret).
- Vite at samtaleroboter ikke forstår hva vi spør om og heller ikke forstår svaret de presenterer.
«This is always a huge frustration for me. Even within groups that actually use AI more, and even engineers, I hear them talking about “reasoning”.
But we know and have known how LLMs work—and some of the results are super impressive! But they are fancy auto-completes that simulate having the ability to think, and those of us that use and actually build some of them should know—it’s a bunch of matrix multiplication to learn associations.
I respect the idea of emergent properties and this paper does a good job addressing it, but it’s just incredibly frustrating to hear people being loose with language who should know better. Including OpenAI with their new models.»
– James Wang, 2024 (8)
Før du leser videre i denne bloggboken, bør du lese litt om både KI generelt og hvordan verktøy som ChatGPT rent konkret fungerer.
Leseliste
Innledende
- Om kunstig intelligens
- The history of artificial intelligence, Del 1, Del 2 og Del 3
- Understanding the different types of artificial intelligence
- Artificial intelligence: How is it different from human intelligence?
- Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts
Spesifikt
- The Statistical Magic Behind Chat GPT:How AI Learns to Talk
- How Large Language Models work – From zero to ChatGPT
- How does ChatGPT generate human-like text?
- Understanding Large Language Models and Their Implications: An Interview with OpenAI’s CTO
