Je hoort tegenwoordig van alles over AI. Superintelligentie zou vlak om de hoek zijn. Tegelijkertijd kan ChatGPT nog steeds niet altijd correct tellen hoe vaak de letter ‘i’ voorkomt in het woord ‘intelligentie’.

Hoe zit dat nou precies?

Is AI nou echt zo slim, of is het vooral hype om investeerders aan te trekken?

In plaats van meteen partij te kiezen, leek het me zinvoller om eerst eens samen helder te krijgen hoe deze modellen werken. Want als je begrijpt wat een Large Language Model precies doet, kun je ook beter inschatten waar al die verwachtingen – en twijfels – vandaan komen.

In dit artikel leg ik daarom uit hoe LLMs functioneren, zonder te verdwalen in de wiskunde. We beginnen bij het begin: hoe zo’n model tekst verwerkt. Daarna kijken we hoe het leert. Onderweg zal duidelijk worden waarom AI soms briljant lijkt, maar soms ook verrassend domme fouten maakt.

Wat doet een LLM eigenlijk?

Een Large Language Model, letterlijk vertaald ‘groot taal model’, voorspelt telkens welk woord waarschijnlijk volgt in een tekst. Vervolgens voegt het dit woord toe aan de tekst en voorspelt het volgende woord. Net zolang totdat het model besluit dat het verhaal wel afgerond is. Soms wat abrupt — maar hé, wie is er niet af en toe ineens klaar met praten?

Om dat te kunnen zet het eerst woorden om in getallen genaamd word embeddings. Deze getallen representeren de betekenis van elk woord, waardoor het model verbanden kan leren zien.

Het model kent aan elk mogelijk vervolgwoord een kans toe, en kiest dan (meestal willekeurig) een van de waarschijnlijkste opties. Zo vormen chatbots zoals ChatGPT hun zinnen.

Dit is natuurlijk een enorme rekensom, en vereist een enorm model. Vandaar ook het ‘groot’ gedeelte.

Hoe leert zo’n model?

Tijdens het trainen krijgt het model zinnen te zien waarin telkens het laatste woord ontbreekt. Op basis van zijn interne instellingen doet het een voorspelling. Deze interne instellingen worden constant aangepast totdat het model zo vaak mogelijk het juiste woord voorspelt.

Transformatoren: de kracht van context.

Transformatoren zijn speciale lagen die de kern vormen binnen LLMs. Ze zorgen ervoor dat het model de betekenis van woorden kan verfijnen op basis van de andere woorden in de tekst. Het woord “helm” betekent bijvoorbeeld iets anders in een zin over ridders dan in een zin over Formule 1. De context maakt het verschil — tenzij je een tekst over middeleeuwse raceauto’s wil.

Hoe werkt dit?

Transformatoren verwerken tekst door voor elk woord een score toe te kennen aan alle andere woorden in de zin. Deze ‘aandachtscores’ bepalen hoeveel invloed die andere woorden krijgen bij het begrijpen van dat ene woord. Dit proces heet attention (aandacht).

Invuloefening

Klinkt abstract?

Neem bijvoorbeeld de volgende tekst:

“De ridder nam zijn zwaard aan van de schildknaap voordat hij vertrok naar het slagveld. Eenmaal aangekomen zag hij dat de <?>”

Om hier een goede voorspelling te kunnen doen voor het volgende woord moet het model begrijpen wie er bedoeld wordt met het woord hij. Daarvoor kent het model aan elk woord in de tekst een aandachtscore toe: hoeveel invloed dat woord moet hebben op de betekenis van hij. In dit geval zou het model moeten leren dat ridder hier belangrijker is dan schildknaap.

Maar het gaat nog verder. Dankzij eerdere lagen is het woord ridder zelf al verrijkt met informatie uit de rest van de zin. Het is dus niet zomaar een ridder — het is een ridder die vertrokken is, met een zwaard, naar een slagveld.

Zo weet het model dat een voorspelling als vijand waarschijnlijker is dan ridder of raceauto.

Het geheim achter de intelligentie

Indrukwekkend trucje. Maar hoe leert het model om dit te doen?

Gewoon goed oefenen.

Het model probeert tijdens de training allerlei manieren uit om woorden in een zin met elkaar te verbinden. Net zo lang totdat het een manier vindt waarop de juiste woorden de meeste aandacht krijgen — en dat leidt tot betere voorspellingen.

En dat is het geheim achter de intelligentie van een taalmodel: het kijkt slim om zich heen. Het denkt niet. Het voorspelt.

Sommigen noemen LLMs daarom gewoon slim klinkende papegaaien. En dat klopt wel een beetje: ze herhalen wat ze gezien hebben. Maar er is een hoop nodig is om dat volgende woord goed te kunnen voorspellen. Laat staan om dit op het juiste moment, op de juiste toon en in de juiste context te doen.

Menselijke bijsturing: RLHF

Om van een basismodel een gebruiksvriendelijke chatbot te maken, volgt daarom nog een tweede trainingsfase: Reinforcement Learning from Human Feedback (RLHF). Hierbij krijgt het model feedback van menselijke trainers die aangeven welke gegenereerde teksten goed en welke minder goed zijn. Op basis van deze feedback leert het model steeds beter om menselijker en relevanter te reageren.

Beperkingen

Ondanks al deze technieken maakt een LLM soms fouten die wij niet snel zouden maken:

• Het kan overtuigend klinkende onzin verkopen — iets waar sommige mensen ook zonder AI aardig goed in zijn.
• Het kan maar een beperkte hoeveelheid tekst tegelijk verwerken, en vergeet daardoor informatie uit langere gesprekken. Dit staat berucht als het context-window (context venster).
• Het neemt vooroordelen over uit trainingsdata.
• Het rekent slecht en redeneert beperkt. Maar ja, wat verwacht je van een model dat het eerste uitkraamt wat in zijn werkgeheugen op komt?

Slimmer redeneren met Chain-of-Thought

Met Chain-of-Thought prompting kun je het model beter laten presteren op complexe taken. Door expliciet om tussenstappen te vragen, spoor je het model aan om een probleem stap voor stap op te lossen. Zouden mensen trouwens ook vaker moeten doen.

Sommige modellen, zoals o1 en DeepSeek R1 zijn hier specifiek op getraind, wat ze geschikt maakt voor toepassingen zoals programmeren of wiskunde.

Waar kom je ze tegen?

LLMs worden niet alleen ingezet in chatbots, maar bijvoorbeeld ook als:

• Ingebouwde assistenten in apps. (Laat de AI vrij!)
• Autonome agents die simpele taken uitvoeren, of verprutsen.
• Onderdeel van een multimodale AI die kan luisteren, kijken én typen. Kan ik ook, overigens, maar niet allemaal tegelijk.

Meer weten?

In dit artikel hebben we een aardig basisbegrip gekregen van hoe een LLM werkt. Als je dit allemaal begrepen hebt ben je al een stuk verder dan de meeste mensen.

Maar, er valt natuurlijk nog veel meer over te vertellen. We zouden bijvoorbeeld meer aandacht kunnen geven aan begrippen zoals embeddings en tokenisering — of andere zaken verkennen, zoals wat er precies zo bijzonder is aan modellen zoals DeepSeek.

Lijkt je dat interessant?

Laat het me weten. Misschien dat ik daar in een volgend artikel eens dieper op inga.

Tot slot

LLMs voorspellen simpelweg het volgende woord. Ze denken niet zoals mensen. Maar, wat er allemaal nodig is om dat ene woord goed te voorspellen, dat is misschien wel het meest fascinerende van alles.

Zullen ze ooit onze banen overnemen, onze blogartikelen schrijven en ons doen geloven dat ze echt bewustzijn hebben? Of blijven het gewoon slim klinkende papegaaien met een belachelijk hoge stroomrekening?

De tijd zal het leren.

Wat denk jij?