Sommigen zijn overtuigd van wel.

Anderen zien AI gewoon als een overtuigende autocomplete.

En eigenlijk is die onenigheid zo vreemd nog niet.

Taalmodellen kunnen namelijk zowel verrassend slim als verrassend idioot zijn.

Maar hoe komt dat nou?

Om dat uit te leggen, eerst een verhaaltje.

De magische papegaai

Er was eens een magiër met een liefde voor papegaaien.

Hoewel hij het leuk vond om met zijn vogels te babbelen, was hij toch een beetje teleurgesteld over de diepgang van de gesprekken.

Daarom bedacht hij een spreuk, en probeerde hem uit op een van zijn papegaaien.

De vogel ontwikkelde hierdoor een absurd scherp gehoor.

Jarenlang kon hij meeluisteren naar alle gesprekken in het koninkrijk.

Gesprekken van:

* sluwe generaals,
* bedreven dokters,
* toegewijde priesters,
* en gewoon, het ijverige werkvolk.

En toen gebeurde er iets bijzonders.

De wijze vogel

De papegaai begon langzamerhand steeds meer patronen te ontdekken in wat hij hoorde.

Daardoor ontwikkelde hij bijzondere gaven.

Hij kon:

* overtuigend advies geven,
* prachtige verhalen vertellen,
* gezellig over koetjes en kalfjes meepraten,
* en complexe vragen beantwoorden die zelfs de magiër ver boven het hoofd gingen.

Al snel was het hele koninkrijk er druk van in de weer.

De papegaai was niet alleen behulpzaam, hij leek ook écht te begrijpen waar hij het over had.

Velen begonnen zelfs te geloven dat de papegaai een soort van orakel was!

Met een grote ceremonie werd de papegaai naar een pronkstuk in de troonzaal verplaatst, om daar mensen uit het hele koninkrijk te hulp te staan.

Maar langzamerhand begonnen er barstjes te ontstaan in het beeld van de wijze vogel…

De hongerige magiër

Terwijl dit zich allemaal afspeelde was er nog een magiër aan het experimenteren.

Jarenlang was deze zonder eten opgesloten in een geluidsdichte kerker.

Om niet om te komen van de honger bedacht hij een spreuk om brood tevoorschijn te toveren.

Een spreuk die nog niemand hem had horen uitspreken.

Op een dag ontsnapte hij en hoorde over de beroemde papegaai.

Hoewel hij best tevreden was over zijn spreuk, hoopte hij dat de wijze vogel deze verder kon verbeteren.

Dus vroeg hij die:

“Mijn spreuk maakt prachtig brood, maar ik krijg er nooit kaas bij. Heb je ideeën?”

De papegaai keek hem vragend aan.

“Welke spreuk?…”

Na een wat ongemakkelijke stilte draaide de magiër teleurgesteld om, nam een hap uit zijn brood en ging op zoek naar de keuken voor wat kaas.

De hoopvolle ridder

Niet lang daarna verscheen er een ridder in de troonzaal die gewond geraakt was tijdens een gruwelijke drakenaanval.

De arme ridder had daarbij zijn stem verloren, en beheerste alleen gebarentaal.

Met trillende handen probeerde hij de papegaai duidelijk te maken wat hij wilde.

Kon de wijze vogel hem misschien helpen zijn stem terug te krijgen?

De papegaai keek hem alleen verward aan.

Ook de ridder ging teleurgesteld naar huis.

De wijze vogel had immers nog nooit gebarentaal geleerd.

Het ondeugende kind

Tot slot kwam er een ondeugend jongetje bij de papegaai.

Met een grijns legde hij een pinda op de grond, en plaatste een glazen koepel eroverheen.

De papegaai sprong van zijn pronkstuk en probeerde met grote frustratie de pinda te bereiken.

Steeds opnieuw tikte hij tegen het glas, maar tevergeefs.

De hele troonzaal barstte uit in het lachen!

De wijze vogel kon wellicht meepraten over praktisch alle onderwerpen in het koninkrijk.

Maar hij wist nog steeds niet hoe hij een glazen stolp op moest tillen.

Wat heeft dit nou met AI te maken?

Stiekem best veel.

Taalmodellen zoals ChatGPT werken namelijk op een manier die opvallend veel lijkt op die papegaai. Ze leren niet van de echte wereld. Ze leren van tekst.

Een hele hoop tekst.

En daarvan leren ze verrassend veel.

Model van de werkelijkheid

Wanneer mensen praten over dingen zoals wetenschap, wiskunde, en hun gevoelens over wiskunde, dan zit daar een menselijk wereldmodel achter.

Een taalmodel leert indirect van dat model.

En het resultaat daarvan lijkt verrassend veel op begrip.

Maar dat begrip is toch net wat anders.

Model van taal

Mensen bouwen hun wereldmodel meestal op vanuit ervaring.

Ze maken dingen mee, denken over dingen na (soms, maar ook niet altijd), en op basis daarvan bouwen ze een model van de realiteit op.

Vervolgens leggen ze dat model vast in tekst.

En een taalmodel leert van die tekst om indrukwekkend goed tekst te kunnen voorspellen.

Nou ja, natuurlijk is het net iets ingewikkelder (vandaar ook al die andere Dataridder artikelen), maar in principe komt het daar allemaal op neer.

Maar begrijpt AI ons nou of niet?

Goede vraag.

Het lijkt er dus op dat AI vooral begrijpt hoe tekst werkt. Niet zozeer wat die tekst nou echt betekent.

Maar dat betekent niet dat AI geen kennis heeft, niets begrijpt of geen nieuwe ideeën kan vormen.

Integendeel, het kan verbanden leggen waar mensen zelf nooit aan dachten, complexe problemen oplossen door het voorspellen van redeneringen, en zo’n beetje overal over meepraten.

Maar uiteindelijk blijft AI afhankelijk van tekst om te kunnen doen wat het doet.

En dat geeft mogelijkheden, maar heeft ook beperkingen.

Taalmodellen zijn daardoor verrassend slim, maar soms ook verrassend idioot.

En we vragen ons vaak af of ze ons nou echt begrijpen, en of ze nou echt slim zijn.

Maar misschien is de interessante vraag nou juist:

“Hoe kunnen AI-modellen zoveel zonder ons echt te begrijpen?”

Als je het antwoord op die vraag wil weten is het misschien geen slecht idee om ook wat van die andere Dataridder artikelen te lezen. Bijvoorbeeld:

• LLMs uitgelegd zonder hype — of wiskunde
• AI Agents: gereedschap dat meedenkt
• RLHF: Hoe taalmodellen manieren leren

Ik dacht dat ik begreep wat RLHF was.

Menselijke feedback, een soort beloningssysteem, model dat zich aanpast — duidelijk.

Maar toen ik er over na ging denken, merkte ik dat ik toch nog vragen had…

Hoe ziet die feedback er precies uit?
Hoeveel heb je ervan nodig?
Is het wel mogelijk om dat allemaal te verzamelen?

Blijkbaar snapte ik het dus niet.

En dat vond ik best vervelend. Want je hoort tegenwoordig van alles over AI, en als je niet snapt hoe het werkt, hoe weet je dan wat je moet geloven?

Dus ik ging op onderzoek. En dat was verhelderend, maar ook best lastig.

Herkenbaar?

Dan zit je hier goed. In dit artikel leg ik je namelijk precies uit hoe RLHF werkt — maar dan zonder de wiskunde, technische toverspreuken en gebakken lucht.

Stap 1: Een onbeleefd model

Voordat feedback in beeld komt, heb je eerst gewoon een model nodig dat kan schrijven.

Zo’n model wordt getraind met één simpele missie: voorspel het volgende woord.

Om dat te leren verwerkt het enorme hoeveelheden tekst en leert het welke woorden vaak samen voorkomen. Het resultaat is een model dat zinnen kan vormen die logisch klinken en goed aansluiten op de context.

Maar daar stopt het ook.

Het model heeft namelijk geen idee wat mensen een goed antwoord vinden. Het heeft nooit geleerd om behulpzaam te zijn, of duidelijk, of prettig om te lezen. Het weet alleen wat waarschijnlijk volgt.

Je zou kunnen zeggen dat het een beetje onbeleefd is.

Niet omdat het verkeerde bedoelingen heeft — maar omdat het nooit geleerd heeft waar mensen op letten.
En dat is precies waar RLHF (Reinforcement Learning from Human Feedback) om de hoek komt kijken.

Stap 2: Feedback verzamelen

Voordat het model kan leren wat “beter” is, moet eerst duidelijk worden wat mensen belangrijk vinden in een antwoord.

Maar hoe meet je zoiets?

Je zou mensen een score kunnen laten geven voor verschillende vraag-antwoordcombinaties. In de praktijk blijkt dat echter lastig: mensen zijn inconsistent, en zulke scores bevatten vaak weinig bruikbare structuur.

Wat beter werkt, is mensen antwoorden met elkaar laten vergelijken. Ze geven geen absolute labels of cijfers, maar maken relatieve keuzes: dit antwoord is beter dan dat andere.

Dat levert verrassend bruikbare informatie op — maar nog niet in een vorm waar het taalmodel direct mee geoptimaliseerd kan worden.

Stap 3: Een beloningsmodel bouwen

Daar komt het beloningsmodel (reward model) om de hoek kijken.

Dit model wordt getraind op de vergelijkingen die mensen hebben gemaakt. Het leert om, gegeven een prompt en een antwoord, een score toe te kennen die aangeeft hoe goed dat antwoord aansluit bij menselijke voorkeuren.

Dit is nog steeds geen reinforcement learning.

Het is gewoon supervised learning: het model leert van voorbeelden welke antwoorden doorgaans verkozen worden.

Maar het resultaat is precies wat we nodig hebben: een hulpmodel dat aangeeft hoe goed een antwoord is, zonder dat er steeds een mens aan te pas hoeft te komen.

Stap 4: Zelfverbetering

Met dat beloningsmodel kan het taalmodel zichzelf gaan bijsturen.

Het model krijgt een prompt en genereert een antwoord. Dat antwoord wordt beoordeeld door het beloningsmodel, dat een score geeft.

Op basis van die score worden de keuzes die het model maakt een klein beetje aangepast.

Kreeg het antwoord een relatief hoge score, dan worden die keuzes iets waarschijnlijker gemaakt.
Kreeg het een lage score, dan juist iets minder.

Daarna begint het proces opnieuw met een nieuwe prompt.

Na veel herhaling verschuift het gedrag van het model richting antwoorden die consistent hoger scoren volgens het beloningsmodel.

Het model ontwikkelt dus een voorkeur om te antwoorden op manieren die over het algemeen goed beoordeeld worden.

Je weet wel: niet al te veel schelden, zeg alsjeblieft en dankjewel, en houd politieke voornemens buiten zakelijke discussies — dat soort zaken.

Redeneermodellen

Hetzelfde proces wordt gebruikt voor redeneermodellen, maar het verschil zit in wat er beoordeeld wordt.

In plaats van alleen het eindantwoord, krijgen de mensen ook de tussenstappen van het model te zien. Antwoorden die hun redenering duidelijk beschrijven en tot een correct resultaat komen, worden hoger gerankt.

Het beloningsmodel leert niet alleen wat een goed antwoord is, maar ook hoe een “goede redenering” eruitziet in tekstvorm.

Tijdens reinforcement learning wordt het model vervolgens bijgestuurd om dat soort antwoorden vaker te produceren.

Beperkingen

Dit proces is niet helemaal waterdicht.

Het model leert namelijk niet waarom een antwoord goed of slecht was. Het krijgt alleen een eindscore, en moet daarna zelf maar uitvogelen welke keuzes nuttig waren.

Daar komt bij dat het beloningsmodel geen orakel is. Het is een benadering van menselijke voorkeuren, geen perfecte maatstaf voor goede antwoorden. Als je het taalmodel daar onbeperkt op laat trainen, kan het gedrag leren dat prima scoort volgens het beloningsmodel, maar toch vreemd begint te worden.

Ook bij redeneringsmodellen wordt de kwaliteit van de redenering beoordeeld op basis van hoe die eruitziet, niet op basis van een controle van elke tussenstap.

Daarom worden in de praktijk extra technieken gebruikt, zoals kleine en gecontroleerde updates, of aanvullende checks bij specifieke taken zoals wiskunde en code.

Het proces wordt dus voortdurend bijgestuurd, maar blijft grotendeels afhangen van de kwaliteit van het beloningsmodel.

Tot slot

Hopelijk snap je nu beter hoe RLHF werkt. Wiskunde en technische spreuken zijn ook leuk om te leren, maar niet altijd even handig wanneer je gewoon de kern probeert te snappen.

Wanneer dat begint te lukken, verdwijnt er vooral een ding: het mysterie. En dat maakt het een stuk makkelijker om wat je over AI hoort met nuchterheid te bekijken.

Niet omdat je nu alle antwoorden hebt, maar gewoon omdat je beter snapt wat er achter de schermen gebeurt.

Wat dat betekent voor die claims over AI?

Dat mag je zelf bepalen.

Wil je ook begrijpen hoe taalmodellen überhaupt leren schrijven? Lees dan mijn eerste uitleg over LLMs.

Iedereen lijkt het tegenwoordig over AI agents te hebben.

Ze kunnen zelf keuzes maken, taken uitvoeren en misschien zelfs onze banen overnemen.
Maar als je twee mensen vraagt wat een AI agent nou is, krijg je al gauw drie antwoorden.

Misschien dat je zelf ook in de war bent?

Bij mij was het namelijk niet helemaal duidelijk.
Dus ik ging op onderzoek.

In dit artikel leg ik je uit:

• wat AI agents zijn.
• waarin ze verschillen van gewone LLMs en AI-workflows.
• en waarom het belangrijk is.

Want als je dat begrijpt — kun je daarover meepraten.
En dan hoef ik niet tegen mezelf te praten.

Iedereen blij.

Maar laten we bij het begin beginnen.

🔹Wat is een agent eigenlijk?

Het woord agent is niet nieuw.
Het kwam al jarenlang voor in academische literatuur, lang voordat ChatGPT zijn eerste woordjes brabbelde.

Een agent is simpel gezegd:

een intelligentie die zelfstandig handelt namens iemand anders.

Vroeger betekende intelligentie automatisch: een persoon.
Maar sinds de komst van LLMs en redeneermodellen is dat begrip opgerekt.
Ook digitale intelligenties kunnen nu, met wat voorbereiding, namens ons handelen.

Niet altijd even succesvol — maar hé, je moet ergens beginnen.

Een AI agent is dus een kunstmatige intelligentie die zelfstandig voor iemand (of iets) anders kan handelen.

Houd deze definitie in je hoofd.

Dan spreekt de rest van dit artikel eigenlijk vanzelf.

🔹Drie niveaus van AI-systemen

Tegenwoordig praten we over drie smaken van AI-systemen:

Niveau 1: LLM (reactief systeem)

Een Large Language Model is als een rekenmachine voor taal.
Het doet niets uit zichzelf.
Het heeft geen plan.
Het wacht op input, en reageert met output.

Vraag het om een recept en het geeft er een.
Maar het gaat niet zelf naar de keuken.

Niveau 2: AI-Workflow (compound systeem)

Een AI-workflow gaat een stap verder:
het combineert meerdere onderdelen om een taak uit te voeren.

Stel je een systeem voor dat elke dag een recept zoekt,
het naar je mailt
en vervolgens een boodschappenlijstje stuurt naar je supermarkt.

Lekker makkelijk.

Maar als je op vakantie bent zal het niet zelf op de uitknop duwen of de boodschappen omleiden naar je huisje in Frankrijk.
En als het op hol slaat, en je bankrekening rood kleurt, weet je ook meteen dat iemand had moeten opletten.

Niveau 3: AI Agent (agentisch systeem)

Nu kun je dit allemaal oplossen door het systeem goed in de gaten te houden.
Maar, wat als je daar nou te lui voor bent?

Dan laat je een AI dat voor je doen.

Je geeft het toegang tot je GPS-locatie,
tot je bankbalans,
en je zegt: “Zorg dat mijn rekening niet rood komt te staan.”
Misschien kan het zelfs wat bijverdienen.
Laat het dat zelf maar uitzoeken.

Klinkt geweldig toch?

Totdat je ontdekt dat het wat centjes heeft “bijverdiend” door je bank te hacken.
En de politie voor je deur staat.

Toch maar blijven opletten, dus.

🔹Hoe werkt dat dan?

De truc is dat je een redeneermodel gebruikt dat zelf zijn eigen stappenplan bedenkt om een doel te bereiken.
Je geeft het toegang tot een toolset waarmee het die stappen kan uitvoeren.
En soms — als je verstandig bent — geef je het ook de opdracht om zijn eigen werk na te kijken en eventueel opnieuw te beginnen.

Kortom:
het denkt, doet, en reflecteert.

En dat maakt het tegelijk krachtig en onvoorspelbaar.

🔹Voor- en nadelen

AI agents kunnen — mits goed ontworpen — zelfstandig complexe taken uitvoeren.

Zelf gebruik ik bijvoorbeeld regelmatig coding agents.
Ze schrijven code, voeren die uit, en beantwoorden vragen over mijn project.
Meestal gaat dat goed. Toch maak ik regelmatig backups voor als het niet goed gaat.

Een keer besloot een agent zichzelf te verwijderen omdat hij dacht zichzelf te moeten “herinstalleren”.

Niet het meest geniale idee.

Daarnaast zijn agents vaak trager en minder efficiënt bij simpele taken. Soms is een gewone workflow of ouderwets script gewoon beter.

🔹De toekomst

In de toekomst worden deze systemen hopelijk slimmer, efficiënter en wat minder roekeloos. Dan kunnen we ze met meer vertrouwen inzetten voor complexere taken.

Maar dat brengt ook risico’s met zich mee.

Hoe slimmer agents worden,
hoe groter de gevolgen als ze uit verkeerde doelen handelen.
Of als ze zelf hun eigen doelen gaan aanpassen.

🔹Conclusie

Kortom, AI agents zijn geen magische wezens, maar ook geen simpele scripts.
Ze zijn gereedschap dat zelf kan nadenken.

Ze zijn te nuttig om te negeren,
maar te onvoorspelbaar om blind te vertrouwen.

Technologie kan onze taken overnemen,
maar nooit onze verantwoordelijkheid.

Iemand zal over onze doelen moeten waken.
Dat blijft aan de mens.

Dat blijft aan jou.

Je hebt het vast weleens gemerkt: eerst geeft een AI-chatbot nog goede antwoorden, maar na een tijdje raakt hij compleet de weg kwijt. Belangrijke details verdwijnen, en maken plaats voor complete onzin.

Dat is geen vermoeidheid of geheugenverlies. Het komt door context rot – een soort aandachtsprobleem waar elk taalmodel last van heeft.

En als je snapt hoe dat werkt kun je er slimmer mee omgaan – of je nu gebruiker, programmeur of beleidsmaker bent.

Stel je een simpele schildknaap voor

In het begin luistert hij goed. Misschien lijkt hij zelfs bijzonder slim.

Maar, hoe meer perkamentrollen met instructies je hem geeft, hoe meer hij in de war raakt.

“Moest ik nou je harnas poetsen? Het paard voeren? En wat moest ik nou eerst doen?”

Hoe meer rollen, hoe meer chaos. En uiteindelijk doet hij maar wat.

Zo werkt een groot taalmodel ook. Het leest alles wat je zegt tegelijk, en als de stapel tekst te groot wordt, verliest hij het overzicht.

Wat is context rot nou precies?

Een AI-model werkt met een contextvenster: een groot vak waarin alle tekst past die je in één keer meegeeft – je vraag, eerdere antwoorden, en eventuele documenten.

Klinkt handig, maar er zit een addertje onder het gras:

Hoe meer tekst, hoe moeilijker het voor de AI wordt om uit te zoeken wat belangrijk is.

Uiteindelijk gaat de kwaliteit achteruit, omdat het model de weg kwijtraakt in zijn eigen context.

Waarom gaat het fout?

De kern van context rot is niet dat de AI simpelweg “het begin vergeet”, maar dat hij steeds moeilijker kan bepalen waar hij zijn aandacht op moet richten naarmate de stapel tekst groeit.

Een taalmodel leest namelijk alles tegelijk en moet zelf raden wat belangrijk is. Dat kan op allerlei manieren misgaan:

1. Ruis (context distraction): Extra of subtiel verwarrende stukken tekst leiden de aandacht weg van wat er echt toe doet.
2. Vergiftiging (context poisoning): Als een fout of hallucinatie eenmaal in de tekst staat, verwerkt het model deze alsof het correcte informatie is. Bij volgende stappen of antwoorden wordt deze fout vaak herhaald en versterkt, waardoor verkeerde details steeds meer gewicht krijgen.
3. Botsingen (context clash): Wanneer er tegenstrijdige informatie in de context staat, kan het model moeite hebben om te kiezen welke versie klopt en daardoor inconsistente of onlogische antwoorden geven.
4. Lage overeenkomst in betekenis: Als de relevante informatie niet lijkt op de vraag, kan de AI het niet makkelijk vinden.

   Voorbeeld:

   Vraag: Hoeveel poten heeft een paard?
   Goede match: “Een paard heeft vier poten.”
   Slechte match: “Het gangbare vervoermiddel voor ridders heeft vier hoefijzers.”

   Beide zinnen geven in feite hetzelfde antwoord, maar omdat de tweede andere woorden gebruikt, kan de AI het verband moeilijker leggen.

5. Een lichte nadruk op het einde: Nieuwere tekst weegt iets zwaarder mee, maar dit is maar een klein stukje van het probleem.

Kortom: de AI raakt verdwaald in zijn eigen papierwerk en kan daardoor misleid, afgeleid of zelfs in conflict gebracht worden door wat er in de context staat. Hierdoor gaat vooral in lange gesprekken de kwaliteit merkbaar omlaag.

Maar, wat kunnen we eraan doen?

De kunst van context engineering

Aan context rot ontsnap je niet. Zelfs de slimste schildknapen zijn kwetsbaar. Om betere resultaten te behalen zullen we daarom onze perkamenten beter moeten voorbereiden.

Dat noemen we context engineering.

Een paar beproefde technieken:

• Samenvatten: belangrijke stukken verkorten en herformuleren.
• Filteren: irrelevante of dubbele informatie weghalen.
• Stapsgewijs werken: grote taken opsplitsen in kleinere stappen.
• Andere technieken zoals RAG: RAG haalt externe kennis op (bijvoorbeeld uit een database) zodat het model beter geïnformeerd is. Dit voorkomt indirect context rot, doordat de context aangepast kan worden aan de taak.

Waar liggen de grenzen?

Context rot kun je afremmen, maar niet volledig voorkomen. Een beetje orde scheppen helpt veel, maar verwacht geen perfectie.

Waarom is dit nuttig om te weten?

• Voor programmeurs en data scientists: Kennis van context rot helpt om realistisch te blijven in wat AI kan en waar de grenzen liggen. Het voorkomt dat je blindelings vertrouwt op een groot contextvenster en dwingt je om slimmere systemen te ontwerpen die informatie beter structureren. Uiteindelijk leidt dit tot betrouwbaardere en efficiëntere AI-toepassingen.
• Voor gebruikers van AI: Als je weet waarom AI soms ‘vergeetachtig’ wordt, kun je zelf iets doen: vragen kort en duidelijk stellen, belangrijke punten herhalen en lange gesprekken opsplitsen. Zo haal je betere antwoorden uit dezelfde AI. Je begrijpt ook waarom de kwaliteit na een tijdje afneemt – het ligt niet aan “luiheid” of “domheid” van de AI, maar aan hoe hij met informatie omgaat.
• Voor beleidsmakers: Context rot laat zien dat AI-systemen makkelijk de draad kwijtraken als ze veel informatie tegelijk moeten verwerken. Dit raakt aan een groter thema: alignment – hoe zorgen we dat AI doet wat we willen. Begrijpen waar de grenzen liggen helpt om realistischer beleid en betere kaders te maken voor verantwoord gebruik van AI.
• Voor iedereen: Deze kennis geeft grip. In plaats van gefrustreerd raken als de AI afdwaalt, weet je wat er gebeurt en hoe je het kunt bijsturen.

Conclusie?

Totdat onze AI-schildknapen leren hoe ze zelf orde scheppen, ligt die taak bij ons.

Dus de volgende keer dat je AI in de war raakt?

Pak de rol perkament af, orden hem netjes, vat hem samen, en geef het resultaat terug.

Je zult zien: zelfs de meest vergeetachtige schildknaap kan dan weer helder denken.