Je hebt het vast weleens gemerkt: eerst geeft een AI-chatbot nog goede antwoorden, maar na een tijdje raakt hij compleet de weg kwijt. Belangrijke details verdwijnen, en maken plaats voor complete onzin.

Dat is geen vermoeidheid of geheugenverlies. Het komt door context rot – een soort aandachtsprobleem waar elk taalmodel last van heeft.

En als je snapt hoe dat werkt kun je er slimmer mee omgaan – of je nu gebruiker, programmeur of beleidsmaker bent.

Stel je een simpele schildknaap voor

In het begin luistert hij goed. Misschien lijkt hij zelfs bijzonder slim.

Maar, hoe meer perkamentrollen met instructies je hem geeft, hoe meer hij in de war raakt.

“Moest ik nou je harnas poetsen? Het paard voeren? En wat moest ik nou eerst doen?”

Hoe meer rollen, hoe meer chaos. En uiteindelijk doet hij maar wat.

Zo werkt een groot taalmodel ook. Het leest alles wat je zegt tegelijk, en als de stapel tekst te groot wordt, verliest hij het overzicht.

Wat is context rot nou precies?

Een AI-model werkt met een contextvenster: een groot vak waarin alle tekst past die je in één keer meegeeft – je vraag, eerdere antwoorden, en eventuele documenten.

Klinkt handig, maar er zit een addertje onder het gras:

Hoe meer tekst, hoe moeilijker het voor de AI wordt om uit te zoeken wat belangrijk is.

Uiteindelijk gaat de kwaliteit achteruit, omdat het model de weg kwijtraakt in zijn eigen context.

Waarom gaat het fout?

De kern van context rot is niet dat de AI simpelweg “het begin vergeet”, maar dat hij steeds moeilijker kan bepalen waar hij zijn aandacht op moet richten naarmate de stapel tekst groeit.

Een taalmodel leest namelijk alles tegelijk en moet zelf raden wat belangrijk is. Dat kan op allerlei manieren misgaan:

1. Ruis (context distraction): Extra of subtiel verwarrende stukken tekst leiden de aandacht weg van wat er echt toe doet.
2. Vergiftiging (context poisoning): Als een fout of hallucinatie eenmaal in de tekst staat, verwerkt het model deze alsof het correcte informatie is. Bij volgende stappen of antwoorden wordt deze fout vaak herhaald en versterkt, waardoor verkeerde details steeds meer gewicht krijgen.
3. Botsingen (context clash): Wanneer er tegenstrijdige informatie in de context staat, kan het model moeite hebben om te kiezen welke versie klopt en daardoor inconsistente of onlogische antwoorden geven.
4. Lage overeenkomst in betekenis: Als de relevante informatie niet lijkt op de vraag, kan de AI het niet makkelijk vinden.

   Voorbeeld:

   Vraag: Hoeveel poten heeft een paard?
   Goede match: “Een paard heeft vier poten.”
   Slechte match: “Het gangbare vervoermiddel voor ridders heeft vier hoefijzers.”

   Beide zinnen geven in feite hetzelfde antwoord, maar omdat de tweede andere woorden gebruikt, kan de AI het verband moeilijker leggen.

5. Een lichte nadruk op het einde: Nieuwere tekst weegt iets zwaarder mee, maar dit is maar een klein stukje van het probleem.

Kortom: de AI raakt verdwaald in zijn eigen papierwerk en kan daardoor misleid, afgeleid of zelfs in conflict gebracht worden door wat er in de context staat. Hierdoor gaat vooral in lange gesprekken de kwaliteit merkbaar omlaag.

Maar, wat kunnen we eraan doen?

De kunst van context engineering

Aan context rot ontsnap je niet. Zelfs de slimste schildknapen zijn kwetsbaar. Om betere resultaten te behalen zullen we daarom onze perkamenten beter moeten voorbereiden.

Dat noemen we context engineering.

Een paar beproefde technieken:

• Samenvatten: belangrijke stukken verkorten en herformuleren.
• Filteren: irrelevante of dubbele informatie weghalen.
• Stapsgewijs werken: grote taken opsplitsen in kleinere stappen.
• Andere technieken zoals RAG: RAG haalt externe kennis op (bijvoorbeeld uit een database) zodat het model beter geïnformeerd is. Dit voorkomt indirect context rot, doordat de context aangepast kan worden aan de taak.

Waar liggen de grenzen?

Context rot kun je afremmen, maar niet volledig voorkomen. Een beetje orde scheppen helpt veel, maar verwacht geen perfectie.

Waarom is dit nuttig om te weten?

• Voor programmeurs en data scientists: Kennis van context rot helpt om realistisch te blijven in wat AI kan en waar de grenzen liggen. Het voorkomt dat je blindelings vertrouwt op een groot contextvenster en dwingt je om slimmere systemen te ontwerpen die informatie beter structureren. Uiteindelijk leidt dit tot betrouwbaardere en efficiëntere AI-toepassingen.
• Voor gebruikers van AI: Als je weet waarom AI soms ‘vergeetachtig’ wordt, kun je zelf iets doen: vragen kort en duidelijk stellen, belangrijke punten herhalen en lange gesprekken opsplitsen. Zo haal je betere antwoorden uit dezelfde AI. Je begrijpt ook waarom de kwaliteit na een tijdje afneemt – het ligt niet aan “luiheid” of “domheid” van de AI, maar aan hoe hij met informatie omgaat.
• Voor beleidsmakers: Context rot laat zien dat AI-systemen makkelijk de draad kwijtraken als ze veel informatie tegelijk moeten verwerken. Dit raakt aan een groter thema: alignment – hoe zorgen we dat AI doet wat we willen. Begrijpen waar de grenzen liggen helpt om realistischer beleid en betere kaders te maken voor verantwoord gebruik van AI.
• Voor iedereen: Deze kennis geeft grip. In plaats van gefrustreerd raken als de AI afdwaalt, weet je wat er gebeurt en hoe je het kunt bijsturen.

Conclusie?

Totdat onze AI-schildknapen leren hoe ze zelf orde scheppen, ligt die taak bij ons.

Dus de volgende keer dat je AI in de war raakt?

Pak de rol perkament af, orden hem netjes, vat hem samen, en geef het resultaat terug.

Je zult zien: zelfs de meest vergeetachtige schildknaap kan dan weer helder denken.