Model drift: waarom een AI-systeem dat vandaag goed werkt morgen faalt

Een model dat bij oplevering 92% nauwkeurig was, kan een jaar later 78% halen, zonder dat er ook maar één regel code veranderde. Het probleem zit niet in het model, maar in de wereld eromheen.

Geen bug, geen incident, geen deployment die iets brak. Een AI-model faalt zelden omdat het gisteren fout gebouwd werd. Het faalt omdat de wereld waarin het vandaag moet beslissen niet meer dezelfde is als die waarin het geleerd heeft.

Twee soorten drift

Data drift betekent dat het model nieuwe situaties ziet die afwijken van wat het geleerd heeft. De input verandert: andere klantgroepen, nieuwe producten, veranderend gedrag.

Concept drift betekent dat de betekenis van die input verandert. De signalen waarop het model vroeger kon vertrouwen, voorspellen de uitkomst niet meer op dezelfde manier.

Hoe je drift opspoort

Een driftmeting is geen doel op zich. De vraag is niet "is onze data veranderd?", maar "is die verandering groot genoeg om vertrouwen in de voorspellingen te verminderen?"

Tools als Evidently AI en NannyML zijn hier specifiek voor gebouwd: ze houden de statistische afstand tussen productiedata en trainingsdata bij, en signaleren wanneer die een drempel overschrijdt.

Van eenmalige validatie naar continue assurance

• Bepaal vooraf welke drift acceptabel is en welke een heractivatie van het validatieproces vereist.
• Zet monitoring op als onderdeel van de productiepijplijn, niet als los dashboard dat niemand raadpleegt.
• Plan retraining als proces, niet als noodgreep. Wie pas retraint wanneer klachten binnenkomen, loopt structureel achter op het probleem.
• Documenteer elke retraining als een nieuwe validatiecyclus: een bijgewerkt model is een ander model, met een eigen testverplichting.

Voor hoogrisicosystemen onder de EU AI Act is post-market monitoring geen aanbeveling maar een verplichting (artikel 72). Continue monitoring van modelgedrag en mogelijke drift is een belangrijke manier om aan die verplichting invulling te geven.

Een voorbeeld uit de praktijk

Een aanbevelingsmodel bij een e-commerceklant presteerde uitstekend tot het bedrijf een nieuwe productcategorie overnam via een overname. Binnen zes weken daalde de klikratio op aanbevelingen met bijna een derde, zonder dat er een release, een bug of een incident aan te wijzen was.

De monitoring signaleerde de datadrift twee weken vóór de klikratio zichtbaar daalde. Zonder die vroege waarschuwing was het probleem pas via klantenklachten aan het licht gekomen, weken later.

Wat we praktisch instellen bij klanten

• Een gedefinieerde drift-drempel, vooraf afgesproken met de business: welk niveau van afwijking triggert een onderzoek, welk niveau triggert automatisch een retraining?
• Monitoring als onderdeel van de pijplijn, met een concreet eigenaarschap: wie krijgt de melding, en wat is de verwachte reactietijd?
• Een vaste validatiecyclus bij elke retraining, ook wanneer die "automatisch" gebeurt: een bijgewerkt model doorloopt dezelfde tests als een nieuw model.