Hallucinaties bij LLM's: hoe meet je dat

Het lastige aan een hallucinatie is dat ze er zelden onzeker uitziet. Het model twijfelt niet, het antwoordt gewoon fout. Hoe maak je dat testbaar?

Een taalmodel dat iets verzint (een niet-bestaand rapport, een verkeerd jaartal, een citaat dat nooit is uitgesproken) presenteert dat met exact dezelfde stelligheid als een correct antwoord. Er is geen foutmelding, geen laag-vertrouwenswaarschuwing. Gewoon een zelfverzekerd fout antwoord.

Voor een experiment is dat misschien nog aanvaardbaar. Zodra een LLM klantvragen beantwoordt, medewerkers adviseert of beslissingen ondersteunt, wordt elke onbeheerde hallucinatie een kwaliteits- en vertrouwensrisico.

Twee soorten hallucinatie

Intrinsieke hallucinatie is het makkelijkst op te sporen: het model beweert iets dat rechtstreeks ingaat tegen de brontekst die het kreeg.

Extrinsieke hallucinaties zijn lastiger. Het model voegt informatie toe die niet uit de bron komt. Die informatie kan toevallig correct zijn, maar ze is niet onderbouwd door de context waarop het antwoord zou moeten steunen. In domeinen waar juistheid telt, zijn beide vormen een probleem.

Hoe je het meetbaar maakt

Bij RAG-systemen (retrieval-augmented generation) komt daar een extra laag bovenop: een hallucinatie kan ontstaan omdat het model foutief redeneert, maar evengoed omdat de opgehaalde brondocumenten zelf niet relevant of niet correct waren. Wie enkel de output test en niet de retrieval-stap, mist de helft van het probleem.

Wat je in de praktijk opbouwt

• Een testset met bekende, geverifieerde antwoorden waartegen je elke modelversie aftoetst vóór release.
• Een groundedness-metric die per antwoord scoort, niet enkel een globaal gemiddelde, zodat je weet in welke scenario's het misgaat.
• Continue monitoring in productie, met steekproefsgewijze menselijke controle op nieuwe of ongebruikelijke vragen.
• Een escalatiepad voor wanneer het model onzeker zou moeten zijn maar dat niet laat blijken, bijvoorbeeld door bronverwijzingen verplicht te maken.

Hallucinatie volledig elimineren is met de huidige generatie modellen niet realistisch. Het meetbaar en beheersbaar maken, wel, en dat is precies het verschil tussen een demo en een productiesysteem.

Een voorbeeld uit de praktijk

Bij een klantenservice-bot die antwoordt op basis van interne productdocumentatie (een RAG-opzet) testten we honderd vragen tegen een vaste kennisbank. Het antwoordpercentage met een correct onderbouwd antwoord lag aanvankelijk op 82%.

Het grootste deel van de hallucinaties kwam dus niet uit het model zelf, maar uit de retrieval-stap: de zoekfunctie haalde het verkeerde productblad op, waarna het model plichtsgetrouw, en verkeerd, een antwoord bouwde op basis van die foute bron. Een test die enkel de output beoordeelde, had de oorzaak gemist.

Wat we in dit soort trajecten meten

• Retrieval-precisie apart van antwoordkwaliteit. Haalt het systeem het juiste brondocument op, los van wat het daarna met die informatie doet?
• Een vaste testset met bekende antwoorden, opnieuw gedraaid bij elke wijziging aan het model, de prompt of de kennisbank.
• Verplichte broncitatie in elk antwoord, zodat een reviewer (en de gebruiker) kan nagaan waarop een bewering precies steunt.
• Een expliciete "ik weet het niet"-drempel, zodat het model bij onvoldoende onderbouwing liever doorverwijst dan gokt.