Wat AI-testing vandaag nog niet kan

De meeste “AI testing tools” zijn een GPT-wrapper met een mooie interface. Een nuttig filter om te scheiden wat écht werkt van conference-demo-magie.

Na 25 jaar QA-podcasts en honderden interviews met testleiders blijft, ondanks een stortvloed aan "agentic QA"-marketing, één observatie overeind. Dat is geen cynisme: het is een nuttig uitgangspunt om te bepalen wat een tool écht oplost.

Wat vandaag productierijp is

// In productie bij serieuze teams

Self-healing locatorsja, met menselijk toezicht

Testgeneratie uit specificatiesja, als startpunt

Volledig autonome testing zonder toezichtnee, nog niet

Teams bij grote technologiebedrijven die AI in productie gebruiken voor testen, zijn opvallend selectief: ze zetten AI in op specifieke, afgebakende problemen (flaky-test-detectie, selector-herstel, testgeneratie voor Playwright), niet als vervanging van hun volledige testaanpak.

AI neemt het repetitieve, uitputtende werk over dat goede engineers doet afhaken. Wat het niet doet: begrijpen welk bedrijfsrisico ertoe doet, of een oordeel vellen wanneer een testresultaat ambigu is.

Drie signalen dat je naar hype kijkt, niet naar een product

"Onze AI test alles autonoom, zonder mensen"

Dit soort claims overleeft zelden een eigen proof-of-concept. Vraag altijd naar een demo op jouw eigen applicatie, niet op de gepolijste showcase van de vendor.

Benchmarks zonder methodologie

"90% minder onderhoud" zegt niets zonder te weten op welke applicatie, onder welke omstandigheden, en vergeleken met wat. Self-healing-benchmarks zijn zelden vergelijkbaar tussen vendoren.

Geen zichtbaarheid in wat het systeem precies deed

Een tool die wijzigingen doorvoert zonder logboek of reviewmogelijkheid, bouwt technische schuld op die je pas later ontdekt.

Wat wel werkt, in de juiste volgorde

Start bij de pijn, niet bij de hype. Verlies je tijd aan flaky tests door CI/CD? Kost testonderhoud een dag per sprint? Ontbreekt de dekking om vol vertrouwen te releasen? Zoek dan het tool dat dát specifieke probleem oplost, niet het platform dat belooft alles tegelijk te doen. Een gerichte oplossing die één probleem écht oplost, levert meer op dan een compleet platform dat overal een beetje bijdraagt.

Wij evalueren AI-testtools op precies die manier: niet op basis van de marketingclaim, maar op basis van wat ze op jouw eigen suite daadwerkelijk oplossen.

Een voorbeeld uit de praktijk

Een vendor demonstreerde een "volledig autonome AI-tester" die zonder menselijke tussenkomst een volledige regressiesuite zou opbouwen en onderhouden. Op de eigen demo-applicatie van de vendor werkte dat vlekkeloos. Op de suite van een klant, met een iets complexere multi-stap checkout, faalde de tool op stap drie van vijf: hij kon geen betrouwbaar onderscheid maken tussen een tussentijds laadscherm en een daadwerkelijke fout.

// Wat de proof-of-concept blootlegde

Op de demo-applicatie van de vendorwerkte zoals beloofd

Op de eigen checkout-flow van de klantfaalde op stap 3 van 5

Nodige aanpassinghandmatige configuratie per stap

Dat is geen uitzondering, het is de regel: een tool die op een gecontroleerde demo perfect werkt, zegt weinig over hoe hij presteert op een applicatie met eigen eigenaardigheden. De enige manier om dat verschil te zien, is testen op je eigen suite, niet op die van de vendor.

Een praktische vragenlijst voor een vendor-gesprek

"Mag ik dit testen op mijn eigen applicatie, niet op uw demo?" Een leverancier die hierop aarzelt, geeft zelf al een antwoord.
"Wat gebeurt er wanneer het systeem het fout heeft?" Een goed antwoord beschrijft een concreet reviewproces; een vaag antwoord ("dat gebeurt zelden") is een waarschuwingssignaal.
"Kan ik elke automatische wijziging inzien en terugdraaien?" Zonder logboek en rollback bouw je vertrouwen op een black box.

// Geen hype, wel resultaat

Twijfel je welke AI-testtools voor jou daadwerkelijk waarde bieden?

We evalueren tools op jouw eigen suite, niet op de showcase van de vendor.

Plan een gesprek