Het gebruik van AI neemt toe. En daarmee ook de inzet van zogenaamde black box-modellen. Maar enkel vertrouwen op AI-modellen die geen interpretatie mogelijk maken is gevaarlijk voor organisaties. Data scientists moeten hier rekening mee houden. 

Wanneer je een AI-model ontwikkelt, moet je je bewust zijn van de interpretatie van de resultaten. Het is niet voldoende om alleen te weten wat er in het model gaat en wat eruit komt. We moeten in staat zijn om de resultaten te begrijpen en de keuzes die het model onder de motorkap heeft gemaakt, te interpreteren. AI-modellen die geen interpretatie toestaan, zijn waardeloos omdat we geen actie kunnen ondernemen op basis van de resultaten. We noemen dit ook wel black box-modellen. Joop Snijder (Head research center AI) legt dit verder uit.

Voorbeelden uit de praktijk

Een voorbeeld van een black box-model dat geen goede resultaten oplevert, is bij de detectie van fraude in banktransacties. Een black box-model kan aangeven dat een transactie verdacht is, maar kan niet uitleggen waarom. Een interpreteerbaar model daarentegen kan uitleggen welke factoren (zoals afwijkende locaties, ongewoon grote bedragen, veranderende transactiepatronen of overmatige transacties) ertoe hebben geleid dat de transactie als verdacht is aangemerkt, zodat de bank de zaak kan onderzoeken.

Ook bij het detecteren van tumoren zijn interpreteerbare AI-modellen erg nuttig. AI-modellen worden steeds vaker gebruikt om tumoren te detecteren en te classificeren op basis van röntgen- of MRI-scans. Het is van vitaal belang dat deze modellen nauwkeurig en interpreteerbaar zijn om ervoor te zorgen dat patiënten de juiste diagnose en behandeling krijgen. Als een black box-model aangeeft dat iemand een hogere kans heeft op kanker, is het belangrijk om te weten welke kenmerken of symptomen deze voorspelling hebben beïnvloed, zodat artsen de juiste tests kunnen uitvoeren en de juiste behandeling kunnen voorschrijven. Interpreteerbare AI-modellen zouden artsen in staat stellen om deze voorspellingen beter te begrijpen en effectieve behandelplannen op te stellen voor patiënten.

Toename van black box-modellen

Het gebruik van black box-modellen neemt toe, omdat het de weg van de minste weerstand is. Het is gemakkelijker om te beginnen met deep learning en snel resultaten te krijgen, zonder je te verdiepen in traditionele machine learning-modellen.  Traditionele machine learning-modellen zijn vaak complexer. Ze vereisen meer werk om te ontwikkelen en te trainen. Ze hebben vaak meer voorbereiding nodig. En ze vereisen meer domeinkennis van de data scientist die het model ontwikkelt. Maar het is onze plicht als data scientists om interpreteerbare AI-modellen te ontwikkelen, omdat deze modellen ons in staat stellen om te handelen op basis van de resultaten.

Van uitlegbare, naar interpreteerbare AI

Een black box-model is niet transparant, gebruikers weten niet hoe het model tot zijn beslissingen is gekomen. Daarentegen zijn glass box-modellen wel heel transparant en interpreteerbaar, zodat gebruikers kunnen begrijpen hoe het model tot zijn beslissingen is gekomen.

Als iets te mooi klinkt om waar te zijn, is het dat vaak ook. Het is tijd dat data scientists hun verantwoordelijkheid nemen, om te werken aan een toekomst waarin AI voor ons werkt en niet tegen ons. En dat betekent dat AI-modellen niet enkel accuraat zijn, maar ook interpreteerbaar, veilig, verantwoord, ethisch, betrouwbaar en rechtvaardig voor alle belanghebbenden.

Bekijk de video!