Machine learning zonder uitleg is waardeloos
Wat als een machine learning model voorspelt dat je leven drastisch gaat veranderen, maar je niet begrijpt hoe het model werkt? Wat is dan de waarde van zo’n model? Dit artikel legt uit hoe interpretable ai het verschil kan maken tussen een waardeloos en een waardevol machine learning model.
“Je bloedwaarden lijken er nog goed uit te zien, maar je ontwikkelt diabetes”, vertelt je dokter tijdens een routinecontrole. “Ons nieuwe machine learning model voorspelt dit op basis van historische gegevens”. Diabetes, suikerziekte, is een onzichtbare ziekte. Je kunt er jaren mee rondlopen zonder dat je het merkt. De symptomen van diabetes zijn vaag en veel mensen hebben nauwelijks klachten. Laat ontdekken van diabetes is levensgevaarlijk. Na de eerste schrik vraag je: “Hoe zeker is het dat ik diabetes krijg?” De dokter antwoord dat, als er niets verandert, het model voorspelt dat je diabetes krijgt 87% is. Jouw logische vervolgvraag is dan uiteraard: “Wat kan ik dan veranderen, dokter?”
Black box model
Het nieuwe machine learning model blijkt een zogenaamd black box model te zijn. Dat is een model waarbij de inwendige redenering niet zichtbaar is en alleen de invoer en uitkomst bekend is. Het lastige met black box modellen, zoals in dit voorbeeld, is dat je niet weet wat de belangrijkste factoren zijn geweest van de voorspelling voor het verhoogde risico op diabetes. Omdat je deze belangrijkste factoren niet kent, kun je geen advies geven of acties ondernemen om een andere uitkomst te krijgen dan de voorspelling. Met andere woorden, wat kan een dokter adviseren op basis van alleen deze voorspelling? En wat moet je als patiënt met deze informatie? Niets; het is waardeloos.
Glass box model
Een glass box model in tegenstelling tot een black box model, is een model waarbij de invoer, uitkomst én de inwendige redenering wel zichtbaar is. Het gebruik van glass box modellen wordt Interpretable AI of Interpretable Machine Learning genoemd. Deze technologie is ontworpen om voorspellingen van AI-systemen uitlegbaar en begrijpelijk te maken voor mensen. De dokter geeft aan dat de diagnose een voorspelling is, maar dat je nog een jaar hebt om je levensstijl aan te passen. “Minder eten, meer bewegen”, is het standaard advies. “Volgende patiënt!”
Wacht even, ik heb nog een vraag aan u, dokter. Mijn bloedwaarden zijn goed en toch krijg ik deze voorspelling. Hoe is deze voorspelling tot stand gekomen?
Bij het gebruik van interpretable AI kan het model uitleg geven wat de belangrijkste factoren voor de voorspelling is. Bijvoorbeeld dat de belangrijkste factoren voor verhoogde risico op diabetes hormoon gerelateerd zijn. Dit is belangrijke informatie, minder eten, meer bewegen zal dan misschien niet het belangrijkste advies zijn.
Gangbare aannames
Voor data scientists, de ontwerpers van machine learning models, is het verleidelijk om te kiezen voor black box modellen. Gangbare aannames hierbij zijn dat black box modellen nauwkeuriger en eenvoudiger te maken zijn. Vergeten wordt dat wanneer je niet weet wat je met de uitkomst moet doen dat nauwkeuriger of eenvoudiger niet meer telt. De uitkomsten van het machine learning model zijn waardeloos. Daarnaast kloppen deze aannames al een tijd niet meer. Er zijn voldoende algoritmes beschikbaar om glass box modellen te maken.
Waardevolle AI
Interpretable AI is waardevol voor meer use cases dan alleen voor het classificeren van patiënten. De use cases zullen variëren afhankelijk van de specifieke toepassing en het domein, maar is typisch zeer bruikbaar voor de uitleg waarom klanten mogelijk vertrekken (customer churn), fraude detectie, voorspellen van wanbetalers of voorspellen van retouren in de retail. Het toevoegen van interpretable ai, voegt ook de mogelijk tot wat-als-scenario’s toe.
“Dus als ik als patiënt weet wat de belangrijkste factoren zijn, kunnen we dan ook kijken welk effect een verandering kan betekenen?” vraag je aan je dokter. De dokter wijzigt de invoer en bevestigt, dat als je de verandering doorvoert, het model uitrekent dat je risico op diabetes aanzienlijk vermindert. Als Info Support snappen we dat met de huidige stand van de techniek je meer moeite moet doen om een machine learning model begrijpbaar en uitlegbaar te maken. Maar de kennis en mogelijkheden om dit te doen worden beter en zijn toepasbaar voor veel use-cases. Hierdoor verhoog je niet alleen het vertrouwen in de uitkomsten van het model, maar kun je ook gefundeerd besluiten nemen. Dit maakt een verschil tussen een waardeloos en een waardevol AI-systeem.
