Wie die Operationalisierung von Machine Learning und Data Science Projekten gelingen kann
Machine Learning, Künstliche Intelligenz und Advanced Analytics verändern Finanzprozesse erkennbar entlang der gesamten Customer Journey im Credit Risk Management – vom Antrag bis zum Mahnwesen und Inkasso.
Der erste Schritt zu einem erfolgreichen Advanced Analytics Projekt ist, die Anforderungen des jeweiligen Use Cases in Tiefe zu verstehen und auf dieser Grundlage ein gutes Modell zu entwickeln. Für den Projekterfolg kommt der Operationalisierung des Modells allerdings dann eine ebenso entscheidende Bedeutung zu. Darunter sind die fortlaufende Bewertung der Güte des Modells sowie dessen Integration in operative Geschäftsprozesse zu verstehen. Nur hierdurch kann die Effizienz des Modells dauerhaft gewährleistet werden – ebenso wie die Effektivität der aus dem Modell abgeleiteten Handlungsempfehlungen.
Ursachen für die mangelhafte Operationalisierung
In der Praxis ist jedoch zu beobachten, dass mehr als die Hälfte aller Data-Science-Projekte über kein vollständiges Deployment verfügt. Dafür sind im Wesentlichen drei Ursachen auszumachen:
- Die Modelle werden nicht oder nur unzureichend in die bestehenden Prozessabläufe einer Organisation integriert, z.B. weil dies aufgrund unterschiedlicher Verarbeitungsgeschwindigkeiten nicht möglich ist.
- Das Data Science Team, das das Modell entwickelt, ist mit der Operationalisierung des Modells nicht vertraut oder nicht dafür zuständig.
- Der Deployment Prozess wird nicht ganzheitlich gemanagt – so fehlt z.B. die entsprechende Kommunikationsstruktur zwischen Data Science Team, IT-Infrastruktur-Team und den Stakeholdern.
Faktoren für eine erfolgreiche Operationalisierung
Wie aber kann eine erfolgreiche Operationalisierung von Machine Learning Modellen sichergestellt werden? In unseren Projekten haben sich vor allem vier Faktoren herauskristallisiert, die zu einem vollständigen und gelungenen Deployment beitragen.
- Ein tiefgreifendes Verständnis der Prozesse aller beteiligten Stakeholder ist eine grundlegende Voraussetzung für die erfolgreiche Lösungsentwicklung. Es muss sichergestellt sein, dass die Anforderungen an das Modell zu den vorhandenen Geschäftsprozessen passen. Um dies – und damit letztendlich auch den Erfolg des Projekts – zu gewährleisten, sollten alle Stakeholder bereits bei Projektbeginn miteinbezogen werden. Letztendlich sollte die Einführung und Operationalisierung eines Machine Learning Projekts in einer Organisation als gesamtheitliche Unternehmensaufgabe betrachtet werden und nicht als isoliertes, im Analytics-Team liegendes Spezialprojekt, das nur einen Teil des Unternehmens betrifft.
- Um die vorhandenen Kompetenzen in den Bereichen Analytics und IT Infrastruktur bestmöglich für das Projekt einzusetzen, sollte die Zusammenarbeit zwischen den Bereichen Data Science und Data Engineering stetig gemanagt und optimiert werden. Am besten bewährt hat sich hier ein iteratives Vorgehen mit möglichst kurzen Projektintervallen. Dadurch können notwendige Verbesserungen schnell erkannt und umgesetzt werden. Im Falle eines Scheiterns geschieht dies frühzeitig, so dass Erkenntnisse hieraus direkt in das nächste Projektintervall miteinfließen können. Zudem minimiert diese Vorgehensweise das wirtschaftliche Risiko und bietet fortwährend Möglichkeiten zur Nachjustierung.
- Die Erklärbarkeit von Machine Learning Modellen erhöht die Akzeptanz ebendieser Modelle im Unternehmen und darüber hinaus. Je nach Modell besteht dabei eine höhere Schwierigkeit, die dahinterliegenden Abläufe und Methodik erklärbar zu machen. Derzeit scheitern viele Projekte mangels Erklärbarkeit.
- Ein nachhaltiges Application Management ist notwendig, um den dauerhaften Betrieb des Modells sicherzustellen und dabei Faktoren wie ein stetiges Monitoring und den 24/7 Betrieb zu berücksichtigen.
Ursprünglich verfasst von Martin Baumann, Head of Analytics & Consulting Services Finance & Payment / Insurance Experian DACH