Auf der Webseite der Volks- und Raiffeisenbank Westmünsterland beantwortet der Bot VRanzi bereits seit 2018 Standardfragen, hilft bei der Site-Navigation und vermittelt weiterführenden Beratungen. Rund 1.000 Service- und Support-Anfragen werden monatlich von dem Bot bearbeitet. Die Quote fallabschließender Antworten liegt dabei mit 95 Prozent außergewöhnlich hoch. Die VR-Bank Westmünsterland führt das auf ein intensives internes Training sowie auf die gewählte Bot-Technologie zurück.
Ein Praxisbericht von Henning Jedrzejek, VR-Bank Westmünsterland und Dr. Thomas Rüdel, CEO Kauz GmbH, 2022
Ziel des Chatbot-Projektes war es, das Beratungsangebot von der Filiale und dem telefonischen Kundenservice auf die digitale Welt auszudehnen:
Tatsächlich zeigen sich online-affine Konsumenten mittlerweile sehr aufgeschlossen gegenüber Chatbots im Kundenservice, rund 62 Prozent ziehen die Kommunikation mit maschinellen Helfern in Betracht. (Conversational Business 2020, Hochschule Aalen). Ob der Chat mit dem Bot in der Realität dann zu Frust oder Freude führt, hängt allerdings wesentlich von zwei Faktoren ab:
· Wie gut wird der Intent von Anwenderfragen verstanden?
· Wie umfangreich und aktuell ist die Informationsbasis?
Gemeinsam mit der VR-NetWorld GmbH, dem zentralen Internetdienstleister für digitale Inhalte und Vermarktung in der genossenschaftlichen FinanzGruppe Volksbanken Raiffeisenbanken wurden daher die Möglichkeiten von Chatbots auf Basis linguistischer Sprachverfahren zunächst ausgelotet und dann umgesetzt.
Battle of the Bots: Machine Learning vs. NLU:
Abgesehen von sehr einfachen Varianten teilen sich Chatbots grob in zwei Lager mit KI-gestützten Ansätzen: Reines Machine Learning und Natural Language Understanding (NLU). Chatbots, die rein auf Verfahren des Machine Learnings oder Deep Learnings basieren, versuchen den Intent (die Absicht) des Nutzers durch statistische Modelle vorherzusagen. Dazu werden zunächst möglichst viele Beispiele gesammelt, klassifiziert und den Algorithmen antrainiert. So lassen sich wiederkehrende Muster erkennen, aus denen der Chatbot auf den wahrscheinlichen Intent des Nutzers schließt und entsprechende Antworten präsentiert. Das ermöglicht eine flexible Reaktion auf Anfragen und die Abdeckung eines kleinen bis mittel-großen Anwendungsgebietes. Das Training ist allerdings zeitintensiv, denn die relevanten Daten liegen meist nicht in Dialogform vor und müssen manuell aufbereitet werden. Der statistische Ansatz eignet sich zudem nur begrenzt für komplexe Anwendungsszenarien, in denen echtes Sprachverständnis benötigt wird. Dementsprechend liegt die Antwortquote in diesen Szenarien in der Regel nur zwischen 40 und 60 Prozent.
Die VR-Bank Westmünsterland hat sich daher für einen Chatbot auf Basis von Natural Language Understanding entschieden. Dieser linguistische Ansatz konzentriert sich in erster Linie auf das maschinelle Leseverständnis und ermöglicht es damit, den Intent von Fragen oder Aussagen im Detail zu verstehen. Im Gegensatz zum Maschine Learning werden nicht einzelne Schlüsselwörter, sondern ganze Sätze semantisch und kontextsensitiv-pragmatisch analysiert.
Mit NLU wird zum Beispiel erkannt, dass mit „Ich suche eine Kreditkarte“ und „Ich suche meine Kreditkarte“ ganz unterschiedliche Anwenderanliegen formuliert werden, die ganz unterschiedliche Antworten erfordern.
Weitere Vorteile sind die größere Varianz, die viele unterschiedliche Formulierungen und auch Du/Sie erlaubt, sowie die natürliche Gesprächsführung, bei der Aussagen oder Fragen mit dem Gesprächsverlauf in Beziehung gesetzt werden. Je nach Kontext des bisherigen Dialogs liefert Chatbot VRanzi zum Beispiel auf die unklare Eingabe „Gold“ entweder Optionen für den Edelmetallkauf oder Informationen zu goldenen Kreditkarten. In komplexen Anwendungsszenarien lassen sich so mit der Technologie Antwortquoten zwischen 70 und 90 Prozent erzielen. Im Rahmen der „Chatbot-Studie 2020“ untersuchte die Hochschule Aalen frei zugängliche Chatbots deutscher Finanzinstitute: Die bestplatzierten Chatbots nutzten alle eine NLU-Engine auf linguistischer Basis.
„Kunden formulieren ihre Anliegen manchmal unstrukturiert oder kompliziert, nur mittels Schlüsselbegriffen lässt sich dann keine treffende Antwort finden.“ Henning Jedrzejek, Web-Generalist VR-Bank Westmünsterland
Die initiale technische Einrichtung des Chatbots durch den Anbieter erfordert wenige Wochen, aber die hohe Quote richtiger Antworten setzt im Anschluss ein intensives Training voraus: Dazu hat die VR-Bank Westmünsterland zunächst relevante thematische Schwerpunkte für die Einsatzbereiche gebildet. Im ersten Schritt wurden dazu lange Listen der häufigsten Fragen und Antworten aus den Filialen und dem telefonischen Kundenservice ausgewertet. Auf Basis dieser Informationen und einer intensiven Beobachtungsphase konnten dann Cluster erstellt werden, darunter zum Beispiel Support im Zahlungsverkehr (z.B. Probleme mit TAN-Generator, Auslandsüberweisungen) und grundlegende Produktorientierung (z.B. Bausparen).
VR-Bank Westmünsterland und VR-Networld haben sich die Kompetenzbereiche aufgeteilt und Inhalte in einem längeren Prozess kuratiert, erweitert und immer wieder geprüft. Als besonders wertvoll hat sich hier der Input der Mitarbeiter aus dem Kundenservice erwiesen, die Fragen und Antworten aus eigener Erfahrung beurteilen konnten. In einer ausgedehnten Family&Friends-Phase wurde VRanzi zudem mit unterschiedlichsten Fragen aus dem gesamten Unternehmen bombardiert. Der Chatbot-Anbieter hat das gesammelte Know-how dann kontinuierlich für linguistische Verfahren aufbereitet.
Damit ist der Lernprozess aber nicht beendet: Chatbot-Dialoge werden weiterhin ausgewertet, um den aktuellen Informationsbedarf (z.B. Zahlungen in die Ukraine) abzubilden. Neue oder veränderte Informationen werden über das CMS eingepflegt und vom Chatbot-Anbieter umgesetzt. Die VR-Bank Westmünsterland kalkuliert den Aufwand für die Pflege auf ein halbes Vollzeitäquivalent, das sich aber auf mehrere Schultern verteilt.
Neben der effizienten Bearbeitung von Standard-Supportfragen machen sich nach Aussage der VR-Bank Westmünsterland weitere Vorteile bemerkbar: Die Beantwortung häufiger Fragen auf der Webseite schont die Ressourcen der menschlichen Support-Mitarbeiter, auch wenn dieser positive Effekt nicht leicht quantifiziert werden kann. Zudem hat sich der Chatbot als besonders niedrigschwelliges Kommunikationsangebot erwiesen. So werden VRanzi auch Fragen gestellt, mit denen sich Kunden lieber nicht an menschliche Mitarbeiter wenden möchten, zum Beispiel zu pfändungsgeschützten Konten, Insolvenz oder Baufinanzierung im Scheidungsfall. Damit vertieft der Chatbot den Einblick in Kundenbedürfnisse und ermöglicht Konversationen, die ansonsten vielleicht nie geführt worden wären.
„Wir wollten einen Chatbot mit praktischem Kundennutzen und hierfür gibt es kein wichtigeres Kriterium als die Quote korrekter Antworten. Mit 95 Prozent in einem thematisch komplexen Umfeld liegen wir hier sehr hoch, was unsere Entscheidung für Natural Language Understanding bestätigt.“
Henning Jedrzejek, Web-Generalist VR-Bank Westmünsterland