Lösungsansatz
Nachdem sich das Team von b.telligent ein gutes Business-Verständnis erarbeitet hatte, stand zunächst das Verständnis und die erste Analyse der Daten an. Daraufhin wurde eine maßgeschneiderte Lösung für die CSS entworfen. Konkret wurde eine Pipeline entwickelt und implementiert, die ausgewählte moderne NLP-Methoden für die Automatisierung benutzt. Das vortrainierte Large Language Model BERT wurde verwendet – es ist von der Architektur her ChatGPT sehr ähnlich.
Das Modell ist auf einer großen Textdatenmenge vortrainiert (unter anderem auf der gesamten Enzyklopädie Wikipedia und unzähligen Zeitungsartikeln) und hat somit ein sehr gutes allgemeines Sprach- und Kontextverständnis. Mithilfe der manuell gelabelten Kundenfeedbacks, die als Trainingsdaten verwendet wurden, wurde das Modell in einem Fine-Tuning-Schritt nachtrainiert, um den spezifischen Kontext der Krankenversicherung zu verstehen und Feedbacks in die richtigen Kategorien mit entsprechendem Sentiment klassifizieren zu können. Das trainierte Modell bekommt als Eingangswerte den Fließtext des Kundenfeedbacks und gibt sowohl Kategorien als auch Sentiment zurück.
Die Validierung des Modells ergab eine sehr gute Qualität. Bei der Überprüfung der verbleibenden Diskrepanzen zwischen der manuellen Kategorisierung und der des Modells wurde deutlich, dass es auch in der manuellen Kategorisierung der Kundenfeedbacks Inkonsistenzen gab. Es zeigte sich, dass solch ein AI-Modell eine konstantere und reproduzierbarere Qualität erreicht als ein manueller Ansatz.