Wie gut ist unser Chatbot eigentlich?

Diese Frage stellen uns unsere Partnerkommunen während der Testphase regelmäßig. Berechtigt, aber bisher war es schwer, sie zu beantworten. Individuelle Tests von Mitarbeitenden, die Rückmeldungen von Bürgern, und auch das gelegentliche Lob oder Beschwerden sind hilfreich, ergeben aber noch kein vollständiges Bild.

Mit dem neuen QA-Feature liefern wir jetzt klare Aussagen. Vor allem aber ermöglicht das Feature, die Qualität der Antworten gerade bei den häufigsten Fragen bereits vor dem Launch deutlich zu verbessern. Und das ohne großen Aufwand, denn der Prozess wird durch eine tiefe Suche in der kommunalen Wissensbasis unterstützt.

So funktioniert die automatisierte Qualitätsprüfung

Das Prinzip ist simpel. Das Feature optimiert den Chatbot nach der Ersteinrichtung systematisch für 100 bis 200 typischen Bürgeranfragen, von der Personalausweis-Verlängerung bis zur Frage nach dem nächsten Wertstoffhof.

Unser System geht im ersten Schritt über eine besonders tiefe und genaue (und damit langwierige) Suche zunächst durch alle angebundenen Datenquellen und ermittelt die bestmögliche Antwort auf jede dieser Fragen. Anschließend stellen wir dieselben Fragen dem normalen Chatbot und vergleichen: Wie vollständig und korrekt sind die Antworten?

Das Ergebnis ist ein konkreter Qualitätsscore, der auf der Auswertung hunderter Einzelfakten basiert. Dort, wo der Bot Schwächen zeigt, sehen wir auch, woran es liegt: Gibt es Widersprüche in den Quellen? Gibt es Themenfelder, die noch nicht gut abgedeckt sind? Zugleich kann die Antwort der Tiefensuche als Musterantwort hinterlegt werden und wird zukünftig als Quelle mit berücksichtigt.

Hohe Qualität von Anfang an

Das QA-Feature wird beim Einrichten neuer kommunaler Chatbots bereits eingesetzt und sorgt dafür, dass jeder neurabot von Beginn an auf einem hohen Niveau startet. Lücken werden identifiziert und gemeinsam mit der Kommune geschlossen, bevor Bürger auf Probleme stoßen.

Dabei bleibt es nicht: In absehbarer Zeit werden alle Partnerkommunen von dem Tool profitieren können. Regelmäßige automatisierte Tests sichern und optimieren dann langfristig die Qualität eines Chatbots. Die Ergebnisse fließen in die Reports ein, sodass die Kommunen jederzeit den Überblick behalten. Ein ausführliches Tutorial für die neuracademy ist in Vorbereitung. Bei Fragen oder Interesse melden Sie sich gerne bei uns.

Ausblick: Ihre Rückmeldungen formen die nächsten Schritte

Das QA-Feature zeigt, wie Weiterentwicklung bei neuraflow funktioniert: Wir hören zu und setzen um. Und freue uns schon jetzt darauf, weitere Neuerungen vorzustellen.

Bereits in der Beta-Phase ist das nächste Feature: eine tiefere Integration von neurabot in die zentrale Suchleiste Ihrer Website. Bürger können dann direkt über die gewohnte Suche mit dem Bot interagieren, ohne das kleine Chat-Fenster in der Ecke öffnen zu müssen.

Welche Funktionen würden Ihren Arbeitsalltag erleichtern? Wir freuen uns auf Ihre Rückmeldungen!

‍