Die Angriffsfläche, die keine Firewall schließt

Viele KI-Chatbots lassen sich durch Prompt Injections manipulieren, ganz ohne Schadcode, allein durch geschickt formulierte Texteingaben. Diese Angriffskategorie steht in der aktuellen Top-10-Liste der internationalen Sicherheitsorganisation OWASP an erster Stelle der kritischsten Risiken für KI-Anwendungen. Aktuelle Forschungsdaten zeigen: Ohne spezialisierte Schutzmaßnahmen sind im Durchschnitt 73 Prozent aller Prompt-Injection-Angriffe auf KI-Chatbots erfolgreich (Balaji et al., arXiv 2025).

Für öffentliche Verwaltungen hat das besonderes Gewicht. Bürgerinnen und Bürger vertrauen Informationen von Behördenwebseiten. Ein Chatbot, der durch manipulierte Eingaben falsche Informationen wie zum Beispiel irreführende Verfahrenshinweise ausgibt, kann dieses Vertrauen beschädigen, auch weil die Manipulation meistens nicht sofort auffällt. 

Die Chatbots von neuraflow haben die dreiteilige Sicherheitsüberprüfung bestanden

Die Sicherheit unserer Anwendungen hat für uns bei neuraflow einen hohen Wert. Umso aufschlussreicher war es für uns, als Studierende der Hochschule Rhein-Waal unsere kommunalen Chatbots über mehrere Monate hinweg systematisch auf Schwachstellen geprüft haben.

Getestet wurden drei Angriffsbereiche. Beim ersten, den sogenannten Prompt-Injection-Angriffen, versuchten die Tester, den Chatbot durch geschickt formulierte Texteingaben dazu zu bringen, seine eigenen Sicherheitsregeln zu umgehen. Das geschieht allein durch die eingegebene Nachricht und ist keine theoretische Bedrohung: Ohne spezialisierte Schutzmaßnahmen sind wie oben erwähnt fast drei Viertel solcher Angriffe auf KI-Chatbots erfolgreich. Neben manuellen Techniken wie Rollenspiel-Szenarien und Verschleierungsversuchen setzten die Tester auch automatisiertes Fuzzing ein. Das ist ein Verfahren, bei dem hunderte maschinell generierte Angriffsvarianten systematisch gegen das System gefahren wurden, um Lücken zu finden, die manuellen Tests entgehen würden.

Im zweiten Bereich griffen die Tester nicht über die sichtbare Benutzeroberfläche an, sondern direkt auf die technische Schnittstelle zwischen Browser und Server. Manipulierte API-Anfragen und gefälschte Gesprächsverläufe sollten dem System vortäuschen, bestimmte Dinge bereits gesagt oder bestätigt zu haben. 

Im dritten Bereich wurden das Chat-Interface und die integrierte Suchfunktion auf Schwachstellen geprüft, darunter Versuche, den Server zu unautorisierten Anfragen an externe Systeme zu veranlassen.

Die Ergebnisse: Alle 500-plus automatisierten Angriffsprompts wurden geblockt. Die Resultate der manuellen Tests blieben in allen drei Bereichen unkritisch. Manipulierte Schnittstellenanfragen blieben wirkungslos, denn das Backend prüft eingehende Daten gegen interne Sicherheitsrichtlinien, statt dem übermittelten Kontext blind zu vertrauen. Und die Angriffe auf die Suchfunktion schlugen fehl, weil das System ausschließlich vordefinierte, offizielle Quellen akzeptiert.

Sicherheit als kontinuierlicher Prozess

Die Sicherheitstests identifizierten neben den insgesamt sehr robusten Ergebnissen auch konkrete Verbesserungspotenziale, die durch unser Entwicklerteam behoben wurden. Die Sicherheitsüberprüfung provozierte in komplexen Mehrschritt-Dialogen vereinzelt unerwünschte Ausgaben. Diese Ergebnisse wurden von unserem Entwicklerteam aufgegriffen und behoben. Bestimmte Verhaltensweisen aus frühen Testphasen waren in späteren Tests nicht mehr reproduzierbar.

Denn IT-Sicherheit bedeutet nicht, niemals Schwachstellen zu haben. Das ist angesichts der rasanten Entwicklungen gerade im Bereich der KI auch kaum möglich. Vielmehr geht es darum, kontinuierlich nach Schwachstellen zu suchen, diese zu bewerten und zu beheben. In der IT-Sicherheit unterscheidet sich ein System mit unbekanntem Sicherheitsniveau grundlegend von einem, das aktiv getestet, überwacht und aktualisiert wird. Sich externen Tests auszusetzen, Ergebnisse transparent zu machen und identifizierte Schwachstellen zu schließen entspricht dem Sicherheitsverständnis, das NIS2 und BSI IT-Grundschutz einfordern.

Möglichkeiten und Grenzen der Sicherheit kommunaler KI-Chatbots

Der Chatbot von neuraflow ist auf die nutzerorientierte Bereitstellung von Informationen ausgelegt, dadurch sind die Angriffsflächen eher gering. Für künftige Erweiterungen wie Terminbuchung werden vor Freischaltung vertiefte Sicherheitstests und Authentifizierungskonzepte eingeführt.

Im Bereich der Informationsbereitstellung bedeutet Sicherheit vor allem, das Vertrauen der Nutzerinnen und Nutzer nicht zu gefährden. Deshalb ist eine Einordnung im Vergleich zu anderen Einflussfaktoren wichtig. Neben Angriffen von außen gibt es das grundsätzliche Risiko, dass Sprachmodelle fehlerhafte Informationen ausgeben können, sogenannte Halluzinationen. Bei unseren kommunalen Chatbots tritt das in der Praxis extrem selten auf, was wir auf die stark quellengebundene Architektur unserer Systeme zurückführen. Dennoch ist unser Bürger-Chatbot als ergänzendes Informationsangebot positioniert, nicht als Rechtsauskunft, und weist Nutzerinnen und Nutzer in der Oberfläche auf mögliche Ungenauigkeiten sowie auf die jeweiligen Quellen hin.

Die standardisierten Qualitätstests vor jedem neuen Launch zeigen immer wieder, dass fehlerhafte Antworten in der Praxis zumeist auf veraltete, fehlende oder widersprüchliche Inhalte der kommunalen Website zurückzuführen sind, das Risiko von Angriffen oder Halluzinationen erscheint dagegen verschwindend gering. So wie wir die Absicherung unserer Systeme als kontinuierlichen Prozess verstehen, ist auf kommunaler Seite deshalb die regelmäßige Pflege der eigenen Datenbasis eine wichtige Maßnahme. Gemeinsam tragen wir dazu bei, dass Bürgerinnen und Bürger sich auf die kommunalen Informationen auf der Website und vom Chatbot verlassen können. Das Backend unserer Anwendungen bietet dafür ein praktisches Werkzeug, um solche Lücken gezielt aufzuspüren und zu schließen.

‍