Große Gefahr durch Chatbots – Wie Hacker Unternehmen schaden können
Zuletzt aktualisiert am 31. August 2023 von Lars Weidmann
Chatbots sind in den letzten Jahren zu einem integralen Bestandteil verschiedener Anwendungen wie Online-Banking und Online-Shopping geworden. Sie sind in der Lage, einfache Anfragen zu bearbeiten und menschenähnliche Antworten zu generieren. Allerdings warnt das National Cyber Security Centre (NCSC) im Vereinigten Königreich vor der zunehmenden Anfälligkeit von Chatbots gegenüber Manipulation durch Hacker, was potenziell schwerwiegende Auswirkungen in der realen Welt haben kann.
Die Gefahr der “Prompt Injection” Angriffe
Eine besondere Sorge besteht in der Praxis der “Prompt Injection” Angriffe, bei denen Personen absichtlich Eingaben oder Aufforderungen erstellen, die darauf abzielen, das Verhalten von Sprachmodellen, die Chatbots unterstützen, zu manipulieren. Große Sprachmodelle (LLMs) wie OpenAI’s ChatGPT und Google’s AI Chatbot Bard wurden umfangreich trainiert, um menschenähnliche Antworten auf Benutzeranfragen zu generieren.
Der NCSC hat auf die zunehmenden Risiken durch bösartige “Prompt Injection” hingewiesen, da Chatbots oft den Austausch von Daten mit Drittanbieteranwendungen und -diensten ermöglichen. “Organisationen, die Dienste mit LLMs entwickeln, müssen vorsichtig sein, ähnlich wie bei der Verwendung einer Beta-Version eines Produkts oder einer Code-Bibliothek”, erklärt das NCSC. “Sie würden dieses Produkt möglicherweise nicht in Transaktionen im Namen des Kunden einbinden und hoffentlich nicht vollständig darauf vertrauen. Ähnliche Vorsichtsmaßnahmen sollten auch für LLMs gelten.”
Potenzielle Auswirkungen und Konsequenzen
Wenn Benutzer unbekannte Aussagen eingeben oder Wortkombinationen nutzen, um das ursprüngliche Skript eines Modells zu übersteuern, kann das Modell unbeabsichtigte Aktionen ausführen. Dies könnte potenziell zur Generierung von anstößigem Inhalt, unbefugtem Zugriff auf vertrauliche Informationen oder sogar zu Datenverletzungen führen.
Oseloka Obiora, CTO bei RiverSafe, warnt: “Der Wettlauf um die Implementierung von KI wird katastrophale Folgen haben, wenn Unternehmen es versäumen, grundlegende und notwendige Sorgfaltspflichtprüfungen durchzuführen. Chatbots wurden bereits als anfällig für Manipulationen und Übernahmen für betrügerische Befehle erwiesen, was zu einem starken Anstieg von Betrug, illegalen Transaktionen und Datenverletzungen führen könnte.”
Beispiele für erfolgreiche Manipulationen und Sicherheitsmaßnahmen
Ein Beispiel für die erfolgreiche Manipulation von Chatbots ist die Veröffentlichung einer neuen Version der Bing-Suchmaschine und eines Konversationsbots durch Microsoft. Ein Student der Stanford University, Kevin Liu, konnte erfolgreich eine Prompt-Injektion verwenden, um die ursprüngliche Aufforderung von Bing Chat aufzudecken. Darüber hinaus entdeckte der Sicherheitsforscher Johann Rehberger, dass ChatGPT manipuliert werden kann, um auf Aufforderungen von unerwünschten Quellen zu reagieren, was Möglichkeiten für indirekte Prompt-Injektionsschwachstellen eröffnete.
Das NCSC empfiehlt, dass bei Prompt-Injektionen eine ganzheitliche Systemgestaltung, die die Risiken im Zusammenhang mit maschinellen Lernkomponenten berücksichtigt, dazu beitragen kann, die Ausnutzung von Schwachstellen zu verhindern. Es wird vorgeschlagen, ein regelbasiertes System zusammen mit dem maschinellen Lernmodell zu implementieren, um potenziell schädliche Aktionen zu bekämpfen. Durch die Stärkung der Sicherheitsarchitektur des gesamten Systems wird es möglich, bösartige Prompt-Injektionen zu verhindern.
Die Bedeutung von Sicherheit und Bewusstsein
Die NCSC betont, dass die Abwehr von Cyberangriffen, die auf maschinellen Lernschwachstellen beruhen, ein Verständnis der von Angreifern verwendeten Techniken erfordert und dass Sicherheit bereits in den Designprozess integriert werden muss. Jake Moore, Global Cybersecurity Advisor bei ESET, betont: “Wenn Anwendungen unter Berücksichtigung der Sicherheit entwickelt werden und die Methoden, die Angreifer nutzen, um die Schwachstellen in maschinellen Lernalgorithmen auszunutzen, verstanden werden, ist es möglich, die Auswirkungen von Cyberangriffen im Zusammenhang mit KI und maschinellem Lernen zu reduzieren.”
Es ist jedoch wichtig zu beachten, dass Geschwindigkeit bei der Markteinführung oder Kosteneinsparungen oft zu Lasten der Sicherheit gehen können, was Menschen und ihre Daten einem unbekannten Risiko aussetzt. Es ist daher unerlässlich, dass Benutzer sich bewusst sind, dass ihre Eingaben in Chatbots nicht immer geschützt sind.
Fazit
Die Warnung des National Cyber Security Centre ist ein wichtiger Hinweis auf die Notwendigkeit, sich gegen die sich ständig weiterentwickelnden Cyberbedrohungen zu schützen. Durch die Implementierung von Sicherheitsmaßnahmen wie regelbasierten Systemen und einem tiefen Verständnis der Angriffstechniken können Unternehmen die Verwundbarkeit von Chatbots reduzieren und die Integrität ihrer Systeme gewährleisten.
Um die Sicherheit von Chatbots zu gewährleisten und die Auswirkungen von bösartigen Manipulationen zu minimieren, ist es unerlässlich, dass Unternehmen ihre Sicherheitsarchitektur verbessern und sich bewusst sind, dass das, was sie in Chatbots eingeben, nicht immer geschützt ist.
