BSI informiert über Chancen und Risiken von KI-Sprachmodellen

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) veröffentlicht ein Positionspapier, zu den Potenzialen und Gefahren von KI-Sprachmodellen, sogenannten Large Language Models (LLMs), worüber es auch auf dem 19. Deutschen IT-Sicherheitskongress informierte.
Das Positionspapier beschäftigt sich mit den Chancen und Risiken von LLMs im Bereich der IT-Sicherheit. Zunächst werden die Chancen für die IT-Sicherheit durch die Nutzung von LLMs dargestellt. Dazu gehören die Unterstützung bei der Detektion unerwünschter Inhalte wie Spam, Phishing-Mails, Fake News und Hate Speech. LLMs können auch bei der Textverarbeitung, der Erstellung und Analyse von Programmcode sowie bei der Analyse von Datenverkehr helfen.
Es werden auch verschiedene Sicherheitsrisiken beleuchtet, die mit der Nutzung von LLMs verbunden sind. Von Nutzerperspektive aus betrachtet besteht das Risiko, dass Nutzende aufgrund der sprachlichen Qualität und Überzeugungskraft der generierten Texte ein übermäßiges Vertrauen in die Aussagen und Fähigkeiten des Modells haben. Es besteht die Möglichkeit von fehlender Faktizität und Reproduzierbarkeit der generierten Inhalte, insbesondere da LLMs auf stochastischen Korrelationen basieren und nicht unbedingt faktisch korrekt sind. Generierter Code kann ebenfalls Sicherheitslücken enthalten, die im zugrunde liegenden Trainingscode vorhanden sind. LLMs haben auch Schwierigkeiten, aktuelle Informationen zu liefern und können fehlerhafte Reaktionen auf spezifische Eingaben zeigen. Es besteht auch das Risiko von „versteckten“ Eingaben mit manipulativer Absicht, bei denen Angreifende unbemerkt Eingaben in das Modell einspeisen, um den weiteren Verlauf der Interaktion zu manipulieren. Die Vertraulichkeit der eingegebenen Daten kann ebenfalls gefährdet sein, wenn eine externe API verwendet wird.
Um diesen Risiken entgegenzuwirken, sollten Nutzende über die Schwächen von LLMs aufgeklärt werden und die generierten Texte auf ihren Wahrheitsgehalt überprüfen. Eine manuelle Nachbearbeitung der Texte kann ratsam sein, insbesondere bei der Verwendung von LLMs mit direkter Außenwirkung. Es werden auch Missbrauchsszenarien und entsprechende Gegenmaßnahmen diskutiert. LLMs können zur Textproduktion für böswillige Zwecke missbraucht werden, wie zum Beispiel Social Engineering, die Generierung und Ausführung von Malware oder die Verbreitung von Falschinformationen. Nutzende sollten auf diese Risiken aufmerksam gemacht werden und entsprechende Sicherheitsvorkehrungen treffen.
Das BSI betont die Notwendigkeit geeigneter Vorsichtsmaßnahmen gegen diese Risiken. Diese könnten beispielsweise Verschlüsselungsverfahren zur Authentifizierung von Texten und Nachrichten umfassen. Besonders wichtig sei es, Nutzer über die Fähigkeiten künstlicher Intelligenz aufzuklären, um ein zu großes Vertrauen in KI-generierte Inhalte zu vermeiden. Das BSI plant, in Kürze entsprechende Leitlinien für Verbraucher zu veröffentlichen.
Unternehmen und Behörden, die eine Integration von LLMs erwägen, werden aufgefordert, eine Risikoanalyse durchzuführen und die im Positionspapier genannten Risiken in Bezug auf ihre Arbeitsabläufe zu bewerten. Entsprechende Sicherheitsmaßnahmen sollten darauf abgestimmt werden. Aus Sicht des BSI sollten KI-Sprachmodelle derzeit als Werkzeuge betrachtet werden, deren Ergebnisse von menschlicher Intelligenz überprüft werden sollten.