LLM-Sicherheit: Top 10 Risiken und 7 Best Practices für die Sicherheit

Was sind große Sprachmodelle (LLMs)?

Large Language Models (LLMs) sind KI-Systeme, die darauf trainiert sind, menschenähnliche Texte zu verarbeiten, zu verstehen und zu generieren. Diese Modelle werden mithilfe von Deep-Learning-Techniken entwickelt, die Aspekte menschlicher kognitiver Funktionen nachbilden. Durch die Analyse umfangreicher Textdatensätze, darunter Literatur, Online-Artikel und andere digitale Inhalte, erlernen LLMs die Feinheiten der menschlichen Sprache, einschließlich Grammatik, Weltwissen und Kontextverständnis.

Die Ausbildung von LLMs ist eine ressourcenintensive Aufgabe, die erhebliche Rechenleistung und vielfältige Datenquellen erfordert. Dadurch sind sie in der Lage, verschiedene Sprachaufgaben wie Übersetzungen, Inhaltserstellung, Fragenbeantwortung und Zusammenfassungen mit hoher Kompetenz durchzuführen.

Die Komplexität und die Möglichkeiten von LLMs bergen jedoch auch einige Sicherheitsrisiken. Diese ergeben sich vor allem aus der Art ihrer Trainings- und Betriebsmechanismen. So können beispielsweise verzerrte Trainingsdaten zu verzerrten oder anstößigen Inhalten führen. Darüber hinaus können die enormen Datenmengen, die von LLMs verarbeitet werden, sensible oder personenbezogene Daten enthalten, was Bedenken hinsichtlich Datenschutz und Datensicherheit aufwirft.

Darüber hinaus eröffnet die Interaktion zwischen LLMs und Benutzern potenzielle Sicherheitsrisiken. Böswillige Akteure können diese Interaktionen ausnutzen, um Modellausgaben zu manipulieren oder unbefugt Informationen zu extrahieren. Dies erfordert einen robusten Ansatz zur Sicherung von LLM-Anwendungen, der Risiken von Eingabemanipulationen bis hin zu Datenschutzverletzungen berücksichtigt.

OWASP Top 10 Sicherheitsrisiken für LLM-Anwendungen

Das Open Web Application Security Project (OWASP) ist eine gemeinnützige Organisation, die sich der Verbesserung der Softwaresicherheit widmet. Die OWASP Top 10 Web Application Threats sind ein Standarddokument, das einen breiten Konsens über die kritischsten Sicherheitsrisiken für Webanwendungen darstellt.

In diesem Sinne veröffentlichte OWASP Ende 2023 seine Top 10 Risiken für LLM-Anwendungen. Die Studie nutzte die Expertise eines internationalen Teams von fast 500 Experten mit über 125 aktiven Mitarbeitern aus den unterschiedlichsten Bereichen, darunter KI, Sicherheit, Softwareentwicklung, Cloud Computing, Hardware und Wissenschaft. Werfen wir einen Blick auf die Top 10 Bedrohungen laut OWASP-Forschung.

LLM01: Sofortige Injektion

Prompt-Injection bezeichnet das Einfügen schädlicher Eingaben in die Eingabeaufforderung des Modells, um dieses dazu zu verleiten, schädliche oder unangemessene Inhalte zu generieren. Die Gefahr besteht darin, dass LLMs ohne entsprechende Sicherheitsvorkehrungen unbeabsichtigt schädliche Inhalte verbreiten können. Sie können beispielsweise detaillierte Anweisungen zur Durchführung illegaler oder gefährlicher Aktionen bereitstellen.

Um dieses Risiko zu minimieren, müssen strenge Techniken zur Eingabevalidierung und -bereinigung implementiert werden. Es muss darauf geachtet werden, dass das Modell keine Inhalte generiert, die schädlich oder anstößig sein könnten oder gegen ethische Richtlinien verstoßen.

LLM02: Unsichere Ausgabeverarbeitung

Ein weiteres erhebliches Sicherheitsrisiko ist die unsichere Ausgabeverarbeitung. Ohne geeignete Kontrollen könnte das Modell Inhalte generieren, die zu Angriffen auf Webanwendungen wie XSS, CSRF, Rechteausweitung oder Remotecodeausführung führen können. Stellen Sie sich eine Softwareanwendung vor, die Ausgaben von einem LLM empfängt und verarbeitet. Wenn diese Ausgaben Schadcode enthalten, könnten sie zur Kompromittierung der empfangenden Anwendung missbraucht werden.

Um dieses Problem zu lösen, müssen LLM-Anwendungen robuste Ausgabefilter- und -bereinigungsmechanismen implementieren. Dazu gehören Mechanismen zum Identifizieren und Entfernen potenziell sensibler Informationen aus dem generierten Inhalt sowie Prüfungen, die sicherstellen, dass die Ausgabe keinen Schadcode enthält.

LLM03: Trainingsdatenvergiftung

Unter Trainingsdatenvergiftung versteht man die Manipulation der Trainingsdaten eines Modells, um dessen Ausgabe oder Funktionalität zu beeinflussen. Dies kann die Einfügung irreführender oder falscher Informationen in die Trainingsdaten oder die Verfälschung der Daten in einer Weise umfassen, die das Verständnis des Modells für bestimmte Themen beeinträchtigt.

Um dies zu verhindern, sind strenge Datenvalidierungs- und Integritätsprüfungsmechanismen erforderlich. Es ist wichtig sicherzustellen, dass die zum Trainieren des Modells verwendeten Daten genau, unvoreingenommen und repräsentativ für die Art von Informationen sind, die das Modell verarbeiten soll.

LLM04: Modell-Denial-of-Service

Model Denial of Service (DoS) ist ein potenzielles Risiko, bei dem ein Angreifer das Modell mit einer großen Anzahl von Anfragen überlastet und es dadurch verlangsamt oder zum Absturz bringt. Der erste größere Angriff dieser Art ereignete sich im November 2023 und führte zu Ausfallzeiten des beliebten ChatGPT-Dienstes. DoS könnte eine LLM-Anwendung unzugänglich machen, ihre Funktionalität beeinträchtigen und möglicherweise erhebliche Auswirkungen auf das Geschäft haben.

Zu den Schutzmaßnahmen gegen dieses Risiko können die Implementierung einer Ratenbegrenzung zur Kontrolle der Anzahl der Anfragen gehören, die ein einzelner Benutzer oder eine einzelne IP-Adresse innerhalb eines bestimmten Zeitraums stellen kann, sowie die Bereitstellung eines Lastenausgleichs zur Verteilung der Last auf mehrere Instanzen des Modells.

LLM05: Schwachstellen in der Lieferkette

Schwachstellen in der Lieferkette beziehen sich auf Risiken, die sich aus den verschiedenen Komponenten und Abhängigkeiten der LLM-Anwendung ergeben können. Dies kann alles umfassen, von der Hard- und Software, die zum Trainieren des Modells verwendet wird, bis hin zu den Produktionssystemen, die für die Bereitstellung an die Benutzer verwendet werden.

Um diese Risiken zu mindern, ist ein umfassender Ansatz zur Lieferkettensicherheit erforderlich. Dazu gehört die Überprüfung der Lieferanten, die Implementierung sicherer Entwicklungspraktiken und die regelmäßige Aktualisierung und Patches aller Komponenten zum Schutz vor bekannten Schwachstellen.

LLM06: Offenlegung vertraulicher Informationen

Die Offenlegung sensibler Informationen ist ein Risiko, wenn die LLM-Anwendung versehentlich sensible Informationen in ihrer Ausgabe preisgibt. Dies können personenbezogene Daten, vertrauliche Geschäftsinformationen oder andere Informationen sein, die nicht öffentlich zugänglich gemacht werden sollten.

Um dies zu verhindern, sind robuste Datenverarbeitungs- und Datenschutzkontrollen erforderlich. LLM-Anwendungen sollten so konzipiert sein, dass die Menge der von ihnen verarbeiteten sensiblen Daten minimiert wird. Alle sensiblen Daten, die sie verarbeiten, sollten durch starke Verschlüsselung und andere Sicherheitsmaßnahmen geschützt werden.

LLM07: Unsicheres Plugin-Design

Ein unsicheres Plugin-Design stellt eine Schwachstelle dar, die eine LLM-Anwendung ernsthaften Risiken aussetzen kann. Unsichere Plugins können von Hackern ausgenutzt werden, um Schadcode einzuschleusen, Funktionen zu verändern oder sich unbefugten Zugriff zu verschaffen. Dies kann zu einer Reihe negativer Folgen führen, von Datenlecks oder Serviceunterbrechungen der LLM-Anwendung selbst bis hin zu Angriffen auf Benutzer von LLM-Ausgaben.

Es ist wichtig, sicherzustellen, dass alle in einer LLM-Anwendung verwendeten Plugins sicher sind. Der Anbieter der LLM-Anwendung sollte sorgfältige Sicherheitsmaßnahmen ergreifen und die Plugins auf ihre Sicherheit testen. LLM-Nutzer sollten bei der Verwendung von Plugins vorsichtig sein und Plugins vermeiden, die übermäßige Berechtigungen erfordern oder verdächtiges Verhalten aufweisen.

LLM08: Übermäßige Handlungsfähigkeit

Übermäßige Handlungsfreiheit in LLMs entsteht, wenn diesen Systemen zu viele Funktionen, Berechtigungen oder Autonomie gewährt werden. Dies kann zu unbeabsichtigten oder schädlichen Aktionen als Reaktion auf mehrdeutige LLM-Ergebnisse führen.

Beispiele hierfür sind Plugins mit unnötigen Funktionen oder Zugriffsrechten. Strategien zur Risikominderung umfassen die Einschränkung der Funktionen und Berechtigungen von LLM-Agenten und Plugins, die Sicherstellung der Benutzerautorisierung für Aktionen und die Anwendung von Human-in-the-Loop-Kontrollen.

LLM09: Übermäßiges Vertrauen

Übermäßiges Vertrauen entsteht, wenn man sich übermäßig auf die Genauigkeit und Angemessenheit der LLM-Ergebnisse verlässt. Dies kann zu Sicherheitsverletzungen, Fehlinformationen und Reputationsschäden führen, da man sich auf falsche oder unangemessene LLM-generierte Inhalte verlässt.

Zur Schadensbegrenzung gehören die regelmäßige Überwachung der LLM-Ausgaben, der Abgleich mit vertrauenswürdigen Quellen und der Einsatz von Validierungsmechanismen wie Selbstkonsistenz oder Abstimmungstechniken.

LLM10: Modelldiebstahl

Beim Modelldiebstahl handelt es sich um den unbefugten Zugriff auf proprietäre LLM-Modelle sowie um deren Kopieren oder Exfiltration. Dies kann zu wirtschaftlichen Verlusten, einem Verlust der Wettbewerbsvorteile und dem unbefugten Zugriff auf vertrauliche Informationen führen.

Zu den Strategien zur Verhinderung von Modelldiebstahl gehören die Sicherung des Zugriffs auf Modelle, die Verwendung von Verschlüsselung und die Implementierung robuster Authentifizierungs- und Autorisierungsmaßnahmen.

Tipps vom Experten

Steve Moore ist Vice President und Chief Security Strategist bei Exabeam. Er entwickelt Lösungen zur Bedrohungserkennung und berät Kunden zu Sicherheitsprogrammen und der Reaktion auf Sicherheitsverletzungen. Er ist Moderator des „The New CISO Podcast“, Mitglied des Forbes Tech Council und Mitbegründer von TEN18 bei Exabeam.

Meiner Erfahrung nach gibt es hier Tipps zur Verbesserung der Sicherheit und der Betriebspraktiken für Large Language Models (LLMs):

Nutzen Sie föderiertes Lernen für sicheres und verteiltes Training
Nutzen Sie bei sensiblen Datensätzen Federated Learning, um LLMs zu trainieren, ohne Rohdaten auf zentrale Server zu übertragen. Dies reduziert das Risiko von Datenlecks und Datenschutzverletzungen.

Setzen Sie einen „Red Teaming“-Ansatz ein, um LLM-Schwachstellen zu testen
Testen Sie Ihre LLM-Systeme regelmäßig mit Red Teams, die Angriffe wie Prompt Injection, Modellmanipulation und Datenexfiltration simulieren. So können Sie Schwachstellen erkennen, bevor sie ausgenutzt werden.

Implementieren Sie eine Ausgaberisikobewertung für sensible Antworten
Erstellen Sie eine Risikobewertungsebene, die generierte Ausgaben auf Sensibilität, Toxizität oder Schädlichkeit prüft. Ausgaben mit hohem Risiko können automatisierte Überprüfungen auslösen oder vollständig blockiert werden, was die Inhaltskontrolle verbessert.

Verwenden Sie eine feinkörnige Eingabeaufforderungssteuerung
Anstatt Freitexteingabeaufforderungen, Designvorlagen oder Frameworks für geführte Eingaben für Benutzer zuzulassen, die mit LLMs interagieren, wird die Anfälligkeit für schädliche Prompt-Engineering- oder Injection-Angriffe begrenzt.

Integrieren Sie eine synthetische Überwachung für ungewöhnliche Modellaktivitäten
Implementieren Sie eine synthetische Überwachung, indem Sie kontinuierlich Testaufforderungen bereitstellen, die auf Anzeichen für bösartiges Modellverhalten oder unbeabsichtigte Reaktionen prüfen und so eine proaktive Erkennung von Anomalien gewährleisten.

Best Practices zum Sichern von LLM-Anwendungen

1. Eingaben bereinigen

Die Bereinigung von LLM-Eingaben bedeutet, die vom Benutzer bereitgestellten Daten zu prüfen und zu bereinigen, um zu verhindern, dass schädliche oder unangemessene Inhalte die Antworten des LLM beeinflussen. Dies ist ein wichtiger Punkt, der im UAT umfassend getestet werden muss, einschließlich schädlicher und manipulativer sowie „Streich“-Eingaben des Benutzers.

Der erste Schritt bei der Bereinigung von Eingaben besteht darin, potenziell schädliche oder manipulative Eingaben zu identifizieren. Dazu gehören Versuche der sofortigen Eingabe, bei denen Benutzer versuchen, unethische oder schädliche Reaktionen hervorzurufen. Weitere Bedenken betreffen Eingaben, die personenbezogene Daten oder Fehlinformationen enthalten. Das LLM sollte so konzipiert sein, dass es solche Eingaben erkennt und entweder deren Verarbeitung verweigert oder sie so verarbeitet, dass potenzieller Schaden gemindert wird.

Die Implementierung der Eingabebereinigung umfasst eine Kombination aus automatisierten und manuellen Prozessen. Automatisierte Filter und Sperrlisten können verwendet werden, um bestimmte Arten von Inhalten anhand vordefinierter Regeln oder Muster zu erkennen und zu blockieren. Aufgrund der Komplexität und Nuancen von Sprache sind diese Systeme jedoch nicht narrensicher. Daher ist eine menschliche Überwachung unerlässlich und die Vorbereitung einiger Standardantworten für Eingabeaufforderungen auf der Sperrliste. Dies kann einen Überprüfungsprozess beinhalten, bei dem fragwürdige Eingaben markiert werden, damit menschliche Moderatoren sie bewerten können.

2. Datenminimierung

Das Prinzip der Datenminimierung ist einfach: Erheben und verarbeiten Sie nur die Daten, die Sie unbedingt benötigen. Durch die Begrenzung der verarbeiteten Datenmenge verringern Sie potenzielle Sicherheitsrisiken. Dieser Ansatz reduziert nicht nur das Risiko von Datenpannen, sondern gewährleistet auch die Einhaltung der Datenschutzbestimmungen.

Anbieter von LLM-Anwendungen müssen ihre Datenerfassungs- und -verarbeitungsaktivitäten regelmäßig überprüfen, um Bereiche zu identifizieren, in denen sie die Datennutzung minimieren können.

Datenminimierung trägt auch zur Verbesserung der Effizienz von LLM-Modellen bei. Durch die Konzentration auf die relevantesten Daten können Modelle schneller trainiert werden und möglicherweise genauere Ergebnisse liefern.

3. Datenverschlüsselung

Die Datenverschlüsselung ist ein unverzichtbarer Aspekt der LLM-Sicherheit. Bei der Verschlüsselung werden lesbare Daten in ein unlesbares Format umgewandelt, um unbefugten Zugriff zu verhindern.

Bei LLM-Modellen sollte die Datenverschlüsselung sowohl auf gespeicherte Benutzerdaten als auch auf Daten während der Übertragung angewendet werden. Das bedeutet, dass alle Daten, die in ein LLM-Modell eingespeist, von ihm generiert oder an Endbenutzergeräte übertragen werden, verschlüsselt werden sollten.

Verschlüsselung schützt Daten nicht nur vor externen Bedrohungen, sondern auch vor internen Risiken. Wenn beispielsweise ein böswilliger Insider bei einem LLM-Anwendungsanbieter Zugriff auf ein LLM-Modell hat, verhindert die Verschlüsselung den Zugriff auf vertrauliche Benutzerinformationen.

4. Implementierung der Zugriffskontrolle

Die Zugriffskontrolle ist ein entscheidender Bestandteil der LLM-Sicherheit. Sie bezieht sich auf den Prozess, mit dem bestimmt wird, wer Zugriff auf das LLM-Modell hat und was er damit tun kann.

Die Zugriffskontrolle umfasst die Einrichtung von Benutzerrollen und Berechtigungen, die festlegen, was jeder Benutzer in Ihrem LLM-Modell sehen und tun kann. Dies kann von der Datenanzeige bis hin zu Änderungen am Modell selbst reichen. Es ist besonders wichtig, die Vergabe übermäßiger Berechtigungen und die Ausweitung von Berechtigungen durch Endbenutzer des Modells zu vermeiden, die keinen Zugriff auf administrative Funktionen haben sollten.

Die Implementierung einer Zugriffskontrolle hilft, unbefugten Zugriff und Missbrauch Ihres LLM-Modells zu verhindern. Sie ermöglicht außerdem eine klare Aufzeichnung darüber, wer worauf Zugriff hat, was im Falle eines Verstoßes oder einer Prüfung von entscheidender Bedeutung sein kann.

5. Wirtschaftsprüfung

Audits sind ein entscheidender Bestandteil der LLM-Sicherheit. Ein Audit umfasst eine gründliche Überprüfung der Aktivitäten eines LLM-Modells, um sicherzustellen, dass es ordnungsgemäß funktioniert und alle relevanten Sicherheitsmaßnahmen einhält. Regelmäßige Audits sollten durchgeführt werden, um die fortlaufende Einhaltung von Compliance und Sicherheit zu gewährleisten. Diese Audits sollten dokumentiert und alle Ergebnisse umgehend umgesetzt werden.

Ein Audit kann dazu beitragen, potenzielle Sicherheitsrisiken oder Bereiche mit Nichteinhaltung zu identifizieren. Es kann auch wertvolle Erkenntnisse darüber liefern, wie ein LLM-Modell funktioniert und ob Änderungen oder Verbesserungen erforderlich sind.

6. Sichere Trainingsdaten

Die Sicherung der Trainingsdaten ist ein weiterer wesentlicher Aspekt der LLM-Sicherheit. LLM-Modelle sind nur so gut wie die Daten, mit denen sie trainiert werden. Wenn Ihre Trainingsdaten kompromittiert werden, kann dies die Genauigkeit und Zuverlässigkeit Ihrer LLM-Modelle erheblich beeinträchtigen.

Die Sicherung von Trainingsdaten umfasst die Implementierung strenger Zugriffskontrollen, die Verschlüsselung von Daten und die regelmäßige Überprüfung Ihrer Datenverarbeitungsprozesse. Es ist außerdem wichtig, sicherzustellen, dass Ihre Trainingsdaten korrekt und relevant sind.

7. API-Sicherheit

APIs (Application Programming Interfaces) sind eine Schlüsselkomponente von LLM-Modellen. Sie dienen der Kommunikation eines LLM-Modells mit anderen Systemen und Anwendungen.

API-Sicherheit umfasst den Schutz von APIs vor unbefugtem Zugriff und Missbrauch. Dazu gehören die Implementierung von Zugriffskontrollen, die Verschlüsselung von Daten sowie die regelmäßige Überwachung und Prüfung Ihrer APIs.

Bei der API-Sicherheit geht es nicht nur um den Schutz von APIs, sondern auch darum, deren korrekte und effiziente Funktion sicherzustellen. Regelmäßige Tests und Überwachungen helfen, potenzielle Probleme oder Ineffizienzen zu identifizieren und sicherzustellen, dass die von LLM-Systemen bereitgestellten APIs zuverlässig und sicher sind.

KI-Sicherheit mit Exabeam

Exabeam ist ein Pionier im Bereich der künstlichen Intelligenz (KI). Unser Unternehmen basiert auf maschinellem Lernen (ML) für die Analyse des Benutzer- und Entitätsverhaltens (UEBA) und die Automatisierung des Workflows zur Bedrohungserkennung, -untersuchung und -reaktion (TDIR). Wir nutzen ML, ein Element der KI, seit 2013.

Exabeam beschleunigt und erhöht die Genauigkeit der Bedrohungserkennung, -untersuchung und Datenerfassung, was dem Security Operations Center (SOC) Zeit spart. Zunächst setzten wir ML auf die Bedrohungserkennung ein, dann befassten wir uns mit der Warnmeldungs-Triage und automatisierten manuellen/repetitiven Aufgaben für Untersuchungen und Datenerfassung. Wir erhöhen die Genauigkeit der Erkennungen und planen, die Such- und Dashboard-Erfahrung durch den Einsatz von ML und natürlicher Sprachverarbeitung (NLP) weiter zu verbessern.

Schließlich verbessert Exabeam die Produktivität der Analysten durch die Integration von KI und NLP in unsere Produkte. Dies reduziert den Bedarf an Abfragen und trägt zur Verbesserung der Fähigkeiten des SOC-Teams bei. Exabeam verfügt über einen robusten Plan für den vielfältigen Einsatz von KI zur Beschleunigung der Protokollaufnahme, Erkennung, Verbesserung der Analystenebene sowie zur Verbesserung der Kommunikation und Verständlichkeit.