ChatGPT in der Organisation: Größte Sicherheitsrisiken und -minderungen

Was ist ChatGPT?

ChatGPT ist ein von OpenAI entwickeltes Online-Tool für generative KI, das auf der GPT-Reihe (Generative Pre-trained Transformer) großer Sprachmodelle (LLMs) des Unternehmens basiert. Es ist darauf ausgelegt, menschenähnlichen Text zu verstehen und zu generieren. Dadurch kann es auf der Grundlage der Analyse großer Mengen von Textdaten an Gesprächen teilnehmen, Fragen beantworten, Inhalte schreiben und Code generieren.

Die Nutzung von ChatGPT und ähnlichen generativen KI-Tools nimmt rasant zu. Laut einer Studie von SalesForce nutzen über 45 % der US-Bevölkerung generative KI-Tools, und 75 % der Nutzer möchten Aufgaben am Arbeitsplatz automatisieren und die berufliche Kommunikation verbessern. Gleichzeitig kann die Fähigkeit von ChatGPT, menschenähnlichen Text zu verarbeiten und zu generieren, für böswillige Zwecke missbraucht werden, was die Cybersicherheit gefährdet.

Von der Erstellung ausgeklügelter Phishing-E-Mails, die selbst das aufmerksame Auge täuschen, bis hin zur Generierung von Code, der für Cyberangriffe verwendet werden könnte – der potenzielle Missbrauch von ChatGPT verdeutlicht die zweischneidige Natur fortschrittlicher KI-Technologien. Mit der zunehmenden Integration dieser Modelle in kritische Geschäftsabläufe steigt das Risiko von Daten- und Datenschutzverletzungen. Dies erfordert strenge Sicherheitsmaßnahmen zum Schutz sensibler Informationen und stellt sicher, dass fortschrittliche KI-Funktionen nicht zu Sicherheitslücken führen.

Wie nutzen Organisationen heute große Sprachmodelle (LLMs)?

LLMs, wie die Modelle hinter ChatGPT, revolutionieren die Arbeitsweise von Unternehmen branchenübergreifend. Hier sind einige Anwendungsfälle für Tools wie ChatGPT in Unternehmen:

• Automatisierung des Kundensupports: Viele Unternehmen nutzen LLMs, um ihren Kundenservice zu verbessern. Durch die Integration dieser Modelle in ihre Kundensupportsysteme können Unternehmen rund um die Uhr sofort auf Kundenanfragen reagieren.
• Inhaltserstellung und -verwaltung: LLMs unterstützen bei der Erstellung und Verwaltung von Inhalten in großem Umfang. Vom Verfassen von Artikeln und Berichten bis hin zur Erstellung von Marketingmaterialien und Produktbeschreibungen tragen diese Modelle zur Optimierung der Inhaltserstellungsprozesse bei.
• Codegenerierung und -überprüfung: Im Bereich der Softwareentwicklung werden LLMs verwendet, um Codeausschnitte zu generieren, Code auf Fehler zu überprüfen und Verbesserungen und Optimierungen vorzuschlagen.
• Sprachübersetzung: Global präsente Unternehmen nutzen LLMs für Echtzeit-Übersetzungsdienste und ermöglichen so eine nahtlose Kommunikation über verschiedene Sprachen und Kulturen hinweg. Dies hilft Unternehmen, ihre Reichweite zu erweitern und ein breiteres Publikum anzusprechen.
• Personalisierte Marketingkampagnen: Durch die Analyse von Kundendaten können LLMs dabei helfen, Marketingbotschaften und -kampagnen an individuelle Vorlieben und Verhaltensweisen anzupassen.
• Datenanalyse: LLMs können große Datensätze verarbeiten und analysieren, um Erkenntnisse und Trends zu gewinnen. Unternehmen nutzen diese Fähigkeit, um fundierte Entscheidungen zu treffen, Marktchancen zu erkennen und Betriebsabläufe zu optimieren.
• Bildungstools und -ressourcen: Bildungseinrichtungen und eLearning-Plattformen nutzen LLMs, um personalisierte Lernerfahrungen zu schaffen. Diese Modelle können Lernmaterialien und Tests erstellen und sogar Nachhilfe zu einer Vielzahl von Themen anbieten.

Tipps vom Experten

Steve Moore ist Vice President und Chief Security Strategist bei Exabeam. Er entwickelt Lösungen zur Bedrohungserkennung und berät Kunden zu Sicherheitsprogrammen und der Reaktion auf Sicherheitsverletzungen. Er ist Moderator des „The New CISO Podcast“, Mitglied des Forbes Tech Council und Mitbegründer von TEN18 bei Exabeam.

Meiner Erfahrung nach gibt es hier erweiterte Strategien für die sichere Bereitstellung und Verwaltung von Tools wie ChatGPT in Unternehmensumgebungen:

Einsatz von KI-generierten Phishing-Erkennungstools
Trainieren Sie interne Systeme, um KI-generierte Phishing-E-Mails und Social-Engineering-Versuche zu erkennen. Kombinieren Sie diese mit Sensibilisierungsmaßnahmen für Ihre Mitarbeiter, um das Risiko zu verringern, Opfer ausgeklügelter KI-generierter Angriffe zu werden.

Implementieren Sie unternehmensweit eine LLM-Nutzungsrichtlinie
Entwickeln Sie klare Richtlinien für die Nutzung generativer KI-Tools wie ChatGPT. Fügen Sie Richtlinien zu zulässigen Anwendungsfällen, verbotenen Aktivitäten und Prozessen zur Überprüfung von Drittanbieter-Integrationen hinzu. Stellen Sie sicher, dass Ihre Mitarbeiter die Risiken der Verwendung von LLMs zur Verarbeitung sensibler Daten verstehen.

Verwenden Sie eine private LLM-Instanz für sensible Umgebungen
Unternehmen, die vertrauliche oder regulierte Daten verarbeiten, sollten die Bereitstellung privater, selbst gehosteter LLM-Versionen in Erwägung ziehen. Diese Instanzen werden innerhalb Ihres Netzwerks betrieben und bieten volle Kontrolle über die Datenverarbeitung und Sicherheitskonfigurationen. Dadurch werden die mit öffentlichen APIs verbundenen Risiken eliminiert.

Integrieren Sie die LLM-Nutzung mit SIEM-Systemen
Überwachen Sie LLM-Interaktionen mit SIEM-Plattformen wie Exabeam, um ungewöhnliche Aktivitäten wie häufige oder verdächtige Abfragen zu erkennen. Dies hilft, potenziellen Missbrauch oder böswilliges Verhalten im Zusammenhang mit KI-gestützten Tools zu erkennen.

Aktualisieren und sichern Sie Plugins und APIs regelmäßig
Stellen Sie sicher, dass die mit ChatGPT verbundenen Plugins und APIs auf dem neuesten Stand sind und sichere Codierungspraktiken befolgen. Führen Sie Schwachstellenanalysen für Plugins durch und beschränken Sie die Verwendung benutzerdefinierter GPTs auf geprüfte und genehmigte Konfigurationen.

Welche Sicherheitsrisiken bergen LLMs in Organisationen?

Bei der Verwendung großer Sprachmodelle wie ChatGPT treten mehrere Sicherheitsrisiken und Herausforderungen auf.

Offenlegung Sensible Daten

Die Offenlegung sensibler Daten ist bei LLMs ein kritisches Problem, da sie Informationen aus ihren Trainingsdatensätzen verarbeiten und integrieren. In Szenarien, in denen diese Modelle versehentlich Details aus diesen Datensätzen abrufen und reproduzieren, kann dies zu unbeabsichtigtem Datenverlust führen und Datenschutz und Sicherheit gefährden.

Böswillige Abfragen zum Abgreifen vertraulicher Informationen stellen ein erhebliches Risiko dar, insbesondere wenn LLMs in öffentlich zugängliche Dienste integriert sind. Die Implementierung strenger Datenverarbeitungs- und Datenschutzrichtlinien ist entscheidend, um solche Schwachstellen zu minimieren.

LLM-Injection-Angriffe

Bei LLM-Injection-Angriffen manipulieren Angreifer die Eingaben des Modells, um bestimmte, oft nicht autorisierte Reaktionen auszulösen oder das System zu unbeabsichtigtem Verhalten zu veranlassen. Diese Angriffe nutzen die Fähigkeit des Modells aus, Inhalte basierend auf den empfangenen Eingaben zu generieren. Dies kann zur Offenlegung vertraulicher Informationen, zur Ausführung schädlicher Aktionen oder zur Verbreitung irreführender Inhalte führen.

Im Unternehmenskontext könnte dies dazu führen, dass generative KI-Tools von Mitarbeitern oder externen Bedrohungsakteuren ausgenutzt werden und das Unternehmen dadurch Risiken aussetzen. Um diesen Bedrohungen entgegenzuwirken, ist die Implementierung robuster Prozesse zur Eingabevalidierung und -bereinigung unerlässlich. Die Überwachung und Protokollierung aller Interaktionen mit LLMs kann zudem dazu beitragen, Injektionsversuche zu erkennen und zu verhindern.

Datenvergiftung

Data Poisoning ist eine Technik, bei der Angreifer absichtlich irreführende oder schädliche Daten in den Trainingssatz eines Modells einspeisen, um dessen Lernprozess zu beeinträchtigen und zukünftige Ergebnisse zu beeinflussen. Dies kann dazu führen, dass das Modell falsche, verzerrte oder schädliche Inhalte generiert. Im Kontext von LLMs kann sich dies darin äußern, dass das Modell Ergebnisse produziert, die subtil zugunsten der Ziele des Angreifers verzerrt sind oder versteckte schädliche Inhalte oder Ratschläge enthalten.

Um Datenvergiftung zu verhindern, sind strenge Datenvalidierungs- und -kuratierungsprozesse erforderlich. Es ist wichtig, die für das Training von LLMs verwendeten Daten sorgfältig zu überwachen und zu kontrollieren und sicherzustellen, dass sie aus seriösen Quellen stammen. Darüber hinaus kann die kontinuierliche Neubewertung und Aktualisierung des Modells mit sauberen, verifizierten Daten dazu beitragen, die Auswirkungen zuvor vergifteter Daten zu mildern. Unternehmen müssen sicherstellen, dass LLM-Anbieter wie OpenAI die entsprechenden Maßnahmen ergreifen, um Datenvergiftung zu verhindern.

Unsicheres Plugin-Design

ChatGPT bietet Zugriff auf Tausende von Plugins und benutzerdefinierten GPTs, die von Einzelpersonen auf der ganzen Welt erstellt wurden. Bei der Verwendung in einer Organisation besteht das Risiko, dass Plugins oder Add-Ons integriert werden, die nicht ausreichend gesichert sind.

Unsicheres Plugin-Design kann zu schwerwiegenden Sicherheitslücken führen. Theoretisch könnten diese Schwachstellen es Angreifern ermöglichen, Sicherheitskontrollen zu umgehen, beliebigen Code auszuführen oder auf vertrauliche Informationen zuzugreifen.

Wie können LLMs wie ChatGPT für kriminelle Aktivitäten verwendet werden?

Verbesserung der Fähigkeiten von Cyberkriminellen

LLMs bieten Cyberkriminellen einfachen Zugang zu ausgefeilten Hacking-Techniken und Wissen. Angreifer können diese Modelle nach Informationen zur Ausnutzung von Schwachstellen abfragen und so die Bedrohungslage erhöhen. Darüber hinaus können Angreifer, die in Unternehmenssysteme eindringen wollen, LLMs nutzen, um schnell Code oder Konfigurationen für praktisch jedes Softwaresystem zu erlernen und zu generieren.

Verwendung bei Social-Engineering-Angriffen

LLMs können äußerst überzeugende, nuancierte Texte generieren, die für die Erstellung ausgeklügelter Phishing-E-Mails oder Social-Engineering-Angriffe missbraucht werden können. Diese KI-generierten Nachrichten sind oft nicht von echten Nachrichten zu unterscheiden, was die Erfolgsquote von Betrugsversuchen gegen Einzelpersonen oder Organisationen erhöht.

Die Verfeinerung der Sprachmodelle birgt ein erhebliches Risiko, da sie groß angelegte, gezielte Phishing-Kampagnen ermöglicht. Um dieser Bedrohung zu begegnen, sind erhöhte Wachsamkeit, Benutzerschulung und fortschrittliche Erkennungssysteme erforderlich, die darauf zugeschnitten sind, subtile Hinweise auf Täuschung in KI-generierten Inhalten zu erkennen.

Malware-Generierung

Bedrohungsakteure könnten Tools wie ChatGPT nutzen, um neue Malware zu entwickeln oder zu verfeinern. Dabei nutzen sie die Fähigkeiten der KI zur Generierung und Umgestaltung von Code. Durch die Eingabe von Beschreibungen der gewünschten Schadfunktionen können Angreifer potenziell Code-Schnipsel oder ganze Malware-Payloads erhalten.

Generative KI-Tools senken die Eintrittsbarriere für weniger technisch versierte Kriminelle und führen zu einer komplexeren Bedrohungslandschaft. Darüber hinaus könnten Angreifer die Modifikation von Malware-Code automatisieren, um die Erkennung zu verbessern, da sich dieser schnell weiterentwickeln und Sicherheitsmaßnahmen umgehen kann.

Strategien zur Risikominderung: So nutzen Sie ChatGPT sicher im Unternehmen

Hier sind einige nützliche Strategien zum Schutz vor den Sicherheitsrisiken, die von großen Sprachmodellen wie ChatGPT ausgehen.

Überprüfen Sie alle generierten Inhalte auf ihre Richtigkeit

Der Einsatz eines LLM wie ChatGPT erfordert die Überprüfung der Richtigkeit der generierten Inhalte. Falschinformationen können sich schnell verbreiten und zu Entscheidungen führen, die auf falschen Prämissen beruhen. Die Einrichtung von Protokollen zur Faktenprüfung gewährleistet die Zuverlässigkeit der KI-generierten Ergebnisse und schützt vor der Verbreitung von Ungenauigkeiten.

Unternehmen sollten Cross-Verification-Maßnahmen einführen und maßgebliche Quellen zur Validierung der generierten Inhalte konsultieren. Solche Maßnahmen erhöhen die Glaubwürdigkeit und Nützlichkeit von LLM-Anwendungen im Geschäftsumfeld.

Daten anonymisieren

Datenanonymisierung schützt sensible Informationen, die von LLMs verarbeitet werden. Das Entfernen oder Verschleiern identifizierbarer Details verhindert Datenlecks und schützt die Privatsphäre. Die Implementierung von Anonymisierungstechniken ist unerlässlich, wenn LLMs mit realen Daten für Schulungen oder Abfragen gefüttert werden.

Techniken wie Datenmaskierung, Tokenisierung und differenzielle Privatsphäre können Daten effektiv anonymisieren und so das Risiko einer Offenlegung minimieren, während der Nutzen der Informationen für KI-Anwendungen erhalten bleibt.

Hinweis: OpenAI hat kürzlich die Team- und Enterprise-Versionen des ChatGPT-Tools eingeführt. Dabei wird behauptet, dass keine privaten Daten zum Trainieren der Modelle verwendet werden. Die Bestätigung dieser Angaben erfordert jedoch eine sorgfältige Prüfung. Sicherheitsvorkehrungen auf Organisationsebene werden weiterhin empfohlen.

Seien Sie vorsichtig mit APIs und Apps von Drittanbietern

Die Einbindung von Drittanbieteranwendungen und APIs in LLM-Integrationen birgt zusätzliche Sicherheitslücken. Eine sorgfältige Prüfung externer Tools und strenge Zugriffskontrollen sind entscheidend, um unbefugten Zugriff und Datenlecks zu verhindern. In Hochsicherheitsumgebungen kann es ratsam sein, die Verwendung von Drittanbieter-Plugins oder benutzerdefinierten GPTs in ChatGPT zu verbieten.

Unternehmen sollten die Sicherheit von Drittanbieterlösungen gründlich prüfen und sicherstellen, dass diese Best Practices und Compliance-Standards einhalten. Eine strenge Kontrolle der API-Nutzung und die Überwachung abnormaler Aktivitäten trägt ebenfalls dazu bei, die mit externen Integrationen verbundenen Risiken zu minimieren.

Übersehen Sie nicht die traditionellen Sicherheitstools

Obwohl LLMs neue Sicherheitsherausforderungen mit sich bringen, bleiben traditionelle Cybersicherheitstools unverzichtbar. Antivirensoftware, Firewalls und SIEM-Systeme (Security Information and Event Management) spielen nach wie vor eine entscheidende Rolle beim Schutz vor unbefugtem Zugriff, Injection-Angriffen und anderen verdächtigen Aktivitäten im Zusammenhang mit der LLM-Nutzung.

Die Integration dieser Tools in eine umfassende Sicherheitsstrategie kann den Schutz auf die neuen Bedrohungen im Zusammenhang mit generativen KI-Technologien erweitern. Wie bei allen geschäftskritischen Anwendungen ist eine kontinuierliche Überwachung wichtig, um Sicherheitsvorfälle zu erkennen und einen Überblick über die Bedrohungslandschaft zu erhalten.

Exabeam Fusion: Das führende KI-gestützte SIEM

Exabeam bietet ein KI-gestütztes Erlebnis im gesamten TDIR-Workflow. Eine Kombination aus über 1.800 Mustervergleichsregeln und ML-basierten Verhaltensmodellen erkennt automatisch potenzielle Sicherheitsbedrohungen wie Anmeldeinformationsangriffe, Insider-Bedrohungen und Ransomware-Aktivitäten, indem sie risikoreiche Benutzer- und Entitätsaktivitäten identifiziert. Die branchenführende Benutzer- und Entitätsverhaltensanalyse (UEBA) ermittelt die normale Aktivität aller Benutzer und Entitäten und stellt alle wichtigen Ereignisse chronologisch dar.

Smart Timelines heben das mit jedem Ereignis verbundene Risiko hervor und ersparen Analysten das Schreiben von Hunderten von Abfragen. Maschinelles Lernen automatisiert den Warnmeldungs-Triage-Workflow und fügt UEBA-Kontext hinzu, um Warnmeldungen, die die größte Aufmerksamkeit erfordern, dynamisch zu identifizieren, zu priorisieren und zu eskalieren.

Die Exabeam Plattform kann wiederkehrende Workflows für über 100 Drittanbieterprodukte mit Aktionen und Vorgängen orchestrieren und automatisieren – von halb- bis vollautomatischen Aktivitäten. Der Exabeam Outcomes Navigator ordnet die Quellen der Feeds, die in Exabeam-Produkte eingehen, den gängigsten Sicherheitsanwendungsfällen zu und schlägt Möglichkeiten zur Verbesserung der Abdeckung vor.