Was ist Log-Aggregation? Der vollständige Leitfaden

Auch wenn Sie es nicht wissen: Die meisten Geräte in Ihrem Unternehmen erstellen oder können Ereignisprotokolle mit wertvollen Informationen über ihre Aktivitäten, den Systemzustand und die Funktionalität erstellen. Mithilfe der Protokollaggregation können Sie diese Protokolle optimal nutzen und den Zeit- und Arbeitsaufwand für die manuelle Durchsicht minimieren. Verwenden Sie eine Protokollverwaltungslösung wie ein SIEM mit Protokollaggregationsfunktionen.

---

Was sind Protokolle?

Protokolle sind Aufzeichnungen kontinuierlicher, mit Zeitstempeln versehener Ereignisströme, die von Systemen und Anwendungen generiert werden. Sie zeichnen Ereignistypen, -zeiten, -ursprünge und alle angegebenen Detaillierungsstufen auf. Sie dienen zum Debuggen von Software, zum Erkennen von Sicherheitsverletzungen und bieten Einblick in den Systembetrieb. Der Dateityp und die Datenstruktur der Protokolle variieren je nach Entwickler, Anwendung und System.

Protokolle sind entscheidend, um den Zustand von Anwendungen, Netzwerkinfrastruktur und Sicherheitsproblemen zu verstehen. Bei richtiger Verwendung helfen sie IT-Teams, Probleme schneller zu erkennen und zu beheben und sicherzustellen, dass fehlerhafte Systeme weder die Produktivität der Mitarbeiter noch das Kundenerlebnis beeinträchtigen. Protokolldaten sind bei der Nutzung von Anwendungen oder Infrastrukturen von Drittanbietern, wie z. B. Clouds, von entscheidender Bedeutung, da die Kombination aus zusätzlichen Komplexitätsebenen und der Unmöglichkeit, die Funktionalität zu ändern, zu IT-Problemen führen kann.

Auch wenn Sie keine Protokolle verwenden möchten, sind die meisten Organisationen verpflichtet, diese aufzubewahren, um die Vorschriften der Aufsichtsbehörden einzuhalten und als Nachweis für den Betrieb im Falle von Finanz- oder forensischen Prüfungen zu dienen.

---

Was ist Protokollaggregation?

Bei der Protokollaggregation werden Protokolle aus mehreren Computersystemen gesammelt, analysiert und strukturierte Daten extrahiert und in einem Format zusammengestellt, das mit modernen Datentools leicht durchsucht und untersucht werden kann.

Es gibt vier gängige Methoden zum Aggregieren von Protokollen – viele Protokollaggregationssysteme kombinieren mehrere Methoden.

Syslog

Ein Standardprotokoll. Netzwerkadministratoren können einen Syslog-Server einrichten, der Protokolle von mehreren Systemen empfängt und in einem effizienten, komprimierten und leicht abfragbaren Format speichert. Protokollaggregatoren können Syslog-Daten direkt lesen und verarbeiten.

Event-Streaming

Protokolle wie SNMP, Netflow und IPFIX ermöglichen es Netzwerkgeräten, Standardinformationen über ihre Vorgänge bereitzustellen, die vom Protokollaggregator abgefangen, analysiert und dem zentralen Protokollspeicher hinzugefügt werden können.

Holzsammler

Software-Agenten, die auf Netzwerkgeräten ausgeführt werden, erfassen Protokollinformationen, analysieren sie und senden sie zur Speicherung und Analyse an eine zentrale Aggregatorkomponente.

Direktzugriff

Protokollaggregatoren können über eine API oder ein Netzwerkprotokoll direkt auf Netzwerkgeräte oder Computersysteme zugreifen und Protokolle empfangen. Dieser Ansatz erfordert eine individuelle Integration für jede Datenquelle.

---

Was ist Protokollverarbeitung?

Bei der Protokollverarbeitung handelt es sich um die Kunst, Rohsystemprotokolle aus mehreren Quellen zu entnehmen, ihre Struktur oder ihr Schema zu identifizieren und sie in eine konsistente, standardisierte Datenquelle umzuwandeln.

Der Protokollverarbeitungsablauf

---

Protokolltypen

Fast jedes Computersystem generiert Protokolle. Nachfolgend finden Sie einige der gängigsten Quellen für Protokolldaten.

Endpunktprotokolle

Ein Endpunkt ist ein Computergerät innerhalb eines Netzwerks – beispielsweise ein Desktop-PC, Laptop, Smartphone, Server oder eine Workstation. Endpunkte generieren mehrere Protokolle aus verschiedenen Ebenen ihres Software-Stacks – Hardware, Betriebssystem, Middleware, Datenbank und Anwendungen. Endpunktprotokolle stammen aus den unteren Ebenen des Stacks und dienen dazu, Status, Aktivität und Zustand des Endpunktgeräts zu verstehen.

Router-Protokolle

Netzwerkgeräte wie Router, Switches und Load Balancer bilden das Rückgrat der Netzwerkinfrastruktur. Ihre Protokolle liefern wichtige Daten zum Datenverkehr, einschließlich der von internen Benutzern besuchten Ziele, der Quellen des externen Datenverkehrs, des Datenvolumens, der verwendeten Protokolle und mehr. Router übertragen Daten typischerweise im Syslog-Format. Die Daten können über die Syslog-Server Ihres Netzwerks erfasst und analysiert werden.

Anwendungsereignisprotokolle

Auf Servern oder Endbenutzergeräten ausgeführte Anwendungen generieren und protokollieren Ereignisse. Das Windows-Betriebssystem bietet ein zentrales Ereignisprotokoll, das Start-, Herunterfahr-, Heartbeat- und Laufzeitfehlerereignisse laufender Anwendungen erfasst. Unter Linux befinden sich Anwendungsprotokollmeldungen im Ordner /var/log. Darüber hinaus können Protokollaggregatoren Protokolle von Unternehmensanwendungen wie E-Mail-, Web- oder Datenbankservern direkt erfassen und analysieren. Endpunktprotokolle werden aus den unteren Ebenen des Stapels abgerufen und verwendet, um Status, Aktivität und Zustand des Endpunktgeräts zu verstehen.

IoT-Protokolle

Eine neue und wachsende Quelle für Protokolldaten sind Internet der Dinge (IoT) verbundene Geräte. IoT-Geräte können ihre eigenen Aktivitäten und/oder die vom Gerät erfassten Sensordaten protokollieren. Die IoT-Transparenz stellt für die meisten Unternehmen eine große Herausforderung dar, da viele Geräte überhaupt keine Protokollierung durchführen oder Protokolldaten in lokalen Dateisystemen speichern, was den Zugriff oder die Aggregation einschränkt. Fortgeschrittene IoT-Implementierungen speichern Protokolldaten in einem zentralen Cloud-Dienst; viele setzen auf das neue Protokollerfassungsprotokoll syslog-ng, das auf Portabilität und zentrale Protokollerfassung ausgerichtet ist.

Proxy-Protokolle

Viele Netzwerke verfügen über einen transparenten Proxy, der Einblick in den Datenverkehr interner Benutzer bietet. Proxyserver-Protokolle enthalten Anfragen von Benutzern und Anwendungen im lokalen Netzwerk sowie Anwendungs- oder Serviceanfragen über das Internet, z. B. Anwendungsupdates. Um gültig zu sein, müssen Proxys in allen oder zumindest kritischen Segmenten des Benutzerverkehrs durchgesetzt werden, und es müssen Maßnahmen zur Entschlüsselung und Interpretation des HTTPS-Verkehrs vorhanden sein.

Gängige Protokollformate

Gängige Protokollformate: CSV, JSON, Schlüssel-Wert-Paar, Common Event Format (CEF)

---

Methoden zur Protokollaggregation

Mit der Expansion von Unternehmen und der Einführung einer größeren Vielfalt an Anwendungen, Diensten und Infrastrukturen werden Protokolle über verschiedene Standorte verteilt, und ihr Nutzen nimmt aufgrund von Unzugänglichkeit und unterschiedlichen Datenformaten drastisch ab. Dieses Problem lässt sich durch die Protokollaggregation lösen, die Protokolldaten zentralisiert und so die Analyse und Suche erleichtert.

Durch die Aggregierung von Protokollen verringert sich der Zeitaufwand für das Aufspüren von Dateien, das Entschlüsseln von Datenformaten und die Suche nach bestimmten Fehlern in Protokollen erheblich, ganz zu schweigen vom Zeitaufwand für das Verknüpfen von Informationen zwischen Protokollen. Aggregierte Protokolle sind einfacher zu analysieren und bieten einen umfassenderen Überblick über Ihre Vorgänge als eine Einzelanalyse.

Je nach Ihren technischen Möglichkeiten und Anforderungen stehen Ihnen verschiedene Methoden zum Aggregieren Ihrer Protokolle zur Verfügung. Dazu gehören:

• Syslog– sammelt Protokolldaten über ein Standardprotokoll; erfordert einen zentralen Netzwerk-Daemon und Client-Daemons für jede weiterzuleitende Protokollquelle
• Event-Streaming– sammelt Protokolldaten von Netzwerkgeräten über Streaming-Protokolle wie SNMP, Netflow oder IPFIX
• Protokollsammler– sammelt Protokolle von Quellen in Echtzeit über einen Agenten, normalerweise eine Option eines Drittanbieters
• Direkter Zugriff– sammelt Protokolldaten direkt von Netzwerkgeräten oder -systemen über API oder Netzwerkprotokollintegration

---

3 Open-Source-Tools zur Protokollaggregation

Es gibt verschiedene Tools von Drittanbietern für die Protokollaggregation. Welche Tools Sie auswählen, hängt von Ihren spezifischen Anforderungen ab. Wenn Sie nach vollständig anpassbaren Lösungen suchen, könnten die folgenden Open-Source-Tools das Richtige für Sie sein. Beachten Sie, dass die Tools zwar für viele Lösungen kostenlos sind, aber die Verwaltung und Wartung Ihres Systems erfordern und aufgrund der Komplexität des Betriebs Kosten verursachen.

1. Elastic (ehemals ELK)

Eine beliebte Lösung besteht darin, einen Protokollverwaltungsdienst mit dem Elastic Stack zu erstellen, der aufgrund seiner Zusammensetzung aus den folgenden Tools auch als ELK bekannt ist:

• Elasticsearch– eine RESTful-Such- und Analyse-Engine, die Daten für eine schnellere Nutzung indiziert und in Hadoop integriert werden kann.
• Logstash– ein Log-Ingestor- und Verarbeitungspipeline-System, das Daten transformiert und zur Analyse in Elasticsearch lädt
• Kibana– ein Datenvisualisierungstool mit Machine-Learning-Funktionalität

Beats, ein Tool, das integriert werden kann, ist eine Reihe von Agenten, die Daten sammeln und direkt oder über Logstash sowie Metadaten für den Kontext an Elasticsearch senden.

Elastic ist äußerst flexibel und anpassbar und bietet sogar einige Funktionen eines SIEM-Systems (Security Information and Event Management), kann jedoch ohne kostenpflichtiges Add-on keine Warnmeldungen generieren. Elastic kann vor Ort oder in der Cloud gehostet werden und bietet aufgrund seiner Beliebtheit umfassenden Support, einschließlich Drittanbieterdiensten, die das System gegen Gebühr für Sie betreiben.

2. Fluentd

Fluentd wird von AWS und Google Cloud empfohlen und ist ein lokaler Aggregator, der häufig als Ersatz für Logstash in einem Elastic-Stack verwendet wird. Es verwendet ein Plug-in-System, um eine einheitliche Protokollierungsebene zu erstellen, die verschiedene Datenquellen integriert, aus denen es Protokolle sammelt und an ein zentrales Speichersystem sendet.

Fluentd bietet derzeit rund 500 Plugins an. Dank seiner Open-Source-Natur können Sie bei Bedarf neue erstellen. Seine Beliebtheit verdankt es unter anderem seinem geringen Ressourcenbedarf. Es benötigt nur 30–40 MB Arbeitsspeicher und kann 13.000 Ereignisse pro Sekunde und genutztem Kern verarbeiten. Zudem kann es mit einem noch leichteren Datenweiterleiter namens Fluent Bit verwendet werden.

---

Überlegungen zur Auswahl von Protokollaggregations- und Verwaltungstools

Log-Management-Lösungen müssen leistungsstark genug sein, um große Datenmengen aus unterschiedlichsten Quellen unabhängig vom Protokollformat zu verarbeiten und skalierbar zu sein, um Spitzen im Protokollvolumen zu bewältigen. Sofern diese Voraussetzungen erfüllt sind, sollten Sie vor der Auswahl Ihrer Lösung Folgendes beachten.

Protokollsammlung

Die von Ihnen gewählte Lösung sollte Ihnen die Kontrolle darüber geben, wie und wann Protokolle erfasst werden, und die erfassten Protokolldaten außerhalb von Live-Anwendungen zentralisieren. Sie müssen in der Lage sein, den Prozess der Protokollerfassung zu automatisieren, um die Belastung der Systemressourcen zu reduzieren, sicherzustellen, dass alle Fehler erfasst werden, und Datenverluste durch Serverausfälle zu vermeiden.

Protokollaufnahme

Lösungen müssen in der Lage sein, Daten aus externen Quellen wie Anwendungen, Servern und Plattformen zu erfassen, zu formatieren und zu importieren. Die erfassten Protokolle müssen alle erforderlichen Daten enthalten, effizient gespeichert und indiziert werden und für Teams zur Analyse und Überwachung leicht zugänglich sein.

Protokollanalyse und -suche

Eine gute Lösung ermöglicht Benutzern die Suche mithilfe natürlicher Sprachstrukturen und liefert schnell Ergebnisse. Lösungen sollten die Protokollaktivität möglichst in Echtzeit darstellen und zeitpunktbezogene Suchen ermöglichen.

Protokollüberwachung und Warnungen

Lösungen müssen die Möglichkeit bieten, benutzerdefinierte Warnmeldungen einzurichten, einschließlich Regeln für den Zeitpunkt und den Empfänger der Warnmeldungen. Sie sollten Warnmeldungen anhand unterschiedlichster Ereignisse auslösen können, beispielsweise anhand der Anzahl der Fehler pro Minute, und diese an verschiedene Quellen senden lassen können, von Slack-Gruppen bis hin zu persönlichen E-Mail-Adressen.

Visualisierung und Reporting

Effektive Lösungen bieten Visualisierungen und Berichte zu Systemzuständen und Protokollvolumen für zeitpunktbezogene Analysen und über benutzerdefinierte Zeiträume. Die Umstellung auf DevSecOps-Teams erfordert den Einsatz von Tools, die die Berichterstellung vereinfachen und die einfache Freigabe und Anzeige angeforderter Berichte ermöglichen, einschließlich Diagrammen zur Visualisierung von Daten.

Kosteneffizienz

Effiziente Lösungen sollten Ihre Datenanforderungen hinsichtlich Volumen und Aufbewahrungsdauer zu angemessenen Kosten erfüllen. Lösungen, die Flexibilität und Skalierbarkeit bieten und eine differenzierte Preisgestaltung ermöglichen, sind die beste Wahl.

---

Abschluss

Die Protokollaggregation kann den Unterschied ausmachen: Erkennen Sie ein Anwendungsproblem innerhalb einer Stunde oder ist die Anwendung eine Woche lang außer Betrieb, während Sie sich mit der Verknüpfung unzähliger Protokolle herumschlagen. Ein solides Protokollverwaltungssystem vereinfacht die Fehlersuche und warnt Sie sogar vor möglichen Problemen, bevor diese Ihre Produktivität beeinträchtigen. So können Sie Ihre Zeit und Energie optimal nutzen.

---

Exabeam: Verbesserte Bedrohungserkennung mit fortschrittlicher Sicherheitsanalyse

Die Exabeam Security Operations Platform bietet eine leistungsstarke Kombination aus SIEM, Verhaltensanalyse, Automatisierung und Netzwerktransparenz, um die Erkennung, Untersuchung und Reaktion von Bedrohungen in Unternehmen zu verändern. Durch die Korrelation von Firewall-Protokollen mit Daten von Endpunkten, Cloud-Umgebungen, Identitätssystemen und anderen Sicherheitsquellen bietet Exabeam tiefere Einblicke in sich entwickelnde Bedrohungen, die sonst unentdeckt blieben.

Dank verhaltensbasierter Analysen geht Exabeam über statische Regeln und Signaturen hinaus und erkennt anomale Aktivitäten, die auf den Missbrauch von Anmeldeinformationen, Insider-Bedrohungen oder laterale Bewegungen im Netzwerk hinweisen. Durch die Analyse des normalen Benutzer- und Entitätsverhaltens im Zeitverlauf deckt Exabeam risikoreiche Aktivitäten auf, die von herkömmlichen Sicherheitstools möglicherweise übersehen werden.

Automatisierte Untersuchungen optimieren Sicherheitsabläufe, indem sie unterschiedliche Datenpunkte zu umfassenden Bedrohungszeitplänen verknüpfen. Dadurch wird der Zeitaufwand für Analysten reduziert, die Vorfälle manuell zusammenzufügen. So können Teams die Ursache eines Angriffs schnell identifizieren und präzise reagieren.

Erfahren Sie mehr über Exabeam SIEM