ログの集約とは？完全ガイド

たとえあなたが気づかなくても、組織が使用しているデバイスのほとんどは、アクティビティ、システムの健全性、および機能性に関する貴重な情報を含むイベント・ログ・データを生成するか、または生成することが可能です。ログの集約は、これらのログを最大限に活用し、手作業でログを選別する時間と頭痛の種を最小限に抑えるのに役立ちます。ログ集約機能を備えたSIEMのようなログ管理ソリューションを使用することをお勧めします。

---

ログとは何ですか？

ログは、システムやアプリケーションによって生成されたタイムスタンプ付きイベントの連続的なストリームの記録である。ログには、イベントの種類、時間、発生源、および指定された詳細レベルが記録される。ログは、ソフトウエアのデバッグ、セキュリティ違反の特定、システム操作の洞察に使われる。ログのファイルタイプとデータ構造は、開発者、アプリケーション、システムによって異なる。

ログは、アプリケーション、ネットワーク・インフラ、セキュリティ問題の健全性を把握する上で極めて重要です。正しく使用されれば、IT チームが問題をより迅速に特定して対処し、不具合のあるシステムが従業員の生産性や顧客体験を阻害していないことを確認するのに役立ちます。サードパーティのアプリケーションやクラウドなどのインフラを使用する場合、複雑なレイヤーが追加され、機能を変更できないことがIT問題につながる可能性があるため、ログデータは非常に重要です。

ログを利用したくない場合でも、ほとんどの組織では、規制機関へのコンプライアンスや、財務監査やフォレンジック監査の際の業務証明として、ログの保持が義務付けられている。

---

ログの集約とは？

ログアグリゲーションとは、複数のコンピューティングシステムからログを収集し、それらを解析して構造化データを抽出し、最新のデータツールで簡単に検索・探索できる形式にまとめることである。

多くのログ集計システムは、複数の方法を組み合わせている。

シスログ

標準的なロギングプロトコル。ネットワーク管理者は、複数のシステムからログを受信するSyslogサーバーをセットアップすることができ、簡単にクエリー可能な効率的で凝縮されたフォーマットでそれらを保存する。ログアグリゲータは、Syslogデータを直接読み込んで処理することができる。

イベントストリーミング

SNMP、ネットフロー、IPFIXのようなプロトコルは、ネットワークデバイスがその操作に関する標準的な情報を提供することを可能にし、それらはログアグリゲータによって傍受され、解析され、中央ログストレージに追加される。

ログコレクター

ネットワーク・デバイス上で動作するソフトウェア・エージェントが、ログ情報を取得し、解析し、保存と分析のために集中型アグリゲータ・コンポーネントに送信する。

ダイレクト・アクセス

ログアグリゲータは、ログを直接受信するためにAPIまたはネットワークプロトコルを使用して、ネットワークデバイスまたはコンピューティングシステムに直接アクセスすることができます。このアプローチでは、データソースごとにカスタム統合が必要です。

---

ログ処理とは？

ログ処理とは、複数のソースから生のシステムログを取得し、その構造またはスキーマを特定し、それらを一貫性のある標準化されたデータソースに変換する技術である。

ログ処理の流れ

---

ログの種類

ほとんどすべてのコンピューティング・システムがログを生成する。以下は、ログデータの最も一般的なソースのいくつかである。

エンドポイントログ

エンドポイントとは、デスクトップ、ラップトップ、スマートフォン、サーバー、ワークステーションなど、ネットワーク内のコンピューティングデバイスのことである。エンドポイントは、ハードウェア、オペレーティングシステム、ミドルウェア、データベース、アプリケーションなど、ソフトウェアスタックのさまざまなレベルから複数のログを生成する。エンドポイントログは、スタックの下位レベルから取得され、エンドポイントデバイスのステータス、アクティビティ、健全性を把握するために使用される。

ルーターのログ

ルーター、スイッチ、ロードバランサーなどのネットワーク・デバイスは、ネットワーク・インフラのバックボーンです。これらのログは、内部ユーザーが訪問した宛先、外部トラフィックのソース、トラフィック量、使用されたプロトコルなど、トラフィックフローに関する重要なデータを提供します。ルーターは通常、Syslogフォーマットを介してデータを送信し、データはネットワークのSyslogサーバーを介してキャプチャし、分析することができます。

アプリケーション・イベント・ログ

サーバーやエンドユーザーデバイス上で実行されているアプリケーションは、イベントを生成し、ログに記録する。Windowsオペレーティング・システムは、実行中のアプリケーションからスタートアップ、シャットダウン、ハートビート、ランタイム・エラー・イベントを収集する集中型イベント・ログを提供します。Linux では、アプリケーション・ログ・メッセージは /var/log フォルダにあります。さらに、ログ・アグリゲーターは、電子メール、ウェブ、データベース・サーバーなどのエンタープライズ・アプリケーションからログを直接収集し、解析することができます。エンドポイント・ログは、スタックの下位レベルから取得され、エンドポイント・デバイスのステータス、アクティビティ、健全性を理解するために使用されます。

IoTログ

ログデータの新たな増加ソースは、モノのインターネット（IoT）接続されたデバイスである。IoTデバイスは、デバイス自身のアクティビティおよび/またはデバイスによってキャプチャされたセンサーデータをログに記録することができる。IoTの可視化は、多くの組織にとって大きな課題である。多くのデバイスはログを全く記録しないか、ログデータをローカルファイルシステムに保存するため、アクセスや集計の能力が制限される。先進的なIoTデプロイメントでは、ログデータを中央のクラウドサービスに保存します。その多くは、ポータビリティと中央ログ収集に焦点を当てた新しいログ収集プロトコル、syslog-ngを採用しています。

プロキシログ

多くのネットワークは透過的なプロキシを維持し、内部ユーザーのトラフィックを可視化している。プロキシサーバのログには、ローカルネットワーク上のユーザとアプリケーションによるリクエストと、アプリケーションの更新のようなインターネット上で行われたアプリケーションやサービスのリクエストが含まれます。プロキシが有効であるためには、ユーザートラフィックのすべて、または少なくとも重要なセグメントにおいてプロキシが実施され、HTTPS トラフィックを解読し解釈するための対策が講じられていなければならない。

一般的なログフォーマット

一般的なログフォーマットCSV、JSON、キー・バリュー・ペア、コモン・イベント・フォーマット(CEF)

---

ログ集計方法

組織が拡大し、多種多様なアプリケーションやサービス、インフラを採用するようになると、ログが各所に分散し、アクセスしにくかったり、データ形式が異なったりして、その有用性が極端に低下する。この問題は、ログデータを一元化し、分析や検索を容易にするログアグリゲーションで解決できます。

ログが集約されると、ファイルを探し出したり、データ形式を解読したり、ログ内の特定のエラーを検索したり、ましてやログ間の情報をつなげたりするために費やす時間が劇的に減少します。集約されたログは分析が容易であり、個々のログを調査するよりも強固な業務ビューを提供します。

ログの集計には、技術力やニーズに応じていくつかの方法があります。以下のようなものがある：

• Syslog-標準的なログプロトコルでログデータを収集する。転送するログソースごとに、中央ネットワークデーモンとクライアントデーモンを必要とする。
• イベント・ストリーミング -SNMP、Netflow、IPFIXなどのストリーミング・プロトコルにより、ネットワーク・デバイスからログ・データを収集します。
• ログコレクター -エージェント（通常はサードパーティのオプション）を通じて、ソースからリアルタイムでログを収集する。
• 直接アクセス -APIまたはネットワークプロトコルの統合により、ネットワークデバイスやシステムから直接ログデータを収集します。

---

オープンソースのログ収集ツール3選

ログ集計のために作成されたサードパーティツールがいくつかあり、あなたが選ぶものは、あなたの特定のニーズによって異なります。完全にカスタマイズできるソリューションを探しているのであれば、以下のオープンソースツールが適しているかもしれない。ツール自体は多くのソリューションで無料ですが、システムを管理・維持する必要があり、運用の複雑さの点でコストがかかることに留意してください。

1.エラスティック（旧ELK）

一般的なソリューションでは、Elastic Stack（以下のツールで構成されていることからELKとしても知られている）を使ってログ管理サービスを作成する：

• Elasticsearch -リアルタイムに近いRESTfulな検索・分析エンジンであり、データをインデックス化して高速に利用でき、Hadoopとの統合も可能。
• Logstash -データを変換し、分析のためにElasticsearchにロードするログのインジェスターと処理パイプラインシステム。
• Kibana -機械学習機能を含むデータ可視化ツール

Beatsは、Elasticsearchに直接、あるいはLogstashとコンテキストのためのメタデータを通してデータを収集し、送信するエージェントのセットである。

Elasticは柔軟性が高くカスタマイズが可能で、セキュリティ情報・イベント管理（SIEM）システムの機能の一部を提供することもできますが、有償のアドオンなしではアラートを生成することはできません。Elasticはオンプレミスでもクラウドでもホスティングでき、その人気の高さから、有償でシステムの運用を代行するサードパーティのサービスなど、サポートも充実しています。

2.フルエント

AWSとGoogle Cloudが推奨するFluentdは、ElasticスタックにおいてLogstashの代替としてよく使われるローカルアグリゲータだ。プラグインシステムを使い、様々なデータソースを統合するUnified Logging Layerを作成し、そこからログを収集し、中央のストレージシステムに送信する。

Fluentdは現在約500のプラグインが利用可能で、オープンソースであるため、必要に応じて新しいプラグインを作成することができる。その人気の一因は、必要なリソースが少ないことにある。わずか30-40MBのメモリで動作し、使用中のコアあたり毎秒13,000イベントを処理することができ、Fluent Bitと呼ばれるさらに軽量なデータフォワーダーと一緒に使用することができます。

---

ログ集計・管理ツールの選択に関する考察

ログ管理ソリューションは、ログの形式に関係なく、さまざまなソースから大量のデータを取り込むのに十分強力でなければならず、ログ量の急増に対応できる拡張性がなければなりません。これらの条件が満たされていることを前提に、ソリューションを選択する前に以下を検討する必要があります。

ログ収集

選択するソリューションは、ログを収集する方法とタイミングを制御できるようにし、収集したログデータを稼動中のアプリケーションの外部に一元化する必要があります。システムリソースへの影響を減らし、すべてのエラーを確実に収集し、サーバ障害によるデータ損失から保護するために、ログ収集プロセスを自動化できる必要があります。

ログの取り込み

ソリューションは、アプリケーション、サーバー、プラットフォームを含む外部ソースからデータを収集、フォーマット、インポートできなければならない。収集されたログは、必要なデータをすべて含み、効率的に保存され、インデックス化され、分析・監視のためにチームが簡単にアクセスできる必要がある。

ログ解析と検索

優れたソリューションは、ユーザーが自然言語構造を使って検索し、結果を素早く返すことを可能にする。ソリューションは、可能な限りリアルタイムに近いログ・アクティビティを表示し、ポイント・イン・タイム検索を可能にすべきである。

ログ監視とアラート

ソリューションには、アラートを作成するタイミングや送信先のルールなど、カスタマイズされたアラートを設定する機能が含まれている必要があります。1分あたりのエラー数などの基準を使用して、さまざまなイベントからアラートをトリガーし、Slackグループから個人の電子メールアドレスまで、さまざまなソースに送信できるようにする必要があります。

可視化とレポート

効果的なソリューションは、ポイント・イン・タイム分析およびユーザー定義期間のシステム状態およびログ量の可視化およびレポートを提供します。DevSecOpsteamsへの移行には、レポーティングを簡素化し、データを視覚化するグラフなど、要求されたレポートを簡単に共有・閲覧できるツールの使用が必要です。

費用対効果

効率的なソリューションは、合理的なコストで、データ量や保存期間などのデータ要件を満たせるものでなければならない。柔軟性と拡張性を備え、きめ細かな価格設定が可能なソリューションが最適です。

---

結論

ログの集約は、1時間以内にアプリケーションの問題を特定するのと、数え切れないほどのログの点と点を結ぶのに苦労する間、そのアプリケーションが1週間停止するのとの違いを意味します。健全なログ管理システムは、エラーの検索を簡素化し、生産性に影響を与える前に可能性のある問題を警告し、時間とエネルギーを最大限に活用することができます。

---

エクサビーム：高度なセキュリティ分析で脅威検知を強化

Exabeam Fusion Enterprise Edition Incident Responderは、SIEM、行動分析、自動化、ネットワークの可視性を強力に組み合わせ、企業が脅威を検知、調査、対応する方法を変革します。ファイアウォールのログと、エンドポイント、クラウド環境、アイデンティティ・システム、その他のセキュリティ・ソースからのデータを相関させることにより、Exabeamは、通常であれば検出されない進化する脅威について、より深い洞察を提供します。

Exabeamは、行動分析によって静的なルールやシグネチャの枠を超え、クレデンシャルの不正使用、内部脅威、ネットワーク全体の横移動を示す異常な行動を特定します。通常のユーザーやエンティティの行動を長期にわたって分析することで、Exabeamは従来のセキュリティ・ツールが見落としていたリスクの高い行動を発見します。

自動化された調査は、異種のデータポイントを包括的な脅威のタイムラインにリンクすることでセキュリティ運用を合理化し、アナリストが手作業でインシデントをつなぎ合わせる時間を短縮します。これにより、チームは攻撃の根本原因を迅速に特定し、的確に対応できるようになります。

詳細はこちらExabeam Fusion SIEM