組織におけるChatGPT：セキュリティ・リスクのトップと対策

ChatGPTとは？

ChatGPTはOpenAIが開発したオンライン生成AIツールで、同社のGPT（Generative Pre-trained Transformer）シリーズの大規模言語モデル（LLM）をベースにしている。人間のようなテキストを理解し生成するように設計されており、膨大なテキストデータの分析に基づいて、会話のやり取り、質問への回答、コンテンツの作成、コードの生成などを行うことができる。

ChatGPTや同様のジェネレーティブAIツールの利用は急速に拡大している。SalesForceの調査によると、米国では人口の45％以上がジェネレーティブAIツールを使用しており、75％のユーザーが仕事上のタスクの自動化や仕事上のコミュニケーションのサポートを目指している。同時に、人間のようなテキストを処理・生成するChatGPTの能力は、悪意のある目的に悪用される可能性があり、サイバーセキュリティに対する危機感を高めている。

用心深い目をも欺く巧妙なフィッシングメールの作成から、サイバー攻撃に使用される可能性のあるコードの生成まで、ChatGPTの悪用の可能性は、高度なAI技術の諸刃の性質を浮き彫りにしている。このようなモデルが重要なビジネス業務に統合されるにつれて、データ漏洩やプライバシー侵害の可能性が高まり、機密情報を保護し、高度なAI機能がセキュリティの脆弱性につながらないようにするための厳格なセキュリティ対策が必要となっている。

大規模言語モデル(LLM)は現在どのように使われているのか？

ChatGPTを支えるモデルのようなLLMは、業界を超えて組織の運営方法に革命をもたらしています。ChatGPTのようなツールの企業ユースケースをいくつかご紹介しましょう：

• カスタマー・サポートの自動化：多くの企業がLLMを活用してカスタマー・サービスを強化している。これらのモデルをカスタマー・サポート・システムに統合することで、企業は顧客からの問い合わせに24時間365日、即座に対応することができる。
• コンテンツの作成と管理：LLMは、大規模なコンテンツの作成と管理を支援します。記事やレポートの下書きから、マーケティング資料や商品説明の作成まで、これらのモデルはコンテンツ作成プロセスの合理化を支援します。
• コード生成とレビュー：ソフトウェア開発の分野では、LLMはコード・スニペットの生成、コード・エラーのレビュー、改善や最適化の提案に利用されている。
• 言語翻訳：グローバルに事業を展開する企業は、LLMをリアルタイムの翻訳サービスに利用することで、異なる言語や文化を超えたシームレスなコミュニケーションを実現しています。これにより、ビジネスが拡大し、より多くの人々に対応できるようになります。
• パーソナライズされたマーケティング・キャンペーン：顧客データを分析することで、LLMは個人の嗜好や行動に合わせてマーケティング・メッセージやキャンペーンを調整することができる。
• データ分析：LLMは、大規模なデータセットを処理して分析し、洞察や傾向を抽出することができる。企業はこの能力を意思決定、市場機会の特定、業務の最適化に活用しています。
• 教育ツールとリソース：教育機関やeラーニング・プラットフォームは、パーソナライズされた学習体験を実現するためにLLMを採用している。これらのモデルは、学習教材や小テストを作成したり、幅広い分野の個別指導を行ったりすることもできる。

エキスパートからのアドバイス

スティーブ・ムーアは、Exabeamのバイスプレジデント兼チーフ・セキュリティ・ストラテジストで、脅威検知のためのソリューションの推進を支援し、セキュリティ・プログラムの推進や侵害対応について顧客にアドバイスを行っています。The New CISO Podcast」のホストであり、Forbes Tech Councilのメンバー、ExabeamのTEN18の共同創設者でもあります。

私の経験から、ChatGPTのようなツールを企業環境に安全に導入・管理するための高度な戦略をご紹介します：

AIが生成するフィッシング検知ツールの導入
AIが生成したフィッシングメールやソーシャル・エンジニアリングの試みを認識できるよう、社内システムを訓練する。これらを従業員の意識向上プログラムと組み合わせることで、AIが生成した巧妙な攻撃の被害に遭うリスクを低減する。

組織全体でLLM使用ポリシーを導入する
ChatGPTのようなジェネレーティブAIツールの使用を管理する明確なポリシーを策定する。許容可能なユースケース、禁止行為、サードパーティとの統合を審査するプロセスに関するガイドラインを含める。従業員に、機密データ処理にLLMを使用するリスクを理解させる。

機密性の高い環境にはプライベートLLMインスタンスを使用する
機密データや規制対象データを扱う企業では、LLMのプライベートなセルフホストバージョンの導入をご検討ください。これらのインスタンスはネットワーク内で動作し、データの取り扱いとセキュリティ設定を完全に制御できるため、公開APIに関連するリスクを排除できます。

LLMの利用をSIEMシステムと統合する
Exabeam のような SIEM プラットフォームを使用して LLM のやり取りを監視し、頻繁なクエリや疑わしいクエリなどの異常なアクティビティを検出します。これにより、AIを搭載したツールの潜在的な誤用や悪意のある行動を特定することができます。

プラグインとAPIの定期的なアップデートとセキュア化
ChatGPTに接続するプラグインやAPIを最新版に更新し、セキュアなコーディングプラクティスに従うようにします。プラグインの脆弱性評価を実施し、カスタム GPT の使用を吟味され承認された構成に制限する。

組織におけるLLMのセキュリティ・リスクとは？

ChatGPTのような大規模な言語モデルを使用する際には、セキュリティ上のリスクや課題がいくつかあります。

を公開した。機密データ

LLMは学習データセットからの情報を処理し、取り込むため、機密データの暴露は重大な懸念事項である。これらのモデルが不注意にこれらのデータセットから詳細を呼び出し、再現するシナリオでは、意図しないデータ漏洩につながり、プライバシーとセキュリティを損なう可能性がある。

機密情報を抜き取ろうとする悪意のあるクエリーは、特にLLMが一般向けのサービスに統合されている場合、重大なリスクとなる。このような脆弱性を軽減するためには、厳格なデータの取り扱いとプライバシー・ポリシーを導入することが極めて重要です。

LLMインジェクション攻撃

LLMインジェクション攻撃は、敵がモデルへの入力を操作して、特定の、多くの場合、不正な反応を引き起こしたり、システムに意図しない振る舞いをさせたりするものです。これらの攻撃は、モデルが受け取った入力に基づいてコンテンツを生成する能力を悪用し、機密情報の暴露、有害なアクションの実行、または誤解を招くコンテンツの拡散につながる可能性があります。

組織の文脈では、生成AIツールが従業員や外部の脅威行為者に悪用され、組織がリスクにさらされる可能性がある。このような脅威と戦うためには、強固な入力検証とサニタイズプロセスを実装することが重要です。また、LLMとのすべてのやり取りを監視し、ログに記録することも、インジェクションの試みを特定し、緩和するのに役立ちます。

データ・ポイズニング

データポイズニングとは、攻撃者が意図的にモデルの学習セットに誤解を招くようなデータや悪意のあるデータを送り込み、モデルの学習プロセスを破壊し、将来の出力に影響を与えることを狙う手法である。これにより、モデルは不正確な、偏った、または有害なコンテンツを生成する可能性がある。LLMの文脈では、これはモデルが攻撃者の意図に有利なように微妙に偏った出力を生成したり、隠れた悪意のあるコンテンツやアドバイスを含む出力を生成したりすることで現れます。

データポイズニングを防ぐには、厳密なデータ検証とキュレーションプロセスが必要である。LLMのトレーニングに使用されるデータを注意深く監視・管理し、信頼できるソースからのデータであることを確認することが重要である。さらに、クリーンで検証済みのデータでモデルを継続的に再評価・更新することで、過去に取り込まれたポイズニング・データの影響を軽減することができる。組織は、OpenAIのようなLLMプロバイダーが、データポイズニングを防止するために適切な措置を講じていることを確認する必要があります。

安全でないプラグインの設計

ChatGPTは、世界中の個人によって作成された何千ものプラグインやカスタムGPTへのアクセスを提供します。組織で使用する場合、十分に保護されていないプラグインやアドオンを統合するリスクがあります。

安全でないプラグインの設計は、深刻なセキュリティ脆弱性につながる可能性があります。理論的には、これらの脆弱性は、攻撃者がセキュリティ制御を迂回したり、任意のコードを実行したり、機密情報にアクセスしたりすることを可能にします。

ChatGPTのようなLLMが犯罪に利用される可能性は？

サイバー犯罪スキルの向上

LLMは、サイバー犯罪者に洗練されたハッキング技術や知識への容易なアクセスを提供する。攻撃者は、脆弱性を悪用するための情報をこれらのモデルに問い合わせることができ、その脅威レベルを高めることができます。さらに、組織のシステムに侵入しようとする攻撃者は、LLMを使用して、実質的にあらゆるソフトウェア・システムのコードや設定を迅速に学習し、生成することができます。

ソーシャル・エンジニアリング攻撃への利用

LLMは、非常に説得力のあるニュアンスのテキストを生成することができ、精巧なフィッシングメールやソーシャルエンジニアリングのスキームの作成に悪用される可能性がある。これらのAIが生成したメッセージは、本物のコミュニケーションと見分けがつかないことが多く、個人や組織をターゲットにした詐欺の成功率を高めています。

言語モデルの洗練は、大規模な標的型フィッシング・キャンペーンを可能にするため、大きなリスクをもたらす。この脅威に対処するには、警戒の強化、ユーザー教育、AIが生成したコンテンツに含まれる欺瞞の微妙な手がかりを認識するように調整された高度な検出システムが必要である。

マルウェアの生成

攻撃者はChatGPTのようなツールを活用し、コードを生成したりリファクタリングしたりするAIの機能を利用して、新しいマルウェアを改良したり作成したりすることができる。希望する悪意のある機能の説明を入力することで、攻撃者はコードの断片やマルウェアのペイロード全体を受け取ることができる可能性があります。

ジェネレーティブなAIツールは、技術的スキルの低い犯罪者の参入障壁を下げ、より複雑な脅威の状況をもたらす。さらに、攻撃者はマルウェアのコードを自動修正することで、セキュリティ対策を回避するためにマルウェアを急速に進化させ、より検知されにくくすることができる。

緩和戦略：企業で ChatGPT を安全に使用する方法

ChatGPTのような大規模な言語モデルがもたらすセキュリティ・リスクから保護するための有用な戦略をご紹介します。

すべての生成コンテンツのファクトチェック

ChatGPTのようなLLMを採用する場合、生成されたコンテンツの正確性を検証する必要がある。誤った情報は瞬く間に広まり、誤った前提に基づく意思決定につながる可能性があります。ファクトチェックのプロトコルを確立することで、AIが生成したアウトプットの信頼性を確保し、不正確な情報の拡散を防ぐことができます。

組織は、生成されたコンテンツを検証するために、相互検証ステップを組み込み、権威ある情報源を参照すべきである。このような措置は、ビジネス環境におけるLLMアプリケーションの信頼性と有用性を高める。

データの匿名化

データの匿名化は、LLMが処理する機密情報を保護します。識別可能な詳細情報を削除または偽装することで、データ漏洩を防ぎ、プライバシーを維持します。匿名化技術の実装は、実世界のデータをトレーニングやクエリ応答のためにLLMに供給する際に不可欠です。

データマスキング、トークン化、ディファレンシャルプライバシーなどの技術は、データを効果的に匿名化し、AIアプリケーションのための情報の有用性を維持しながら、暴露のリスクを最小限に抑えることができる。

注：OpenAIは最近、ChatGPTツールのTeamとEnterpriseの階層を導入した。しかし、これらの主張の詳細を確認するためには慎重なデューデリジェンスが必要であり、組織レベルでの安全対策が推奨されます。

APIとサードパーティアプリに注意する

LLMの統合にサードパーティのアプリケーションやAPIを組み込むと、セキュリティの脆弱性が増えます。外部ツールの厳密な審査と厳格なアクセス制御は、不正アクセスやデータ漏洩から保護するために極めて重要です。セキュリティの高い環境では、ChatGPTでのサードパーティプラグインやカスタムGPTの使用を禁止することが望ましいかもしれません。

組織は、サードパーティ・ソリューションの徹底的なセキュリティ評価を実施し、ベストプラクティスとコンプライアンス基準を遵守していることを確認する必要がある。APIの利用を厳重に管理し、異常なアクティビティを監視することも、外部との統合に関連するリスクを軽減するのに役立つ。

従来のセキュリティ・ツールを見逃すな

LLMが新たなセキュリティ上の課題をもたらす一方で、従来のサイバーセキュリティ・ツールは依然として不可欠である。アンチウイルス・ソフトウェア、ファイアウォール、セキュリティ情報・イベント管理（SIEM）システムは、不正アクセス、インジェクション攻撃、LLMの使用に関連するその他の不審な活動から保護する上で、依然として重要な役割を果たしている。

これらのツールを包括的なセキュリティ戦略に統合することで、ジェネレーティブAI技術に関連する新たな脅威をカバーするための保護を拡張することができます。すべてのビジネス・クリティカルなアプリケーションと同様に、セキュリティ・インシデントを特定し、脅威の状況を可視化するためには、継続的な監視が重要です。

Exabeam Fusion:AIを活用したSIEMのリーディングカンパニー

Exabeamは、TDIRワークフロー全体にわたってAIを活用したエクスペリエンスを提供します。1,800以上のパターンマッチングルールとMLベースの行動モデルの組み合わせにより、リスクの高いユーザーとエンティティの行動を特定することで、クレデンシャルベースの攻撃、インサイダー脅威、ランサムウェア活動などの潜在的なセキュリティ脅威を自動的に検出します。業界をリードするユーザーとエンティティの行動分析（UEBA）は、すべてのユーザーとエンティティの通常の行動をベースライン化し、すべての注目すべきイベントを時系列で表示します。

スマートタイムライン各イベントに関連するリスクをハイライトし、アナリストが何百ものクエリを書く手間を省きます。機械学習はアラートのトリアージワークフローを自動化し、UEBAのコンテキストを追加して、最も注意を要するアラートを動的に特定、優先順位付け、エスカレーションします。

Exabeamプラットフォームは、100を超えるサードパーティ製品に対して、半自動化から完全自動化まで、アクションと操作によって繰り返されるワークフローをオーケストレーションし、自動化することができます。また、Exabeam Outcomes Navigatorは、Exabeam製品に入力されるフィードのソースを、最も一般的なセキュリティのユースケースに照らし合わせてマッピングし、カバレッジを改善する方法を提案します。