LLMのセキュリティトップ10のリスクと7つのセキュリティ・ベストプラクティス

大規模言語モデル（LLM）とは？

大規模言語モデル（LLM）は、人間のようなテキストを処理、理解、生成するように訓練されたAIシステムである。これらのモデルは、人間の認知機能をエミュレートするディープラーニング技術を用いて開発されている。文献、オンライン記事、その他のデジタルコンテンツを含む膨大なテキストデータセットを分析することで、LLMは文法、世界知識、文脈理解を含む人間の言語の複雑さを学習する。

LLMのトレーニングはリソース集約的なタスクであり、多大な計算能力と多様なデータソースを必要とする。これによりLLMは、翻訳、コンテンツ生成、質問応答、要約などの様々な言語タスクを高い習熟度で実行することができる。

しかし、LLMの複雑さと能力は、いくつかの安全保障上のリスクをもたらす。これらのリスクは主に、LLMの訓練と運用メカニズムの性質に起因する。例えば、学習データに偏りがあると、偏った、あるいは攻撃的なコンテンツが生成される可能性がある。さらに、LLMが処理する膨大なデータには、機密情報や個人情報が含まれる可能性があり、プライバシーやデータ・セキュリティに対する懸念が生じる。

さらに、LLMとユーザーとの相互作用は、潜在的なセキュリティ脅威の道を開く。悪意のある行為者は、このような相互作用を悪用して、モデルの出力を操作したり、不正な情報を引き出したりする可能性がある。このため、LLMアプリケーションの安全性を確保するための強固なアプローチが必要となり、入力操作からデータプライバシー侵害に至るまでのリスクに対処する必要がある。

OWASPによるLLMアプリケーションのセキュリティリスク・トップ10

オープン・ウェブ・アプリケーション・セキュリティ・プロジェクト（OWASP）は、ソフトウェア・セキュリティの 改善に取り組む非営利団体です。OWASP Top 10 Web Application Threats は、ウェブアプリケーションに対する最も重大なセキュリティリスクに関する広範なコンセンサスを表す標準的な認識文書です。

2023年後半、OWASPは「LLMアプリケーションのリスクトップ10」を発表した。これは、AI、セキュリティ、ソフトウェア開発、クラウドコンピューティング、ハードウェア、アカデミーを含む多様なバックグラウンドを持つ125人以上のアクティブなコントリビューターを擁する約500人の専門家からなる国際的なチームの専門知識を活用したものだ。OWASPの調査による脅威トップ10を確認してみよう。

LLM01: プロンプト・インジェクション

プロンプト・インジェクションとは、モデルのプロンプトに悪意のある入力を挿入し、有害または不適切なコンテンツを生成するようにだます行為を指す。危険なのは、適切な保護措置がなければ、LLMが知らず知らずのうちに有害なコンテンツを広めてしまうことである。例えば、違法行為や危険な行為の実行方法について、詳細な指示を提供することができる。

このリスクを軽減するには、厳格な入力検証とサニタイズ技術を実装する必要がある。有害、攻撃的、または倫理的ガイドラインに違反する可能性のあるコンテンツをモデルが生成しないように注意しなければならない。

LLM02: 安全でない出力処理

安全でない出力処理は、もう一つの重大なセキュリティ上の懸念です。適切な制御を行わないと、モデルは、XSS、CSRF、特権の昇格、あるいは、リモートコード実行のようなウェブアプリケーション攻撃 につながる可能性のあるコンテンツを生成する可能性があります。LLMから出力を受け取り、それを処理するソフトウエア・アプリケーションを考えてみてください-もしこれらの出力に悪意のあるコードが含まれていれば、受信側のアプリケーションを侵害するために使われるかもしれません。

この問題に対処するために、LLMアプリケーションは強固な出力フィルタリングとサニタイズ・メカニズムを実装する必要がある。これには、生成されたコンテンツから潜在的にセンシティブな情報を特定し削除するメカニズムや、出力に悪意のあるコードが含まれていないことを確認するチェックなどが含まれる。

LLM03: トレーニング・データ中毒

トレーニングデータポイズニングとは、モデルの出力や機能に偏りを持たせるために、モデルのトレーニングデータを操作することを指します。これには、訓練データに誤解を招くような情報や偽の情報を入れたり、特定のトピックに対するモデルの理解に偏りが生じるようにデータを歪めたりすることが含まれます。

これを防御するには、厳密なデータ検証と整合性チェックのメカニズムが必要である。モデルを訓練するために使用されるデータが正確で、偏りがなく、モデルが扱うと予想される種類の情報を代表していることを確認することが不可欠だ。

LLM04: サービス拒否モデル

モデルサービス拒否（DoS）とは、攻撃者が大量のリクエストでモデルを圧倒し、速度低下やクラッシュを引き起こす潜在的なリスクである。この種の最初の大規模な攻撃は2023年11月に行われ、人気のあるChatGPTサービスにダウンタイムを引き起こした。DoSはLLMアプリケーションを利用不能にし、その機能を中断させ、ビジネスに大きな影響を与える可能性があります。

このリスクに対する安全策としては、ある期間内に1人のユーザーまたはIPアドレスが行えるリクエスト数を制御するためのレート制限の実装や、モデルの複数のインスタンスに負荷を分散するためのロードバランシングの導入などが考えられます。

LLM05: サプライチェーンの脆弱性

サプライチェーンの脆弱性とは、LLM アプリケーションを構成する様々なコンポーネントや依存関係から生じ得るリスクを指す。これには、モデルを訓練するために使用されるハードウェアやソフトウェアから、それをユーザーに提供するために使用される生産システムまで、あらゆるものが含まれます。

これらのリスクを軽減するには、サプライヤーを吟味し、安全な開発手法を導入し、既知の脆弱性から保護するためにすべてのコンポーネントを定期的に更新し、パッチを適用するなど、サプライチェーンのセキュリティに対する包括的なアプローチが必要です。

LLM06: 機密情報の開示

機微情報の開示とは、LLM申請書の出力において、機微情報が不注意で開示されるリスクである。これには、個人情報、ビジネス上の機密情報、その他一般に公開すべきでない情報が含まれます。

これを防ぐには、強固なデータ処理とプライバシー管理が必要である。LLMアプリケーションは、扱う機密データの量を最小限にするように設計されるべきであり、扱う機密データは強力な暗号化やその他のセキュリティ対策で保護されるべきである。

LLM07: 安全でないプラグインの設計

安全でないプラグインの設計は、LLM アプリケーションを深刻なリスクにさらす脆弱性です。安全でないプラグインは、ハッカーに悪用され、悪意のあるコードを注入されたり、機能を変更されたり、不正にアクセスされたりする可能性があります。これは、LLMアプリケーション自体のデータ漏洩やサービス停止から、LLM出力のユーザに対する攻撃まで、様々な悪影響をもたらす可能性があります。

LLMアプリケーションで使用されるすべてのプラグインが安全であることを確認することは極めて重要です。LLMアプリケーションの提供者は、入念なセキュリティ対策を施し、プラグインが安全であることをテストする必要があります。LLMユーザーは、プラグインを使用する際に注意を払い、過剰なパーミッションを要求するプラグインや不審な挙動を示すプラグインを避けるべきである。

LLM08: 過剰なエージェンシー

LLMにおける過剰なエージェンシーは、LLMシステムに過剰な機能、権限、または自律性が付与された場合に発生する。これは、LLMの曖昧な出力に反応して、意図しない行動や有害な行動を引き起こす可能性がある。

例としては、不必要な機能やアクセス権を持つプラグインがある。緩和策には、LLM エージェントとプラグインの機能と権限を制限すること、アクションに対するユーザー認証を確実にすること、およびヒューマン・イン・ザ・ループ・コントロールを適用することが含まれる。

LLM09: 過度の信頼

過度の信頼は、LLMのアウトプットの正確性や適切性に過度に依存する場合に発生する。これは、LLMが生成した不正確または不適切なコンテンツに依存することによるセキュリティ侵害、誤報、風評被害につながる可能性がある。

緩和には、LLM出力の定期的な監視、信頼できる情報源とのクロスチェック、自己無撞着や投票技術のような検証メカニズムの採用が含まれる。

LLM10: モデル盗難

モデル窃盗は、LLM専有のモデルへの不正アクセス、コピー、または流出を伴います。これは、経済的損失、競争上の優位性の低下、機密情報への不正アクセスにつながる可能性があります。

模型の盗難を防止するための戦略には、模型へのアクセスを保護すること、暗号化を使用すること、強固な認証および承認手段を導入することなどが含まれる。

LLM申請セキュリティのベストプラクティス

1.インプットを消毒する

LLMの入力をサニタイズすることは、悪意のある、あるいは不適切なコンテンツがLLMのレスポンスに影響を与えないように、ユーザーから提供されたデータを精査し、クリーニングすることを意味する。これはUATで広範囲にテストする重要なポイントであり、有害なもの、操作的なもの、ユーザーからの「いたずら」レベルのプロンプトの両方を含みます。

入力をサニタイズする最初のステップは、潜在的に有害または操作的な入力を特定 することである。これには、ユーザーが非倫理的または有害な応答を引き出そうとするプロンプトインジェクションの試みが含まれる。その他の懸念事項としては、個人データや誤った情報を含む入力がある。LLMはそのような入力を認識し、処理を拒否するか、潜在的な害を軽減する方法で処理するように設計されるべきである。

入力サニタイズの実装には、自動プロセスと手動プロセスの組み合わせが必要である。自動化されたフィルターや単語のブロックリストは、事前に定義されたルールやパターンに基づいて、特定のタイプのコンテンツを検出し、ブロックするために使用することができます。しかし、言語は複雑で微妙なニュアンスを持つため、これらのシステムは完全ではありません。したがって、人間による監視のレイヤーが重要であり、ブロックリストのプロンプトに対するいくつかのストック・レスポンスを準備する必要がある。これには、人間のモデレーターが評価するために、疑わしい入力にフラグを立てるレビュープロセスが含まれるかもしれない。

2.データの最小化

データ最小化の原則は単純で、絶対に必要なデータのみを収集し、処理することです。処理するデータ量を制限することで、セキュリティ・リスクの可能性を減らすことができます。このアプローチにより、データ侵害の可能性を減らすだけでなく、データ保護規制へのコンプライアンスも確保できます。

LLMアプリケーションのプロバイダーは、データの収集と処理活動を定期的に見直し、データの使用を最小限に抑えることができる分野を特定しなければならない。

データの最小化は、LLMモデルの効率向上にも役立つ。最も関連性の高いデータに集中することで、モデルをより迅速に学習させることができ、より正確な結果が得られる可能性がある。

3.データの暗号化

データの暗号化は、LLMのセキュリティにおいて譲れない点です。暗号化とは、不正アクセスを防ぐために、読み取り可能なデータを読み取り不可能な形式に変換するプロセスです。

LLMモデルに関しては、データの暗号化は、保存されているユーザーデータと転送中のデータの両方に適用されるべきである。つまり、LLMモデルに入力されるデータ、LLMモデルによって生成されるデータ、エンドユーザーデバイスに転送されるデータはすべて暗号化されるべきである。

暗号化は、外部の脅威からデータを保護するだけでなく、内部のリスクからもデータを保護するのに役立ちます。例えば、LLMアプリケーション・プロバイダの悪意のある内部関係者がLLMモデルにアクセスした場合、暗号化によって機密性の高いユーザー情報へのアクセスを防ぐことができます。

4.アクセス制御の実装

アクセス・コントロールは、LLMセキュリティの重要な要素です。これは、誰がLLMモデルにアクセスでき、そのモデルで何ができるかを決定するプロセスを指します。

アクセス制御には、ユーザーの役割と権限を設定することが含まれます。これは、各ユーザーがLLMモデルで何を見ることができ、何をすることができるかを定義するものです。これは、データの閲覧からモデル自体への変更まで多岐にわたります。特に重要なのは、管理機能にアクセスすべきではないモデルのエンドユーザーによる、過剰な権限の付与や権限の昇格を避けることです。

アクセス・コントロールを導入することで、LLMモデルへの不正アクセスや悪用を防ぐことができます。また、誰が何にアクセスしたかを明確に記録することで、情報漏洩や監査の際に重要な役割を果たします。

5.監査

監査は、LLMのセキュリティを維持するための重要な部分です。監査では、LLMモデルの活動を徹底的にレビューし、LLMがそのとおりに運用され、関連するすべてのセキュリティ対策が遵守されていることを確認します。継続的なコンプライアンスとセキュリ ティを確保するために、定期的な監査を実施すべきである。これらの監査は文書化されるべきであり、発見された事項は速やかに対処されるべきである。

監査は、潜在的なセキュリティリスクやコンプライアンス違反の領域を特定するのに役立つ。また、LLM モデルがどのように機能しているか、変更や改善が必要かどうかについて、貴重な洞察を得ることもできる。

6.トレーニングデータの保護

トレーニングデータの保護は、LLMのセキュリティのもう一つの重要な側面である。LLMモデルは、トレーニングされたデータがあって初めて優れたものになります。トレーニングデータが漏洩すると、LLMモデルの精度と信頼性に大きな影響を与えます。

トレーニングデータの保護には、厳格なアクセス制御の実施、データの暗号化、データの取り扱いプロセスの定期的な監査が必要です。また、トレーニングデータが正確で適切であることを確認することも重要です。

7.APIセキュリティ

API（アプリケーション・プログラミング・インターフェース）は、LLMモデルの重要な構成要素です。APIは、LLMモデルが他のシステムやアプリケーションと通信するための手段です。

APIセキュリティには、APIを不正アクセスや悪用から保護することが含まれます。これには、アクセス制御の実装、データの暗号化、APIの定期的な監視と監査が含まれます。

APIセキュリティは単にAPIを保護するだけでなく、APIが正しく効率的に機能していることを保証することでもあります。定期的なテストとモニタリングは、潜在的な問題や非効率性を特定するのに役立ち、LLMシステムによって提供されるAPIが信頼性が高く安全であることを保証します。

エクサビームとAIセキュリティ

エクサビームは人工知能（AI）のパイオニアであり、当社はユーザーおよびエンティティの行動分析（UEBA）と脅威の検出、調査、対応（TDIR）ワークフローの自動化のための機械学習（ML）を基盤として設立されました。当社は2013年からAIの一要素であるMLを使用しています。

Exabeamは、脅威の検知、調査、データオンボーディングを高速化し、精度を高めることで、セキュリティオペレーションセンター（SOC）の時間を節約しています。まず、脅威の検知にMLを適用し、次にアラートのトリアージに取り組み、調査とデータオンボーディングのための手動/反復タスクを自動化しました。私たちは、MLと自然言語処理（NLP）を使用することで、検出の忠実度を高め、検索とダッシュボードのエクスペリエンスを改善し続ける予定です。

最後に、エクサビームはAIとNLPを製品に組み込むことで、アナリストの生産性を向上させています。これにより、クエリーを書く必要性が減り、SOCチームのスキルのレベルアップに役立ちます。エクサビームは、ログの取り込みスピード、検知のスピード、アナリストのレベルアップのスピード、コミュニケーションのスピード、理解の明瞭さなど、さまざまな方法でAIを活用する強固なロードマップを持っています。