ソリューション リファレンス アーキテクチャ: GDC エアギャップに Elastic Stack の生成 AI 機能をデプロイする

概要

このリファレンス アーキテクチャでは、Google Distributed Cloud（GDC）エアギャップに Elastic Stack（Elasticsearch と Kibana）をデプロイし、大規模言語モデル（LLM）サービスと統合して Elastic の生成 AI 機能を有効にするためのコンセプト設計を定義します。

Elastic Stack は、広く採用されている検索、オブザーバビリティ、セキュリティ分析プラットフォームです。最近の Elastic リリースでは、Elastic AI Agent、Agent Builder で構築されたカスタム エージェント、Attack Discovery などの生成 AI 機能が Kibana に追加されています。これらの機能は、LLM を使用して自然言語リクエストを Elasticsearch クエリに変換し、マルチステップのツール呼び出しをオーケストレートして、セキュリティ アラートを関連付けます。

このアーキテクチャでは、GDC エアギャップ Marketplace で入手可能な公式の Elastic Cloud on Kubernetes（ECK）オペレーターを使用して Elastic Stack をデプロイし、Kibana を GDC 境界内でホストされている LLM 推論エンドポイント（GDC のマネージド Gemini サービス、または Ollama や vLLM などのセルフマネージド OpenAI 互換推論サーバー）に接続します。

特長と機能

このソリューションには、AI を活用した検索、オブザーバビリティ、セキュリティ分析のためのいくつかのコア機能コンポーネントが用意されています。

  • Marketplace ベースのライフサイクル管理: GDC エアギャップ Marketplace から共有クラスタのプロジェクト名前空間に ECK オペレーターをインストールし、Elasticsearch カスタム リソースと Kibana カスタム リソースのプロビジョニング、構成、調整を自動化します。
  • 自然言語によるデータ調査: Elastic AI エージェントを使用して、自然言語で Elasticsearch データを探索します。エージェントは、インデックスとマッピングを検出し、ES|QL クエリを生成して実行し、基盤となるスキーマに関する事前の知識を必要とせずに、結果を合成します。
  • カスタム エージェントと自動ワークフロー: Agent Builder を使用して、カスタム指示と組み込みツール、カスタム ES|QL ツール、Kibana ワークフロー（調査結果を含む Kibana セキュリティ ケースの自動オープンなど）を組み合わせた専用エージェントを作成します。
  • AI 駆動型のセキュリティ通知の相関分析: Attack Discovery を使用して、未解決の Elastic Security セキュリティ通知を分析し、MITRE ATT&CK フレームワークにマッピングします。また、関連するセキュリティ通知、IP アドレス、ユーザー アカウントを攻撃チェーンに相関付けます。
  • エアギャップ互換性: ECK オペレーター、Elasticsearch、Kibana のコンテナ イメージは、ローカルの GDC Harbor レジストリから pull され、すべての LLM 推論トラフィックは内部 GDC ネットワークに留まります。
  • プラグ可能な LLM バックエンド: Kibana を GDC のマネージド Gemini に接続するか、Kibana の OpenAI コネクタを介して OpenAI 互換の /v1/chat/completions API を公開するセルフマネージド推論サーバーに接続します。

アーキテクチャの原則

  • 責任の共有モデル: GDC は、共有クラスタ、マーケットプレイス パッケージ、Harbor レジストリ、ネットワーキングを提供します。お客様は、Elastic Stack のデプロイを運用し、Elastic ライセンスを管理します。また、セルフマネージド LLM サービス（使用する場合）の選択と運用を行います。
  • データ主権: すべての運用データ、セキュリティ データ、プロンプト、モデル レスポンスは、GDC エアギャップ境界内に留まります。Elastic がホストする LLM サービスや公開 LLM サービスにトラフィックが送信されることはありません。
  • クラウドネイティブ オペレーション: Kubernetes オペレーター パターンを使用して、ステートフルな Elastic ワークロードを宣言的に管理し、一貫性のある再現可能なデプロイを実現します。
  • プロトコルの標準化: ネイティブ関数呼び出しを備えた、広くサポートされている OpenAI 互換のチャット補完 API に依存し、Kibana を特定の推論エンジンやモデル ベンダーから切り離します。

アーキテクチャ

このアーキテクチャは、GDC 共有ユーザー クラスタのプロジェクト名前空間内で ECK オペレーターによって管理される Elastic Stack デプロイで構成されています。Kibana は、内部 GDC ネットワークを介して LLM 推論エンドポイントと通信します。

Elastic Stack のアーキテクチャ図。

このアーキテクチャの主なコンポーネントは次のとおりです。

  • GDC 共有クラスタ: 複数のプロジェクトに接続された組織スコープの共有 Kubernetes クラスタ。GDC Marketplace ソフトウェア パッケージとアプリケーション ワークロードをホストします。
  • GDC プロジェクト: ECK オペレーター、Elasticsearch クラスタ、Kibana インスタンス、関連する Kubernetes Secret と NetworkPolicy を分離する共有クラスタ上のプロジェクト Namespace。
  • Elastic Cloud on Kubernetes（ECK）オペレーター: GDC Marketplace からプロジェクトの Namespace にインストールされたオペレーターは、Elasticsearch カスタム リソースと Kibana カスタム リソースを管理し、生成 AI 機能と外部 LLM コネクタに必要な Elastic ライセンスを調整します。
  • Elasticsearch: 運用データとセキュリティ データを保存してインデックスに登録し、Kibana の AI 機能とエージェントによって生成された検索クエリと ES|QL クエリを実行します。
  • Kibana: Elastic の生成 AI 機能（Elastic AI Agent、Agent Builder、Attack Discovery）をホストし、ユーザー、Elasticsearch、LLM サービス間のマルチステップ ツール呼び出しをオーケストレートする LLM アクション コネクタを管理します。
  • LLM サービス: マネージド LLM サービス（GDC の Gemini など）またはセルフマネージド推論サーバー（Ollama や vLLM など）。内部 GDC ネットワークを介して Kibana にチャット補完機能とツール呼び出し機能を提供します。

コンセプトとテクノロジー

このセクションでは、機能コンポーネント、その役割、システム内での通信方法について詳しく説明します。

インフラストラクチャとプラットフォーム

  • GDC 共有クラスタ: ECK オペレーター、Elasticsearch、Kibana Pod がプロジェクト Namespace 内に存在するプライマリ コンピューティング環境。
  • GDC Marketplace: Elastic Marketplace パッケージのインストールとアップグレードに使用されるカタログ。Elastic CustomResourceDefinitions を登録し、elastic-operator StatefulSet をデプロイします。
  • Harbor Registry: エアギャップ環境における ECK オペレーター、Elasticsearch、Kibana コンテナ イメージの安全なローカル信頼できる情報源。
  • 永続ストレージ: Elasticsearch volumeClaimTemplates を介してプロビジョニングされた PersistentVolumeClaim は、Elasticsearch データに耐久性のあるブロック ストレージを提供します。
  • GDC ネットワーキング: LoadBalancer Service は Elasticsearch（ポート 9200）と Kibana（ポート 5601）を公開し、Kubernetes NetworkPolicy リソースとグローバル ProjectNetworkPolicy リソースは、LLM サービスへの接続を含む、インバウンド トラフィックとプロジェクト間のトラフィックを管理します。

サービスとロジック

  • ECK オペレーター: Elasticsearch カスタム リソースと Kibana カスタム リソースを監視し、StatefulSet、Deployment、Service、Secret に調整するコントローラ。license-controller は、オペレーター Namespace のライセンス Secret とクラスタ ライセンスを継続的に調整します。
  • Elastic AI Agent: Kibana のデフォルトの会話エージェント。組み込みの Agent Builder ツール（platform.core.list_indices、platform.core.get_index_mapping、platform.core.search、platform.core.execute_esql）を使用して、データの検出、ES|QL の生成、結果の要約を行います。
  • Agent Builder: カスタム システム指示を組み込みツールとユーザー定義ツール（esql、index_search、workflow、mcp）と組み合わせたカスタム エージェントを作成するためのフレームワーク。
  • Kibana ワークフロー: 宣言型の YAML 定義の自動化（cases.createCase など）。Agent Builder ツールとして登録して、エージェントが Kibana セキュリティ ケースを開くなどのアクションを実行できるようにします。
  • Attack Discovery: 匿名化されたアラート コンテキストを LLM に送信し、.alerts-security.alerts-default インデックスのアラートを MITRE ATT&CK 戦術にマッピングされた攻撃チェーンに関連付ける Elastic Security 機能。
  • LLM サービス: ネイティブ ツール呼び出しをサポートする、指示調整済みのチャット補完を提供します。モデルは、有効なツール呼び出し、構造化された JSON、ES|QL クエリを確実に生成する必要があります。

データフローとインターフェース

  • OpenAI 互換のチャット補完 API（/v1/chat/completions）: Kibana の OpenAI（.gen-ai）コネクタと LLM サービスの間のインターフェース。その他（OpenAI 互換サービス）プロバイダ、ネイティブ関数呼び出しの有効化、Server-Sent Events ストリーミングで構成されています。
  • Elasticsearch REST API と ES|QL API: Kibana とそのエージェントがマッピングの検査、検索の実行、ES|QL 集計の実行に使用します。
  • Kibana REST API: コネクタ（/api/actions）、エージェントとツール（/api/agent_builder）、ワークフロー（/api/workflows）、検出ルール（/api/detection_engine）、Attack Discovery（/api/attack_discovery）のプログラムによる管理に使用されます。
  • 組み込み認証を使用した HTTPS: Elasticsearch エンドポイントと Kibana エンドポイントは、ECK で生成された証明書を使用して TLS 経由で提供されます。認証情報は、ECK で管理される Kubernetes Secret に保存されます。

考慮事項

  • スケーラビリティとパフォーマンス:
    • Elasticsearch と Kibana のリソース リクエスト、上限、ノード数、ストレージ サイズは、本番環境のデータ量とクエリの同時実行数に合わせて、評価のデフォルトから調整する必要があります。
    • Kibana の OpenAI コネクタは、ストリーミング ターンごとにデフォルトで 60 秒のタイムアウトを適用します。LLM サービスは、各ターンをこの制限内に収めるために、Flash Attention などの最適化を適用した GPU アクセラレーションで実行する必要があります。
    • 1 つのエージェント ターンで、ネストされた LLM サブ呼び出しをトリガーできます。推論サーバーは、サブ呼び出しがメインの会話のキャッシュに保存されたコンテキストを削除しないように、複数の並列 KV キャッシュ スロット（OLLAMA_NUM_PARALLEL=2 など）を維持する必要があります。
  • LLM モデルの要件:
    • モデルは、ネイティブ関数呼び出しのサポートを使用して指示調整されている必要があります。プロンプトベースのシミュレートされた関数呼び出しは、ネストされたツール呼び出しの信頼性が低いため、Kibana コネクタでネイティブ関数呼び出しを有効にする必要があります。
    • ツールの定義、インデックス スキーマ、ES|QL ドキュメント、検索結果を組み合わせたマルチステップの調査では、70,000 トークンを超える可能性があるため、128,000 トークン以上のコンテキスト ウィンドウを強くおすすめします。
    • Kibana は length 終了理由を致命的なエラーとして扱い、貪欲なデコードを使用するため、推論対応モデルには、少なくとも 8,192 トークンの出力トークン上限と緩やかな繰り返しペナルティが推奨されます。
    • Attack Discovery では、マルチアラートの構造化出力を確実に合成するために、30B クラス以上のモデル（gemma4:31b など）が必要です。
  • セキュリティとコンプライアンス:
    • すべてのプロンプト、取得されたデータ、モデルの回答は、内部 GDC ネットワークに残ります。
    • ネットワーク ポリシーを、寛容な評価設定から、Elasticsearch と Kibana へのインバウンド アクセスを承認されたクライアントに制限し、LLM サービス エンドポイントへの下り（外向き）を制限するように強化する必要があります。
    • Kibana と Elasticsearch へのアクセスは、elastic スーパーユーザーではなく、Elastic のロールベース アクセス制御によって管理する必要があります。
  • リソース管理とライセンス:
    • Elastic の生成 AI 機能と外部 LLM コネクタには、Enterprise ライセンス（または 30 日間の Enterprise トライアル）が必要です。これは、オペレーターの調整サイクル全体で保持されるように、ECK ライセンス Secret を介してプロビジョニングする必要があります。
  • 可用性と信頼性:
    • 本番環境のデプロイでは、単一障害点を回避するために、レプリカ シャードを持つ複数の Elasticsearch ノードと複数の Kibana インスタンスを使用する必要があります。
    • AI 機能の可用性は、LLM サービスの可用性とレイテンシによって異なります。
  • 運用管理:
    • お客様は、Elastic Marketplace パッケージと Elastic Stack のバージョンのアップグレード、ライセンスの管理、Elasticsearch データのバックアップを行う必要があります。
    • セルフマネージド LLM サービスを使用する場合、お客様はデプロイ、GPU キャパシティ プランニング、モデルの更新、チューニングを所有します。

設計上の意思決定

このソリューションの主なアーキテクチャ上の選択は、エアギャップ環境の制約内で Elastic の生成 AI 機能を有効にすることに重点を置いています。

GDC Marketplace の ECK オペレーター

ECK オペレーターは、手動でデプロイするのではなく、GDC エアギャップ Marketplace からインストールされます。Marketplace パッケージは、ローカルの Harbor レジストリからコンテナ イメージを pull するように事前構成されており、必要な CustomResourceDefinition を登録し、GDC プロジェクト レベルの IAM ロールと統合されています。これにより、イメージ ミラーリングの労力が軽減され、デプロイが GDC ソフトウェア ライフサイクルに沿って維持されます。

共有クラスタ デプロイ

このソリューションは、GDC 共有クラスタのプロジェクト名前空間に Elastic Stack をデプロイします。これにより、お客様は専用のクラスタをプロビジョニングして運用することなく、他のプロジェクト ワークロードとともに Marketplace ソフトウェアを使用できます。また、プロジェクトの名前空間により、リソース、Secret、ネットワーク ポリシーが分離されます。

LLM サービス オプション

GDC のマネージド Gemini は、推論インフラストラクチャをホストする運用上の負担が軽減されるため、利用可能な場合は推奨されるオプションです。利用できない場合や、お客様が特定のオープンモデルを必要とする場合は、Kibana は OpenAI 互換の /v1/chat/completions エンドポイントを公開するセルフマネージド推論サーバーに接続できます。この API を標準化することで、Elastic 構成を推論エンジン（Ollama や vLLM など）から独立させることができます。

ネイティブ関数呼び出し

Kibana コネクタでネイティブ関数呼び出しが有効になっているため、ツール呼び出しのフォーマットは推論サーバーの OpenAI tools プロトコルに委任されます。Kibana のデフォルトのプロンプトベースのシミュレートされた関数呼び出しは、ネストされたツール呼び出し中に信頼性が低く、解析エラーで失敗する可能性があります。

ECK 管理ライセンスの調整

Enterprise（または試用版）ライセンスは、Elasticsearch ライセンス API を介して直接有効化されるのではなく、ECK ライセンス Secret として宣言されます。ECK はクラスタ ライセンスを継続的に調整するため、ECK の外部で適用されたライセンスは、次の調整サイクルで basic に戻されます。

前提条件と制限事項

前提条件

  • GDC 共有クラスタと接続されたプロジェクトが利用可能で、ECK オペレーター、Elasticsearch、Kibana に十分なコンピューティング容量と永続ストレージ容量がある。
  • Elastic Marketplace パッケージと、対応する Elasticsearch および Kibana コンテナ イメージは、GDC エアギャップ Marketplace とローカルの Harbor レジストリで入手できます。
  • ユーザーに必要なプロジェクト ロール（namespace-admin、project-viewer、marketplace-editor、project-networkpolicy-admin）が付与されている。
  • LLM サービス（GDC 上のマネージド Gemini またはセルフマネージド OpenAI 互換推論サーバー）がデプロイされ、内部 GDC ネットワーク経由で Kibana Pod からアクセスできる。
  • Elastic Enterprise ライセンスが利用可能であるか、30 日間の Enterprise 試用版が評価に使用されている。

制限事項

  • LLM サービスは対象外: GPU インフラストラクチャを含むセルフマネージド LLM サービスのデプロイと運用は、このアーキテクチャの対象外です。
  • Elastic がホストする AI サービスがない: Elastic マネージド LLM やその他のクラウドホスト型 Elastic AI サービスは、エアギャップ環境では使用できません。
  • モデル依存の品質: AI エージェント、Agent Builder、Attack Discovery の結果の精度と信頼性は、選択したモデルの機能とそのランタイム構成によって異なります。
  • 評価グレードのデフォルト: リファレンス実装では、単一ノードの Elasticsearch クラスタ、自己署名証明書、寛容なネットワーク ポリシーが使用されます。これらは、本番環境で使用するために強化する必要があります。
  • バージョン固有性: このソリューションは、Elastic v9.4.0、Elastic Kubernetes Operator v3.4.0、GDC v1.16.2 で検証されています。他のバージョンでは調整が必要になる場合があります。

その他の教材

ソリューション リファレンス実装（SRI）: GDC エアギャップに Elastic Stack の生成 AI 機能をデプロイする