ソリューション リファレンス アーキテクチャ: GDC エアギャップに Elastic Stack の生成 AI 機能をデプロイする

概要

このリファレンス アーキテクチャでは、Google Distributed Cloud（GDC）エアギャップに Elastic Stack（Elasticsearch と Kibana）をデプロイし、大規模言語モデル（LLM）サービスと統合して Elastic の生成 AI 機能を有効にするためのコンセプト設計を定義します。

Elastic Stack は、広く採用されている検索、オブザーバビリティ、セキュリティ分析プラットフォームです。最近の Elastic のリリースでは、Elastic AI Agent、Agent Builder で構築されたカスタム エージェント、Attack Discovery など、生成 AI 機能が Kibana に追加されています。これらの機能は、LLM を利用して自然言語リクエストを Elasticsearch クエリに変換し、マルチステップのツール呼び出しをオーケストレートして、セキュリティ アラートを関連付けます。

このアーキテクチャでは、GDC エアギャップ Marketplace で入手可能な公式の Elastic Cloud on Kubernetes（ECK）オペレーターを使用して Elastic Stack をデプロイし、Kibana を GDC 境界内でホストされている LLM 推論エンドポイント（GDC のマネージド Gemini サービス、または Ollama や vLLM などのセルフマネージド OpenAI 互換推論サーバー）に接続します。

特長と機能

このソリューションは、AI を活用した検索、オブザーバビリティ、セキュリティ分析のためのいくつかのコア機能コンポーネントを提供します。

  • Marketplace ベースのライフサイクル管理: GDC エアギャップ Marketplace から共有クラスタのプロジェクト名前空間に ECK オペレーターをインストールし、Elasticsearch カスタム リソースと Kibana カスタム リソースのプロビジョニング、構成、調整を自動化します。
  • 自然言語によるデータ調査: Elastic AI エージェントを使用して、Elasticsearch データを自然言語で探索します。エージェントは、基盤となるスキーマに関する事前の知識を必要とせずに、インデックスとマッピングを検出し、ES|QL クエリを生成して実行し、結果を合成します。
  • カスタム エージェントと自動ワークフロー: Agent Builder を使用して、カスタム指示と組み込みツール、カスタム ES|QL ツール、Kibana ワークフロー（調査結果を含む Kibana セキュリティ ケースを自動的に開くなど）を組み合わせた、目的に応じたエージェントを作成します。
  • AI 駆動型のセキュリティ通知の相関: Attack Discovery を使用して、オープンな Elastic Security セキュリティ通知を分析し、MITRE ATT&CK フレームワークにマッピングします。また、関連するセキュリティ通知、IP アドレス、ユーザー アカウントを攻撃チェーンに相関させます。
  • エアギャップの互換性: ECK オペレーター、Elasticsearch、Kibana のコンテナ イメージはローカルの GDC Harbor レジストリから pull され、すべての LLM 推論トラフィックは内部の GDC ネットワークに留まります。
  • プラグ可能な LLM バックエンド: Kibana を GDC のマネージド Gemini に接続するか、Kibana の OpenAI コネクタを介して OpenAI 互換の /v1/chat/completions API を公開するセルフマネージド推論サーバーに接続します。

アーキテクチャの原則

  • 責任の共有モデル: GDC は、共有クラスタ、マーケットプレイス パッケージ、Harbor レジストリ、ネットワーキングを提供します。お客様は、Elastic Stack のデプロイを運用し、Elastic ライセンスを管理します。また、セルフマネージド LLM サービス（使用する場合）の選択と運用も行います。
  • データ主権: すべての運用データとセキュリティ データ、プロンプト、モデル レスポンスは、GDC エアギャップ境界内に留まります。Elastic がホストする LLM サービスや公開 LLM サービスにトラフィックが送信されることはありません。
  • クラウドネイティブ オペレーション: Kubernetes オペレーター パターンを使用して、ステートフルな Elastic ワークロードを宣言的に管理し、一貫性のある再現可能なデプロイを実現します。
  • プロトコルの標準化: ネイティブ関数呼び出しを備えた、広くサポートされている OpenAI 互換のチャット補完 API に依存しているため、Kibana を特定の推論エンジンやモデル ベンダーから切り離すことができます。

アーキテクチャ

このアーキテクチャは、GDC 共有ユーザー クラスタのプロジェクト名前空間内で ECK オペレーターによって管理される Elastic Stack デプロイで構成されています。Kibana は、内部 GDC ネットワークを介して LLM 推論エンドポイントと通信します。

Elastic Stack のアーキテクチャ図。

このアーキテクチャの主なコンポーネントは次のとおりです。

  • GDC 共有クラスタ: 複数のプロジェクトに接続された組織スコープの共有 Kubernetes クラスタ。GDC Marketplace ソフトウェア パッケージとアプリケーション ワークロードをホストします。
  • GDC プロジェクト: ECK オペレーター、Elasticsearch クラスタ、Kibana インスタンス、関連する Kubernetes Secret と NetworkPolicy を分離する共有クラスタ上のプロジェクト Namespace。
  • Elastic Cloud on Kubernetes（ECK）オペレーター: GDC Marketplace からプロジェクトの名前空間にインストールされたオペレーターは、Elasticsearch カスタム リソースと Kibana カスタム リソースを管理し、生成 AI 機能と外部 LLM コネクタに必要な Elastic ライセンスを調整します。
  • Elasticsearch: 運用データとセキュリティ データを保存してインデックスに登録し、Kibana の AI 機能とエージェントによって生成された検索クエリと ES|QL クエリを実行します。
  • Kibana: Elastic の生成 AI 機能（Elastic AI Agent、Agent Builder、Attack Discovery）をホストし、ユーザー、Elasticsearch、LLM サービス間のマルチステップ ツール呼び出しをオーケストレートする LLM アクション コネクタを管理します。
  • LLM サービス: マネージド LLM サービス（GDC の Gemini など）またはセルフマネージド推論サーバー（Ollama や vLLM など）。内部 GDC ネットワークを介して Kibana にチャット補完機能とツール呼び出し機能を提供します。

コンセプトとテクノロジー

このセクションでは、機能コンポーネント、その役割、システム内での通信方法について詳しく説明します。

インフラストラクチャとプラットフォーム

  • GDC 共有クラスタ: ECK オペレーター、Elasticsearch、Kibana Pod がプロジェクト Namespace 内に存在するプライマリ コンピューティング環境。
  • GDC Marketplace: Elastic Marketplace パッケージのインストールとアップグレードに使用されるカタログ。Elastic CustomResourceDefinitions を登録し、elastic-operator StatefulSet をデプロイします。
  • Harbor Registry: エアギャップ環境における ECK オペレーター、Elasticsearch、Kibana コンテナ イメージの安全なローカル信頼できる情報源。
  • 永続ストレージ: Elasticsearch volumeClaimTemplates を介してプロビジョニングされた PersistentVolumeClaim は、Elasticsearch データに耐久性のあるブロック ストレージを提供します。
  • GDC ネットワーキング: LoadBalancer Service は Elasticsearch（ポート 9200）と Kibana（ポート 5601）を公開し、Kubernetes NetworkPolicy リソースとグローバル ProjectNetworkPolicy リソースは、LLM サービスへの接続を含む、インバウンド トラフィックとプロジェクト間のトラフィックを管理します。

サービスとロジック

  • ECK オペレーター: Elasticsearch カスタム リソースと Kibana カスタム リソースを監視し、StatefulSet、Deployment、Service、Secret に調整するコントローラ。license-controller は、オペレーター Namespace のライセンス Secret とクラスタ ライセンスを継続的に調整します。
  • Elastic AI Agent: Kibana のデフォルトの会話エージェント。組み込みの Agent Builder ツール（platform.core.list_indices、platform.core.get_index_mapping、platform.core.search、platform.core.execute_esql）を使用して、データの検出、ES|QL の生成、結果の要約を行います。
  • Agent Builder: カスタム システム指示を組み込みツールとユーザー定義ツール（esql、index_search、workflow、mcp）と組み合わせたカスタム エージェントを作成するためのフレームワーク。
  • Kibana ワークフロー: 宣言型の YAML 定義の自動化（cases.createCase など）。Agent Builder ツールとして登録して、エージェントが Kibana セキュリティ ケースを開くなどのアクションを実行できるようにします。
  • Attack Discovery: 匿名化されたアラート コンテキストを LLM に送信し、.alerts-security.alerts-default インデックスのアラートを MITRE ATT&CK 戦術にマッピングされた攻撃チェーンに関連付ける Elastic Security 機能。
  • LLM サービス: ネイティブ ツール呼び出しをサポートする、指示調整済みのチャット補完を提供します。モデルは、有効なツール呼び出し、構造化された JSON、ES|QL クエリを確実に生成する必要があります。

データフローとインターフェース

  • OpenAI 互換のチャット補完 API（/v1/chat/completions）: Kibana の OpenAI（.gen-ai）コネクタと LLM サービスの間のインターフェース。その他（OpenAI 互換サービス）プロバイダ、ネイティブ関数呼び出しの有効化、Server-Sent Events ストリーミングで構成されています。
  • Elasticsearch REST API と ES|QL API: Kibana とそのエージェントがマッピングの検査、検索の実行、ES|QL 集計の実行に使用します。
  • Kibana REST API: コネクタ（/api/actions）、エージェントとツール（/api/agent_builder）、ワークフロー（/api/workflows）、検出ルール（/api/detection_engine）、攻撃検出（/api/attack_discovery）のプログラムによる管理に使用されます。
  • 組み込み認証を使用した HTTPS: Elasticsearch エンドポイントと Kibana エンドポイントは、ECK で生成された証明書を使用して TLS 経由で提供されます。認証情報は、ECK で管理される Kubernetes Secret に保存されます。

考慮事項

  • スケーラビリティとパフォーマンス:
    • Elasticsearch と Kibana のリソース リクエスト、上限、ノード数、ストレージ サイズは、本番環境のデータ量とクエリの同時実行数に合わせて、評価のデフォルトから調整する必要があります。
    • Kibana の OpenAI コネクタは、ストリーミング ターンごとにデフォルトで 60 秒のタイムアウトを適用します。LLM サービスは、Flash Attention などの最適化を使用して GPU アクセラレーションで実行し、各ターンをこの上限内に収める必要があります。
    • 1 つのエージェント ターンで、ネストされた LLM サブコールをトリガーできます。推論サーバーは、サブ呼び出しがメインの会話のキャッシュに保存されたコンテキストを削除しないように、複数の並列 KV キャッシュ スロット（OLLAMA_NUM_PARALLEL=2 など）を維持する必要があります。
  • LLM モデルの要件:
    • モデルは、ネイティブ関数呼び出しのサポートを使用して指示調整されている必要があります。プロンプト ベースのシミュレートされた関数呼び出しはネストされたツール呼び出しの信頼性が低いため、Kibana コネクタでネイティブ関数呼び出しを有効にする必要があります。
    • ツール定義、インデックス スキーマ、ES|QL ドキュメント、検索結果を組み合わせたマルチステップの調査では 70,000 トークンを超える可能性があるため、128,000 トークン以上のコンテキスト ウィンドウを強くおすすめします。
    • Kibana は length 終了理由を致命的なエラーとして扱い、グリーディ デコードを使用するため、推論可能なモデルには、少なくとも 8,192 トークンの出力トークン上限と、穏やかな繰り返しペナルティをおすすめします。
    • Attack Discovery では、複数のアラートの構造化出力を確実に合成するために、30B クラス以上のモデル（gemma4:31b など）が必要です。
  • セキュリティとコンプライアンス:
    • すべてのプロンプト、取得されたデータ、モデル レスポンスは、内部 GDC ネットワークに残ります。
    • ネットワーク ポリシーを、寛容な評価設定から、Elasticsearch と Kibana へのインバウンド アクセスを承認されたクライアントに制限し、LLM サービス エンドポイントへのエグレスを制限するように強化する必要があります。
    • Kibana と Elasticsearch へのアクセスは、elastic スーパーユーザーではなく、Elastic ロールベース アクセス制御によって管理する必要があります。
  • リソース管理とライセンス:
    • Elastic の生成 AI 機能と外部 LLM コネクタには、Enterprise ライセンス（または 30 日間の Enterprise トライアル）が必要です。このライセンスは、オペレーターの調整サイクル全体で永続化されるように、ECK ライセンス Secret を介してプロビジョニングする必要があります。
  • 可用性と信頼性:
    • 本番環境のデプロイでは、単一障害点を回避するために、レプリカ シャードを持つ複数の Elasticsearch ノードと複数の Kibana インスタンスを使用する必要があります。
    • AI 機能の可用性は、LLM サービスの可用性とレイテンシによって異なります。
  • 運用管理:
    • お客様は、Elastic Marketplace パッケージと Elastic Stack のバージョンのアップグレード、ライセンスの管理、Elasticsearch データのバックアップを行う必要があります。
    • セルフマネージド LLM サービスを使用する場合、デプロイ、GPU 容量プランニング、モデルの更新、チューニングはお客様の責任で行っていただきます。

設計上の意思決定

このソリューションの主なアーキテクチャ上の選択は、エアギャップ環境の制約内で Elastic の生成 AI 機能を有効にすることに重点を置いています。

GDC Marketplace の ECK オペレーター

ECK オペレーターは、手動でデプロイするのではなく、GDC エアギャップ Marketplace からインストールされます。Marketplace パッケージは、ローカルの Harbor レジストリからコンテナ イメージを pull するように事前構成されており、必要な CustomResourceDefinition を登録し、GDC プロジェクト レベルの IAM ロールと統合されています。これにより、イメージ ミラーリングの労力が軽減され、デプロイが GDC ソフトウェア ライフサイクルに沿って維持されます。

共有クラスタ デプロイ

このソリューションは、Elastic Stack を GDC 共有クラスタのプロジェクト Namespace にデプロイします。これにより、お客様は専用のクラスタをプロビジョニングして運用することなく、他のプロジェクト ワークロードとともに Marketplace ソフトウェアを使用できます。一方、プロジェクトの名前空間は、リソース、Secret、ネットワーク ポリシーを分離します。

LLM サービスのオプション

Managed Gemini on GDC は、推論インフラストラクチャのホスティングの運用負荷を軽減するため、利用可能な場合はこのオプションをおすすめします。利用できない場合や、お客様が特定のオープンモデルを必要とする場合は、Kibana は OpenAI 互換の /v1/chat/completions エンドポイントを公開するセルフマネージド推論サーバーに接続できます。この API を標準化することで、Elastic 構成を推論エンジン（Ollama や vLLM など）から独立させることができます。

ネイティブ関数呼び出し

Kibana コネクタでネイティブ関数呼び出しが有効になっているため、ツール呼び出しの形式設定は推論サーバーの OpenAI tools プロトコルに委任されます。Kibana のデフォルトのプロンプトベースのシミュレートされた関数呼び出しは、ネストされたツール呼び出し中に信頼性が低く、解析エラーで失敗する可能性があります。

ECK 管理のライセンス調整

Enterprise（またはトライアル）ライセンスは、Elasticsearch ライセンス API を介して直接有効化されるのではなく、ECK ライセンス Secret として宣言されます。ECK はクラスタ ライセンスを継続的に調整するため、ECK の外部で適用されたライセンスは、次の調整サイクルで basic に戻されます。

前提条件と制限事項

前提条件

  • GDC 共有クラスタと接続されたプロジェクトが利用可能で、ECK オペレーター、Elasticsearch、Kibana に十分なコンピューティング容量と永続ストレージ容量がある。
  • Elastic Marketplace パッケージと、対応する Elasticsearch および Kibana コンテナ イメージは、GDC エアギャップ Marketplace とローカル Harbor レジストリで入手できます。
  • ユーザーに必要なプロジェクト ロール（namespace-admin、project-viewer、marketplace-editor、project-networkpolicy-admin）が付与されている。
  • LLM サービス（GDC のマネージド Gemini またはセルフマネージド OpenAI 互換推論サーバー）がデプロイされ、内部 GDC ネットワーク経由で Kibana Pod からアクセスできる。
  • Elastic Enterprise ライセンスが利用可能であるか、30 日間の Enterprise 試用版が評価に使用されている。

制限事項

  • LLM サービスの対象外: GPU インフラストラクチャを含むセルフマネージド LLM サービスのデプロイと運用は、このアーキテクチャの対象外です。
  • Elastic がホストする AI サービスがない: Elastic マネージド LLM やその他のクラウドホスト型 Elastic AI サービスは、エアギャップ環境では使用できません。
  • モデル依存の品質: AI エージェント、Agent Builder、Attack Discovery の結果の精度と信頼性は、選択したモデルの機能とそのランタイム構成によって異なります。
  • 評価グレードのデフォルト: リファレンス実装では、単一ノードの Elasticsearch クラスタ、自己署名証明書、寛容なネットワーク ポリシーが使用されます。これらは本番環境で使用するために強化する必要があります。
  • バージョン固有: このソリューションは、Elastic v9.4.0、Elastic Kubernetes Operator v3.4.0、GDC v1.16.2 で検証されています。他のバージョンでは調整が必要になる場合があります。

その他の教材

ソリューション リファレンス実装（SRI）: GDC エアギャップに Elastic Stack の生成 AI 機能をデプロイする