解決方案參考架構：在 GDC 實體隔離方案部署 Elastic Stack 的生成式 AI 功能

總覽

本參考架構定義了概念設計，說明如何在 Google Distributed Cloud (GDC) 氣隙環境中部署 Elastic Stack (Elasticsearch 和 Kibana)，並與大型語言模型 (LLM) 服務整合，啟用 Elastic 的生成式 AI 功能。

Elastic Stack 是廣為採用的搜尋、觀測能力和安全數據分析平台。Elastic 近期發布的版本為 Kibana 增添了生成式 AI 功能，包括 Elastic AI Agent、使用 Agent Builder 建構的自訂代理，以及 Attack Discovery。這些功能仰賴 LLM 將自然語言要求轉譯為 Elasticsearch 查詢、自動調度管理多步驟工具呼叫，以及建立安全性警示關聯。

這項架構會使用 GDC 實體隔離方案 Marketplace 提供的官方Elastic Cloud on Kubernetes (ECK) 運算子部署 Elastic Stack，並將 Kibana 連結至託管於 GDC 邊界內的 LLM 推論端點，例如 GDC 上的代管 Gemini 服務，或自行管理的 OpenAI 相容推論伺服器 (例如 Ollama 或 vLLM)。

特點與功能

這項解決方案提供多項核心功能元件，可協助 AI 輔助搜尋、觀測能力和安全性分析：

  • 透過 Marketplace 管理生命週期：從 GDC 實體隔離方案 Marketplace，將 ECK 運算子安裝到共用叢集的專案命名空間，自動佈建、設定及協調 Elasticsearch 和 Kibana 自訂資源。
  • 自然語言資料調查：使用 Elastic AI 代理程式，以自然語言探索 Elasticsearch 資料。代理會探索索引和對應、生成及執行 ES|QL 查詢，並整合發現結果，不需事先瞭解基礎結構定義。
  • 自訂代理和自動化工作流程：使用 Agent Builder 建立專用代理，結合自訂指令與內建工具、自訂 ES|QL 工具和 Kibana 工作流程 (例如，自動開啟 Kibana 安全性案件並附上調查結果)。
  • AI 導向的安全性警示關聯：使用 Attack Discovery 分析開放式 Elastic Security 警示、對應至 MITRE ATT&CK 架構，並將相關警示、IP 位址和使用者帳戶關聯至攻擊鏈。
  • 實體隔離相容性：ECK 運算子、Elasticsearch 和 Kibana 容器映像檔會從本機 GDC Harbor 登錄檔提取，所有 LLM 推論流量都會留在內部 GDC 網路。
  • 可插入式 LLM 後端：透過 Kibana 的 OpenAI 連接器，將 Kibana 連線至 GDC 上的代管 Gemini，或任何公開 OpenAI 相容 /v1/chat/completions API 的自行管理推論伺服器。

架構原則

  • 共同責任模式：GDC 提供共用叢集、Marketplace 套件、Harbor 登錄檔和網路。客戶負責操作 Elastic Stack 部署作業、管理 Elastic 授權，以及選擇和操作自行管理的 LLM 服務 (如有使用)。
  • 資料主權：所有作業和安全資料、提示和模型回覆都會保留在 GDC 實體隔離方案邊界內。不會將任何流量傳送至 Elastic 代管或公開 LLM 服務。
  • 雲端原生作業：使用 Kubernetes 運算子模式，以宣告方式管理有狀態的 Elastic 工作負載，確保部署作業一致且可重複。
  • 通訊協定標準化：依賴廣泛支援的 OpenAI 相容聊天完成 API，並提供原生函式呼叫功能，將 Kibana 與任何特定推論引擎或模型供應商分離。

架構

這個架構包含由 ECK 運算子管理的 Elastic Stack 部署作業，位於 GDC 共用使用者叢集的專案命名空間內。Kibana 會透過內部 GDC 網路與 LLM 推論端點通訊。

Elastic Stack 架構圖。

這項架構的主要元件包括：

  • GDC 共用叢集：組織範圍的共用 Kubernetes 叢集，連結至多項專案，託管 GDC Marketplace 軟體套件和應用程式工作負載。
  • GDC 專案：共用叢集上的專案命名空間，用於隔離 ECK 運算子、Elasticsearch 叢集、Kibana 執行個體，以及相關聯的 Kubernetes Secret 和 NetworkPolicy。
  • Elastic Cloud on Kubernetes (ECK) 運算子：從 GDC Marketplace 安裝至專案命名空間，負責管理 Elasticsearch 和 Kibana 自訂資源，並協調生成式 AI 功能和外部 LLM 連接器所需的 Elastic 授權。
  • Elasticsearch：儲存作業和安全性資料並建立索引，以及執行 Kibana AI 功能和代理程式產生的搜尋和 ES|QL 查詢。
  • Kibana：代管 Elastic 的生成式 AI 功能 (Elastic AI 代理、Agent Builder 和 Attack Discovery)，並管理 LLM 動作連接器，在使用者、Elasticsearch 和 LLM 服務之間，自動調度管理多步驟工具呼叫。
  • LLM 服務：代管 LLM 服務 (例如 Gemini on GDC) 或自行管理的推論伺服器 (例如 Ollama 或 vLLM)，可透過內部 GDC 網路為 Kibana 提供對話完成和工具呼叫功能。

概念和技術

本節將詳細說明功能元件、其職責，以及元件在系統中的通訊方式。

基礎架構和平台

  • GDC 共用叢集：主要運算環境，ECK 運算子、Elasticsearch 和 Kibana Pod 位於專案命名空間內。
  • GDC Marketplace：用於安裝及升級 Elastic Marketplace 市集套裝方案的目錄，可註冊 Elastic CustomResourceDefinitions 並部署 elastic-operator StatefulSet。
  • Harbor Registry：在實體隔離環境中，ECK 運算子、Elasticsearch 和 Kibana 容器映像檔的安全本機可靠資料來源。
  • 永久儲存空間：透過 Elasticsearch volumeClaimTemplates 佈建的 PersistentVolumeClaim，可為 Elasticsearch 資料提供耐用的區塊儲存空間。
  • GDC 網路：LoadBalancer 服務會公開 Elasticsearch (通訊埠 9200) 和 Kibana (通訊埠 5601)，而 Kubernetes NetworkPolicy 和全域性資源 ProjectNetworkPolicy 則會控管傳入和跨專案流量，包括與 LLM 服務的連線能力。

服務和邏輯

  • ECK 運算子：監控 Elasticsearch 和 Kibana 自訂資源，並將其協調為 StatefulSet、Deployment、Service 和 Secret 的控制器。其 license-controller 會持續比對叢集授權與運算子命名空間中的授權 Secret。
  • Elastic AI Agent：Kibana 的預設對話式代理。它會使用內建的 Agent Builder 工具 (platform.core.list_indices、platform.core.get_index_mapping、platform.core.search 和 platform.core.execute_esql) 探索資料、生成 ES|QL 並總結結果。
  • Agent Builder：這個架構可建立自訂代理，結合自訂系統指令、內建工具和使用者定義工具 (esql、index_search、workflow 和 mcp)。
  • Kibana 工作流程：以 YAML 定義的宣告式自動化作業 (例如 cases.createCase)，可註冊為 Agent Builder 工具，讓代理執行開啟 Kibana 安全性案件等動作。
  • Attack Discovery：Elastic Security 的安全防護功能，可將去識別化的警示背景資訊傳送至 LLM，將 .alerts-security.alerts-default 索引中的警示與對應至 MITRE ATT&CK 戰術的攻擊鏈建立關聯。
  • LLM 服務：提供經過指令調整的對話補全功能，並原生支援工具呼叫。模型必須能可靠地生成有效的工具叫用、結構化 JSON 和 ES|QL 查詢。

資料流程和介面

  • OpenAI 相容的對話完成 API (/v1/chat/completions)：Kibana 的 OpenAI (.gen-ai) 連接器與 LLM 服務之間的介面，設定為「Other (OpenAI Compatible Service)」(其他 (OpenAI 相容服務)) 供應商，並啟用原生函式呼叫和伺服器傳送事件串流。
  • Elasticsearch REST 和 ES|QL API：Kibana 及其代理程式會使用這些 API 檢查對應、執行搜尋，以及執行 ES|QL 匯總。
  • Kibana REST API：用於程式輔助管理連接器 (/api/actions)、代理程式和工具 (/api/agent_builder)、工作流程 (/api/workflows)、偵測規則 (/api/detection_engine) 和 Attack Discovery (/api/attack_discovery)。
  • 內建驗證機制的 HTTPS：Elasticsearch 和 Kibana 端點會使用 ECK 產生的憑證，透過 TLS 提供服務，憑證則儲存在 ECK 管理的 Kubernetes Secret 中。

注意事項

  • 擴充性和效能：
    • Elasticsearch 和 Kibana 資源要求、限制、節點數量和儲存空間大小，必須從評估預設值調整，以符合正式環境資料量和查詢並行。
    • Kibana 的 OpenAI 連接器會強制執行預設的 60 秒逾時限制，LLM 服務必須在 GPU 加速環境中執行，並採用 Flash Attention 等最佳化技術，確保每個回合都在這個限制內。
    • 單一代理回覆可觸發巢狀 LLM 子呼叫。推論伺服器應維護多個平行 KV 快取槽 (例如 OLLAMA_NUM_PARALLEL=2)，避免子呼叫清除主要對話的快取內容。
  • LLM 模型需求：
    • 模型必須經過指令調整，並支援原生函式呼叫。Kibana 連接器應啟用原生函式呼叫功能，因為提示式模擬函式呼叫在巢狀工具呼叫中的可靠性較低。
    • 強烈建議使用至少 128,000 個詞元的脈絡窗口，因為結合工具定義、索引結構定義、ES|QL 說明文件和搜尋結果的多步驟調查，可能會超過 70,000 個詞元。
    • 建議將輸出詞元限制設為至少 8,192 個詞元，並對具備推論能力的模型採用輕微的重複懲罰，因為 Kibana 會將 length 結束原因視為嚴重錯誤，並使用貪婪解碼。
    • 攻擊偵測功能需要 30B 級以上模型 (例如 gemma4:31b)，才能可靠地合成多重警示結構化輸出內容。
  • 安全性與法規遵循：
    • 所有提示、擷取的資料和模型回覆都會保留在內部 GDC 網路。
    • 應將網路政策從寬鬆的評估設定改為嚴格，限制只有授權用戶端才能輸入存取 Elasticsearch 和 Kibana，並限制輸出至 LLM 服務端點。
    • Kibana 和 Elasticsearch 的存取權應透過 Elastic 角色式存取控管機制管理，而非 elastic 超級使用者。
  • 資源管理和授權：
    • Elastic 的生成式 AI 功能和外部 LLM 連接器需要 Enterprise 授權 (或有效的 30 天 Enterprise 試用版)，且必須透過 ECK 授權 Secret 佈建，才能在運算子協調週期中持續存在。
  • 可用性和穩定性：
    • 正式部署環境應使用多個 Elasticsearch 節點 (含副本 shard) 和多個 Kibana 執行個體，避免單點故障。
    • AI 功能的可用性取決於 LLM 服務的可用性和延遲時間。
  • 營運管理：
    • 客戶須負責升級 Elastic Marketplace 套件和 Elastic Stack 版本、管理授權，以及備份 Elasticsearch 資料。
    • 使用自行管理的 LLM 服務時，客戶須自行負責部署、GPU 容量規劃、模型更新和調整。

設計決策

這項解決方案的主要架構選擇，著重於在實體隔離環境的限制下，啟用 Elastic 的生成式 AI 功能。

GDC Marketplace 的 ECK 運算子

ECK 運算子是從 GDC 實體隔離方案 Marketplace 安裝，而非手動部署。市集套裝方案已預先設定，可從本機 Harbor 註冊資料庫提取容器映像檔、註冊必要的 CustomResourceDefinitions，並與 GDC 專案層級 IAM 角色整合。這可減少映像檔鏡像作業，並讓部署作業與 GDC 軟體生命週期保持一致。

共用叢集部署

這項解決方案會將 Elastic Stack 部署至 GDC 共用叢集上的專案命名空間。這樣一來，客戶就能在不佈建及操作專屬叢集的情況下，與其他專案工作負載一起使用 Marketplace 軟體，而專案命名空間則可隔離資源、Secret 和網路政策。

LLM 服務選項

在 GDC 上使用代管 Gemini 是首選方案 (如有)，因為這能免除託管推論基礎架構的營運負擔。如果無法使用，或客戶需要特定的開放原始碼模型，Kibana 可以連線至任何自行管理的推論伺服器，只要該伺服器提供與 OpenAI 相容的 /v1/chat/completions 端點即可。將這個 API 標準化，可讓 Elastic 設定獨立於推論引擎 (例如 Ollama 或 vLLM)。

原生函式呼叫

Kibana 連接器已啟用原生函式呼叫功能，因此工具呼叫格式會委派給推論伺服器的 OpenAI tools 通訊協定。Kibana 預設的提示式模擬函式呼叫，在巢狀工具呼叫期間較不可靠，且可能因剖析錯誤而失敗。

ECK 管理的授權協調

Enterprise (或試用) 授權會宣告為 ECK 授權 Secret，而非直接透過 Elasticsearch 授權 API 啟用。由於 ECK 會持續協調叢集授權，因此在 ECK 外部套用的授權會在下一個協調週期還原為 basic。

假設和限制

假設

  • 有可用的 GDC 共用叢集和附加專案，且 ECK 運算子、Elasticsearch 和 Kibana 有足夠的運算和永久儲存空間容量。
  • Elastic Marketplace 套件和相符的 Elasticsearch 和 Kibana 容器映像檔，可在 GDC 實體隔離 Marketplace 和本機 Harbor 登錄檔中取得。
  • 使用者具備必要的專案角色 (namespace-admin、project-viewer、marketplace-editor 和 project-networkpolicy-admin)。
  • LLM 服務 (GDC 上的代管 Gemini 或自行管理的 OpenAI 相容推論伺服器) 已部署，且可透過內部 GDC 網路從 Kibana Pod 連線。
  • 具備 Elastic Enterprise 授權，或使用 30 天 Enterprise 試用版進行評估。

限制

  • LLM 服務不在範圍內：部署及操作自行管理的 LLM 服務 (包括 GPU 基礎架構) 不在本架構的涵蓋範圍內。
  • 不提供 Elastic 代管的 AI 服務：實體隔離環境不提供 Elastic 代管的 LLM 和其他雲端託管 Elastic AI 服務。
  • 品質取決於模型：AI 代理、Agent Builder 和 Attack Discovery 結果的準確度和可靠性，取決於所選模型的功能和執行階段設定。
  • 評估級預設值：參考實作項目使用單一節點 Elasticsearch 叢集、自行簽署的憑證和寬鬆的網路政策，必須經過強化才能用於正式環境。
  • 版本特定性：解決方案已通過 Elastic v9.4.0、Elastic Kubernetes Operator v3.4.0 和 GDC v1.16.2 驗證。其他版本可能需要調整。

其他資料

解決方案參考實作 (SRI)：在 GDC 實體隔離方案部署 Elastic Stack 的生成式 AI 功能