使用 Managed Service for Apache Airflow 遠端 MCP 伺服器

Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)

本文說明如何使用 Managed Service for Apache Airflow 遠端 Model Context Protocol (MCP) 伺服器,從 Gemini CLI、ChatGPT、Claude 等 AI 應用程式,或您正在開發的 AI 應用程式連線至 Managed Service for Apache Airflow。透過 Managed Airflow MCP 伺服器,您可以管理 Managed Airflow 環境,並取得已執行的 DAG 執行作業和 Airflow 工作詳細資料。

Model Context Protocol (MCP) 規範大型語言模型 (LLM) 和 AI 應用程式/代理程式連結外部資料來源的標準方式。MCP 伺服器可讓您使用工具、資源和提示,從後端服務採取行動及取得更新資料。

本機和遠端 MCP 伺服器有何不同?

本機 MCP 伺服器
通常在本機電腦上執行,並使用標準輸入和輸出串流 (stdio),在同一部裝置上的服務之間進行通訊。
遠端 MCP 伺服器
在服務的基礎架構上執行,並為 AI 應用程式提供 HTTP 端點,供 AI MCP 用戶端與 MCP 伺服器之間的通訊。如要進一步瞭解 MCP 架構,請參閱 MCP 架構

Google 和 Google Cloud 遠端 MCP 伺服器

Google 和 Google Cloud 遠端 MCP 伺服器具有下列功能和優點:

  • 簡化集中式探索作業
  • 代管全域或區域 HTTP 端點
  • 精細授權
  • (選用) 使用 Model Armor 保護提示詞和回覆
  • 集中式稽核記錄

如要瞭解其他 MCP 伺服器,以及 Google Cloud MCP 伺服器適用的安全性與控管措施,請參閱 Google Cloud MCP 伺服器總覽

事前準備

  1. 登入 Google Cloud 帳戶。如果您是 Google Cloud新手,歡迎 建立帳戶,親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額,可用於執行、測試及部署工作負載。
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  4. Enable the Managed Airflow API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  5. 安裝 Google Cloud CLI。

  6. 若您採用的是外部識別資訊提供者 (IdP),請先使用聯合身分登入 gcloud CLI

  7. 執行下列指令,初始化 gcloud CLI:

    gcloud init
  8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  9. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  10. Enable the Managed Airflow API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  11. 安裝 Google Cloud CLI。

  12. 若您採用的是外部識別資訊提供者 (IdP),請先使用聯合身分登入 gcloud CLI

  13. 執行下列指令,初始化 gcloud CLI:

    gcloud init

必要的角色

如要取得啟用 Managed Service for Apache Airflow MCP 伺服器所需的權限,請要求管理員在要啟用 Managed Service for Apache Airflow MCP 伺服器的專案中,授予下列 IAM 角色:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色,取得必要權限。

驗證及授權

Managed Service for Apache Airflow 遠端 MCP 伺服器會使用 OAuth 2.0 通訊協定搭配 Identity and Access Management (IAM) 進行驗證和授權。驗證 MCP 伺服器時,系統支援所有Google Cloud 身分

建議您為使用 MCP 工具的代理商建立個別身分,以便控管及監控資源存取權。如要進一步瞭解驗證,請參閱「向 MCP 伺服器進行驗證」。

Managed Service for Apache Airflow MCP OAuth 範圍

OAuth 2.0 會使用範圍和憑證,判斷經過驗證的主體是否有權對資源執行特定動作。如要進一步瞭解 Google 的 OAuth 2.0 範圍,請參閱「使用 OAuth 2.0 存取 Google API」。

Managed Service for Apache Airflow 具有下列 MCP 工具 OAuth 範圍:

gcloud CLI 的範圍 URI 說明
https://www.googleapis.com/auth/cloudcomposer.readonly 僅允許讀取資料的權限。
https://www.googleapis.com/auth/cloudcomposer 有權讀取及修改資料。

設定 MCP 用戶端,以使用 Managed Service for Apache Airflow MCP 伺服器

AI 應用程式和代理 (例如 Claude 或 Antigravity) 可以例項化 MCP 用戶端,並連至單一 MCP 伺服器。AI 應用程式可有多個用戶端,連至不同的 MCP 伺服器。如果您的應用程式未列在特定用戶端指南中,則可以使用下列資訊,從大多數應用程式連線。

在 AI 應用程式中,尋找新增或連線至遠端 MCP 伺服器的方法。 如果是 Managed Service for Apache Airflow MCP 伺服器,請視需要輸入下列資訊:

  • 伺服器名稱:Managed Service for Apache Airflow MCP 伺服器
  • 端點:composer.{region}.rep.googleapis.com/mcp
  • 傳輸:HTTP
  • 驗證詳細資料:視驗證方式而定,您可以輸入 Google Cloud 憑證、OAuth 用戶端 ID 和密鑰,或是代理程式身分和憑證。如要進一步瞭解驗證,請參閱「向 MCP 伺服器進行驗證」。
  • OAuth 範圍:連線至 Managed Service for Apache Airflow MCP 伺服器時要使用的 OAuth 2.0 範圍

如需設定及連線至 MCP 伺服器的應用程式專屬指引,請參閱用戶端專屬指引

如需更多一般指引,請參閱下列資源:

可用的工具

唯讀 MCP 工具的 MCP 屬性會設為 mcp.tool.isReadOnlytrue。您可能只想透過機構政策,在特定環境中允許唯讀工具。

如要查看可用 MCP 工具的詳細資料和說明,請參閱 Managed Service for Apache Airflow MCP 參考資料

列出工具

使用 MCP 檢查器列出工具,或直接將 tools/list HTTP 要求傳送至 Managed Service for Apache Airflow 遠端 MCP 伺服器。tools/list 方法不需要驗證。

POST /mcp HTTP/1.1
Host: composer.{region}.rep.googleapis.com/mcp
Content-Type: application/json

{
  "jsonrpc": "2.0",
  "method": "tools/list",
}

應用實例

以下是 Managed Service for Apache Airflow MCP 伺服器的範例用途:

說明環境狀態

在這個範例用途中,您會詢問專案中的環境。

找出 us-central1 中目前不在執行狀態的所有 Managed Airflow 環境。如果任何一項處於錯誤狀態,請告訴我這個環境上次更新的時間,以及環境的工作負載設定。

工作流程:描述 Managed Airflow 環境可能如下所示。

  • 查看環境清單:代理程式會使用 list_environments 取得指定區域中的環境清單,以及上次更新時間的相關資訊。

建立含有自訂 PyPI 套件的新 Managed Airflow 環境

在這個範例中,您會建立新的 Managed Airflow 環境,然後在其中安裝自訂 PyPI 套件

提示範例

在專案中建立新的 Managed Airflow (第 3 代) 環境,並使用 Airflow 2。然後將 nltk[machine_learning] 套件安裝至該環境。使用 example-account@example-project。iam.gserviceaccount.com 環境的服務帳戶。

工作流程:建立新的 Managed Airflow 環境,然後在其中安裝自訂 PyPI 套件,可能如下所示。

  • 建立環境:代理程式會使用 create_environment,根據提供的設定參數建立新環境。代理程式會詢問其他設定參數,例如允許存取 Airflow UI 的 IP 位址清單。

  • 安裝套件:代理程式會呼叫 manage_pypi_packages,安裝指定的 PyPI 套件。

排解 DAG 執行作業和工作失敗的問題

在 us-central1 中檢查 example-environment-name Managed Airflow 環境。example_dag 失敗,我想知道原因,以及具體是哪個工作失敗。此外,請告訴我過去 24 小時內,這個環境中還有哪些 DAG 失敗。

工作流程:失敗的 DAG 執行作業疑難排解畫面可能如下所示。

  • 取得失敗的 DAG 執行作業:代理程式會使用 find_last_failed_dag_runs,在指定環境中取得 example_dag DAG 的失敗 DAG 執行作業清單。代理程式會使用相同的工具,取得所有失敗的 DAG 執行作業清單。

  • 檢查失敗的 DAG 執行作業:代理會呼叫 list_failed_task_instances,取得 DAG 執行作業中處於失敗狀態的工作執行個體清單。

  • 分析失敗的工作記錄:代理程式會使用 get_task_instance 取得失敗工作例項的詳細資料,包括擷取記錄所需的資料。

  • 檢查 DAG 原始碼:代理程式會使用 get_dag_source_code 分析失敗工作原始碼中的錯誤。

選用的安全防護設定

由於 MCP 工具可執行各種動作,因此會帶來新的安全風險和考量。為盡量減少及管理這些風險,Google Cloud 提供預設設定和可自訂的政策,控管機構或專案中 MCP 工具的使用情形。 Google Cloud

如要進一步瞭解 MCP 安全性和控管措施,請參閱這篇文章

使用 Model Armor

Model Armor 是一項Google Cloud 服務,可提高 AI 應用程式的安全性。這項功能會主動篩選 LLM 提示詞和回覆,防範各種風險並支援負責任的 AI 做法。無論您是在雲端環境或外部雲端供應商部署 AI,Model Armor 都能協助您防範惡意輸入、驗證內容安全性、保護私密資料、維持法規遵循狀態,並在多元的 AI 環境中,持續強制執行 AI 安全政策。

啟用 Model Armor 並啟用記錄功能後,Model Armor 會記錄整個酬載。這可能會導致記錄中出現私密資訊。

啟用 Model Armor

您必須先啟用 Model Armor API,才能使用 Model Armor。

控制台

  1. 啟用 Model Armor API。

    啟用 API 時所需的角色

    如要啟用 API,您需要具備服務使用情形管理員 IAM 角色 (roles/serviceusage.serviceUsageAdmin),其中包含 serviceusage.services.enable 權限。瞭解如何授予角色

    啟用 API

  2. 選取要啟用 Model Armor 的專案。

gcloud

開始前,請使用 Google Cloud CLI 搭配 Model Armor API 執行下列步驟:

  1. 在 Google Cloud 控制台中啟用 Cloud Shell。

    啟用 Cloud Shell

    控制台底部會開啟 Cloud Shell 工作階段,並顯示指令列提示。 Google Cloud Cloud Shell 是已安裝 Google Cloud CLI 的殼層環境,並已針對您目前的專案設定好相關值。工作階段可能要幾秒鐘的時間才能初始化。

  2. 執行下列指令,為 Model Armor 服務設定 API 端點。

    gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

    LOCATION 替換為要使用 Model Armor 的區域。

設定 Google 和遠端 MCP 伺服器的防護功能 Google Cloud

如要保護 MCP 工具呼叫和回應,可以使用 Model Armor 底限設定。底限設定會定義專案適用的最低安全性篩選條件。這項設定會對專案中的所有 MCP 工具呼叫和回覆套用一致的篩選器。

設定啟用 MCP 消毒功能的 Model Armor 底限設定。詳情請參閱「設定 Model Armor 底價」。

請參閱下列指令範例:

gcloud model-armor floorsettings update \
--full-uri='projects/PROJECT_ID/locations/global/floorSetting' \
--enable-floor-setting-enforcement=TRUE \
--add-integrated-services=GOOGLE_MCP_SERVER \
--google-mcp-server-enforcement-type=INSPECT_AND_BLOCK \
--enable-google-mcp-server-cloud-logging \
--malicious-uri-filter-settings-enforcement=ENABLED \
--add-rai-settings-filters='[{"confidenceLevel": "MEDIUM_AND_ABOVE", "filterType": "DANGEROUS"}]'

PROJECT_ID 替換為 Google Cloud 專案 ID。

請注意下列設定:

  • INSPECT_AND_BLOCK:強制執行類型,可檢查 Google MCP 伺服器的內容,並封鎖符合篩選器的提示和回覆。
  • ENABLED:啟用篩選器或強制執行的設定。
  • MEDIUM_AND_ABOVE:負責任的 AI 技術 - 危險篩選器設定的信心水準。您可以修改這項設定,但較低的值可能會導致更多誤判。詳情請參閱「Model Armor 信心水準」。

停用使用 Model Armor 掃描 MCP 流量

如要停止讓 Model Armor 根據專案的底限設定,自動掃描往返 Google MCP 伺服器的流量,請執行下列指令:

gcloud model-armor floorsettings update \
  --full-uri='projects/PROJECT_ID/locations/global/floorSetting' \
  --remove-integrated-services=GOOGLE_MCP_SERVER

PROJECT_ID 替換為 Google Cloud 專案 ID。Model Armor 不會自動將這個專案底限設定中定義的規則,套用至任何 Google MCP 伺服器流量。

Model Armor 底限設定和一般設定不僅會影響 MCP,由於 Model Armor 會與 Vertex AI 等服務整合,因此您對底限設定所做的任何變更,都會影響所有整合服務 (不只是 MCP) 的流量掃描和安全行為。

使用 IAM 拒絕政策控管 MCP 使用情形

身分與存取權管理 (IAM) 拒絕政策可協助您保護 Google Cloud 遠端 MCP 伺服器。設定這些政策,即可封鎖不必要的 MCP 工具存取權。

舉例來說,您可以根據下列條件拒絕或允許存取:

  • 主體
  • 工具屬性 (例如唯讀)
  • 應用程式的 OAuth 用戶端 ID

詳情請參閱「使用 Identity and Access Management 控制 MCP 使用情形」。

後續步驟