"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

使用 Managed Service for Apache Spark MCP 服务器

本文档介绍了如何使用 Managed Service for Apache Spark 远程 Model Context Protocol (MCP) 服务器连接到 Gemini CLI、ChatGPT、Claude 和您正在开发的自定义应用等 AI 应用。借助 Managed Service for Apache Spark 远程 MCP 服务器，您可以从 AI 应用执行基于集群的操作，例如创建集群、提交作业或创建自动扩缩政策。启用 Managed Service for Apache Spark API 时，系统会自动启用 Managed Service for Apache Spark 远程 MCP 服务器。

Model Context Protocol (MCP) 可规范大语言模型 (LLM) 和 AI 应用或代理连接到外部数据源的方式。借助 MCP 服务器，您可以使用其工具、资源和提示来执行操作，并从其后端服务获取更新后的数据。

本地 MCP 服务器和远程 MCP 服务器有何区别？

本地 MCP 服务器: 通常在本地机器上运行，并使用标准输入和输出流 (stdio) 在同一设备上的服务之间进行通信。
远程 MCP 服务器: 在服务的基础设施上运行，并向 AI 应用提供 HTTP 端点，以实现 AI MCP 客户端与 MCP 服务器之间的通信。如需详细了解 MCP 架构，请参阅 MCP 架构。

如需了解 Managed Service for Apache Spark 本地 MCP 服务器，请参阅 MCP Toolbox for Databases 简介。

Google 和 Google Cloud 远程 MCP 服务器

Google 和 Google Cloud 远程 MCP 服务器具有以下功能和优势：

简化了集中式发现
托管式全球或区域 HTTP 端点
细粒度授权
使用 Model Armor 保护提示和回答安全（可选）
集中式审核日志记录

如需了解其他 MCP 服务器，以及适用于 Google Cloud MCP 服务器的安全性和治理控制措施，请参阅 Google Cloud MCP 服务器概览。

准备工作

登录您的 Google Cloud 账号。如果您是 Google Cloud新手，请创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Service for Apache Spark, Cloud Storage, and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Service for Apache Spark, Cloud Storage, and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

所需的角色

您需要拥有某些 IAM 角色才能运行本页中的示例。这些角色可能已获授予，具体取决于组织政策。如需检查角色授予情况，请参阅您是否需要授予角色？。

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

用户角色

如需获得使用 Managed Service for Apache Spark 所需的权限，请让您的管理员为您授予以下 IAM 角色：

针对项目的 Dataproc Editor (roles/dataproc.editor)
Compute Engine 默认服务账号的 Service Account User (roles/iam.serviceAccountUser)

如需获得使用 Managed Service for Apache Spark MCP 服务器所需的权限，请让您的管理员为您授予项目的以下 IAM 角色：

进行 MCP 工具调用： MCP Tool User (roles/mcp.toolUser)

这些预定义角色包含使用 Managed Service for Apache Spark MCP 服务器所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需使用 Managed Service for Apache Spark MCP 服务器，需要以下权限：

进行 MCP 工具调用： mcp.tools.call

服务账号角色

如需确保 Compute Engine 默认服务账号具有创建集群和提交作业所需的权限，请让您的管理员向 Compute Engine 默认服务账号授予项目的 Dataproc Worker (roles/dataproc.worker) IAM 角色。

此预定义角色包含创建集群和提交作业所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需创建集群和提交作业，您需要具备以下权限：

进行 MCP 工具调用： mcp.tools.call

身份验证和授权

Managed Service for Apache Spark 远程 MCP 服务器使用 OAuth 2.0 协议和 Identity and Access Management (IAM) 进行身份验证和授权。支持所有 Google Cloud 身份用于向 MCP 服务器进行身份验证。

Managed Service for Apache Spark 远程 MCP 服务器不接受 API 密钥。

我们建议您为使用 MCP 工具的代理创建单独的身份，以便控制和监控对资源的访问权限。如需详细了解身份验证，请参阅向 MCP 服务器进行身份验证。

Managed Service for Apache Spark MCP OAuth 范围

OAuth 2.0 使用范围和凭证来确定经过身份验证的主账号是否有权对资源执行特定操作。如需详细了解 Google 的 OAuth 2.0 范围，请参阅使用 OAuth 2.0 访问 Google API。

Managed Service for Apache Spark 具有以下 MCP 工具 OAuth 范围：

gcloud CLI 的范围 URI	说明
`https://www.googleapis.com/auth/dataproc`	查看和管理 Managed Service for Apache Spark 中的数据，以及查看您 Google 账号的电子邮件地址

在工具调用期间访问的资源可能需要额外的范围。如需查看 Managed Service for Apache Spark 所需的范围列表，请参阅 Managed Service for Apache Spark API。

配置 MCP 客户端以使用 Managed Service for Apache Spark MCP 服务器

Claude 或 Antigravity 等 AI 应用和代理可以实例化连接到单个 MCP 服务器的 MCP 客户端。一个 AI 应用可以有多个连接到不同 MCP 服务器的客户端。如果您的应用未列在特定于客户端的指南中，则可以使用以下信息从大多数应用进行连接。

在 AI 应用中，寻找添加或连接到远程 MCP 服务器的方式。对于 Managed Service for Apache Spark MCP 服务器，请根据需要输入以下内容：

服务器名称：Managed Service for Apache Spark MCP 服务器
服务器网址或端点：https://dataproc-us-central1.googleapis.com/mcp
传输：HTTP
身份验证详细信息：您可以根据所需的身份验证方式，输入 Google Cloud 凭证、OAuth 客户端 ID 和密钥，或代理身份和凭证。如需详细了解身份验证，请参阅向 MCP 服务器进行身份验证。
OAuth 范围：您在连接到 Managed Service for Apache Spark MCP 服务器时要使用的 OAuth 2.0 范围。如需了解详情，请参阅 Managed Service for Apache Spark MCP OAuth 范围。

如需查看有关设置和连接到 MCP 服务器的应用专用指南，请参阅特定于客户端的指南。

如需更一般的指导，请参阅以下资源：

可用的工具

只读的 MCP 工具的 MCP 属性 mcp.tool.isReadOnly 设置为 true。您可能希望通过组织政策仅允许在某些环境中使用只读工具。

如需查看 Managed Service for Apache Spark MCP 服务器的可用 MCP 工具的详细信息及其说明，请参阅 Managed Service for Apache Spark MCP 参考文档。

列出工具

使用 MCP 检查器列出工具，或直接向 Managed Service for Apache Spark 远程 MCP 服务器发送 tools/list HTTP 请求。tools/list 方法不需要身份验证。

POST /mcp HTTP/1.1
Host: dataproc.googleapis.com
Content-Type: application/json

{
  "jsonrpc": "2.0",
  "method": "tools/list",
}

应用场景示例

以下是 Managed Service for Apache Spark MCP 服务器的一些使用情形示例：

“列出 PROJECT_ID 和 REGION 中的 Managed Service for Apache Spark 集群。”
“获取 PROJECT_ID 和 REGION 中 CLUSTER_NAME 集群的最新状态。”
“在 PROJECT_ID 和 REGION 中删除 CLUSTER_NAME，并轮询直至完成。如果失败，则报告所有错误。”

替换以下内容：

PROJECT_ID： Google Cloud 项目 ID。项目 ID 列在 Google Cloud 控制台信息中心的项目信息部分中。
REGION：Managed Service for Apache Spark 集群所在的 Compute Engine 区域。
CLUSTER_NAME：现有 Managed Service for Apache Spark 集群的名称。

可选的安全配置

由于 MCP 工具可执行各种操作，因此 MCP 会引发新的安全风险和注意事项。为了最大限度地降低这些风险并进行管理，Google Cloud 提供了默认设置和可自定义的政策，用于控制 MCP 工具在 Google Cloud组织或项目中的使用。

如需详细了解 MCP 安全性和治理，请参阅 AI 安全性。

使用 Model Armor

Model Armor 是一项Google Cloud 服务，旨在增强 AI 应用的安全性。它通过主动筛选 LLM 提示和回答来防范各种风险，并支持 Responsible AI 实践。无论您是在云环境还是外部云服务提供商中部署 AI，Model Armor 都能帮助您防止恶意输入、验证内容安全性、保护敏感数据、保持合规性，并在各种 AI 环境中以一致的方式实施 AI 安全政策。

如果启用 Model Armor 并启用日志记录，Model Armor 会记录整个载荷。这可能会泄露日志中的敏感信息。

启用 Model Armor

您必须先启用 Model Armor API，然后才能使用 Model Armor。

控制台

启用 Model Armor API。
启用 API 所需的角色
如需启用 API，您需要拥有 Service Usage Admin IAM 角色 (roles/serviceusage.serviceUsageAdmin)，该角色包含 serviceusage.services.enable 权限。了解如何授予角色。
启用 API
选择要启用 Model Armor 的项目。

gcloud

在开始之前，请使用 Google Cloud CLI 和 Model Armor API 按照以下步骤操作：

在 Google Cloud 控制台中，激活 Cloud Shell。

激活 Cloud Shell

Cloud Shell 会话随即会在 Google Cloud 控制台的底部启动，并显示命令行提示符。Cloud Shell 是一个已安装 Google Cloud CLI 且已为当前项目设置值的 Shell 环境。该会话可能需要几秒钟时间来完成初始化。
运行以下命令，为 Model Armor 服务设置 API 端点。
```
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
```
将 LOCATION 替换为您要使用 Model Armor 的区域。

为 Google 和 Google Cloud 远程 MCP 服务器配置保护

为了帮助保护您的 MCP 工具调用和响应，您可以使用 Model Armor 下限设置。下限设置用于定义适用于整个项目的最低安全过滤条件。此配置可对项目中的所有 MCP 工具调用和响应应用一组一致的过滤条件。

设置启用了 MCP 清理功能的 Model Armor 下限设置。如需了解详情，请参阅配置 Model Armor 底价设置。

请参阅以下示例命令：

gcloud model-armor floorsettings update \
--full-uri='projects/PROJECT_ID/locations/global/floorSetting' \
--enable-floor-setting-enforcement=TRUE \
--add-integrated-services=GOOGLE_MCP_SERVER \
--google-mcp-server-enforcement-type=INSPECT_AND_BLOCK \
--enable-google-mcp-server-cloud-logging \
--malicious-uri-filter-settings-enforcement=ENABLED \
--add-rai-settings-filters='[{"confidenceLevel": "MEDIUM_AND_ABOVE", "filterType": "DANGEROUS"}]'

请将 PROJECT_ID 替换为您的 Google Cloud 项目 ID。

请注意以下设置：

INSPECT_AND_BLOCK：用于检查 Google MCP 服务器的内容并屏蔽与过滤器匹配的提示和响应的强制执行类型。
ENABLED：用于启用过滤或强制执行的设置。
MEDIUM_AND_ABOVE：Responsible AI - Dangerous 过滤设置的置信度。您可以修改此设置，但较低的值可能会导致出现更多假正例。如需了解详情，请参阅 Model Armor 置信度级别。

禁止使用 Model Armor 扫描 MCP 流量

如需停止 Model Armor 根据项目的下限设置自动扫描进出 Google MCP 服务器的流量，请运行以下命令：

gcloud model-armor floorsettings update \
  --full-uri='projects/PROJECT_ID/locations/global/floorSetting' \
  --remove-integrated-services=GOOGLE_MCP_SERVER

将 PROJECT_ID 替换为 Google Cloud 项目 ID。Model Armor 不会自动将此项目下限设置中定义的规则应用于任何 Google MCP 服务器流量。

Model Armor 下限设置和常规配置不仅会影响 MCP。由于 Model Armor 与 Vertex AI 等服务集成，因此您对下限设置所做的任何更改都可能会影响所有集成服务（而不仅仅是 MCP）中的流量扫描和安全行为。

使用 IAM 拒绝政策控制 MCP 使用情况

Identity and Access Management (IAM) 拒绝政策有助于保护 Google Cloud 远程 MCP 服务器。配置这些政策可阻止不必要的 MCP 工具访问。

例如，您可以根据以下条件拒绝或允许访问：

主账号
工具属性（例如只读）
应用的 OAuth 客户端 ID

如需了解详情，请参阅使用 Identity and Access Management 控制 MCP 的使用。

后续步骤

阅读 Managed Service for Apache Spark MCP 参考文档。
详细了解 Google Cloud MCP 服务器。