Usar o servidor MCP do Serviço Gerenciado para Apache Spark

Este documento mostra como usar o servidor do Protocolo de Contexto de Modelo (MCP) remoto do Serviço Gerenciado para Apache Spark para se conectar a aplicativos de IA, incluindo a CLI do Gemini, o ChatGPT, o Claude e aplicativos personalizados que você está desenvolvendo. O servidor MCP remoto do Serviço Gerenciado para Apache Spark permite realizar operações baseadas em cluster, como criar um cluster, enviar um job, ou criar uma política de escalonamento automático no aplicativo de IA O servidor MCP remoto do Serviço Gerenciado para Apache Spark é ativado quando você ativa a API Managed Service for Apache Spark.

O Protocolo de Contexto de Modelo (MCP) padroniza como modelos de linguagem grandes (LLMs) e aplicativos ou agentes de IA se conectam a fontes de dados externas. Os servidores MCP permitem usar as ferramentas, os recursos e os comandos deles para realizar ações e receber dados atualizados do serviço de back-end.

Qual é a diferença entre servidores MCP locais e remotos?

Servidores MCP locais
Normalmente são executados na máquina local e usam os fluxos de entrada e saída padrão (stdio) para comunicação entre serviços no mesmo dispositivo.
Servidores MCP remotos
São executados na infraestrutura do serviço e oferecem um endpoint HTTP para aplicativos de IA para comunicação entre o cliente MCP de IA e o servidor MCP. Para mais informações sobre a arquitetura do MCP, consulte Arquitetura do MCP.

Para informações sobre o servidor MCP local do Serviço Gerenciado para Apache Spark, consulte Uma introdução à MCP Toolbox para bancos de dados.

Servidores MCP do Google e Google Cloud remotos

Os servidores MCP do Google e Google Cloud remotos têm os seguintes recursos e benefícios:

  • Descoberta simplificada e centralizada
  • Endpoints HTTP globais ou regionais gerenciados
  • Autorização detalhada
  • Segurança opcional de comandos e respostas com a proteção do Model Armor
  • Geração de registros de auditoria centralizada

Para informações sobre outros servidores MCP e sobre os controles de segurança e governança disponíveis para servidores MCP do Google Cloud, consulte Visão geral dos servidores MCP do Google Cloud.

Antes de começar

  1. Faça login na sua Google Cloud conta do. Se você não conhece o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em cenários reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that you have the permissions required to complete this guide.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Managed Service for Apache Spark, Cloud Storage, and BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. Verify that you have the permissions required to complete this guide.

  8. Verify that billing is enabled for your Google Cloud project.

  9. Enable the Managed Service for Apache Spark, Cloud Storage, and BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    10.

Funções exigidas

Algumas funções do IAM são necessárias para executar os exemplos nesta página. Dependendo das políticas da organização, essas funções já podem ter sido concedidas. Para verificar as concessões de funções, consulte Você precisa conceder funções?.

Para mais informações sobre a concessão de funções, consulte Gerenciar o acesso a projetos, pastas e organizações.

Papéis do usuário

Para receber as permissões necessárias para usar o Serviço Gerenciado para Apache Spark, peça ao administrador para conceder a você as seguintes funções do IAM:

Para receber as permissões necessárias para usar o servidor MCP do Serviço Gerenciado para Apache Spark, peça ao administrador para conceder a você as seguintes funções do IAM no projeto:

Essas funções predefinidas contêm as permissões necessárias para usar o servidor MCP do Serviço Gerenciado para Apache Spark. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para usar o servidor MCP do Serviço Gerenciado para Apache Spark:

  • Fazer chamadas de ferramentas do MCP: mcp.tools.call

Papel de conta de serviço

Para garantir que a conta de serviço padrão do Compute Engine tenha as permissões necessárias para criar clusters e enviar jobs, peça ao administrador para conceder a função do IAM de Worker do Dataproc (roles/dataproc.worker) à conta de serviço padrão do Compute Engine no projeto.

Essa função predefinida contém as permissões necessárias para criar clusters e enviar jobs. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para criar clusters e enviar jobs:

  • Fazer chamadas de ferramentas do MCP: mcp.tools.call

Autenticação e autorização

O servidor MCP remoto do Serviço Gerenciado para Apache Spark usa o protocolo OAuth 2.0 com o Identity and Access Management (IAM) para autenticação e autorização. Todas as Google Cloud identidades são compatíveis com a autenticação em servidores MCP.

O servidor MCP remoto do Serviço Gerenciado para Apache Spark não aceita chaves de API.

Recomendamos que você crie uma identidade separada para agentes que usam ferramentas do MCP para que o acesso aos recursos possa ser controlado e monitorado. Para mais informações sobre autenticação, consulte Autenticar em servidores MCP.

Escopos OAuth do MCP do Serviço Gerenciado para Apache Spark

O OAuth 2.0 usa escopos e credenciais para determinar se um principal autenticado está autorizado a realizar uma ação específica em um recurso. Para mais informações sobre os escopos do OAuth 2.0 no Google, leia Como usar o OAuth 2.0 para acessar as APIs do Google.

O Serviço Gerenciado para Apache Spark tem os seguintes escopos OAuth de ferramentas do MCP:

URI de escopo para a CLI gcloud Descrição
https://www.googleapis.com/auth/dataproc Visualizar e gerenciar seus dados no Serviço Gerenciado para Apache Spark e conferir o endereço de e-mail da sua Conta do Google

Outros escopos podem ser necessários nos recursos acessados durante uma chamada de ferramenta. Para conferir uma lista de escopos necessários para o Serviço Gerenciado para Apache Spark, consulte API do Serviço Gerenciado para Apache Spark.

Configurar um cliente MCP para usar o servidor MCP do Serviço Gerenciado para Apache Spark

Aplicativos e agentes de IA, como Claude ou Antigravity, podem instanciar um cliente MCP que se conecta a um único servidor MCP. Um aplicativo de IA pode ter vários clientes que se conectam a diferentes servidores MCP. Se o aplicativo não estiver listado nas orientações específicas do cliente, use as informações a seguir para se conectar na maioria dos aplicativos.

No aplicativo de IA, procure uma maneira de adicionar ou se conectar a um servidor MCP remoto. Para o servidor MCP do Serviço Gerenciado para Apache Spark, insira o seguinte, conforme necessário:

  • Nome do servidor: servidor MCP do Serviço Gerenciado para Apache Spark
  • URL do servidor ou endpoint: https://dataproc-us-central1.googleapis.com/mcp
  • Transporte: HTTP
  • Detalhes de autenticação: dependendo de como você quer se autenticar, é possível inserir suas Google Cloud credenciais, o ID do cliente OAuth e a chave secreta ou uma identidade e credenciais do agente. Para mais informações sobre autenticação, consulte Autenticar em servidores MCP.
  • Escopo OAuth: o escopo OAuth 2.0 que você quer usar ao se conectar ao servidor MCP do Serviço Gerenciado para Apache Spark. Para mais informações, consulte Escopos OAuth do MCP do Serviço Gerenciado para Apache Spark. ### URIs de redirecionamento

Para aplicativos da Web e alguns aplicativos para computador, é necessário permitir uma URI de redirecionamento ao criar um ID do cliente e uma chave secreta para autenticação. As URIs de redirecionamento são usadas pelo servidor de autorização para enviar tokens ao aplicativo. A documentação do aplicativo precisa especificar a URI de redirecionamento que você precisa usar. URIs de redirecionamento personalizadas não são compatíveis.

Para orientações específicas do aplicativo sobre como configurar e se conectar ao servidor MCP, consulte Orientações específicas do cliente.

Para orientações mais gerais, consulte os seguintes recursos:

Ferramentas disponíveis

As ferramentas MCP somente leitura têm o atributo mcp.tool.isReadOnly definido como true. Talvez você queira permitir apenas ferramentas somente leitura em determinados ambientes usando a política da organização.

Para conferir detalhes das ferramentas MCP disponíveis e as descrições delas para o servidor MCP do Serviço Gerenciado para Apache Spark, consulte a referência do MCP do Serviço Gerenciado para Apache Spark.

Listar ferramentas

Use o inspetor do MCP para listar ferramentas ou envie uma tools/list solicitação HTTP diretamente para o Serviço Gerenciado para Apache Spark servidor MCP remoto. O método tools/list não exige autenticação.

POST /mcp HTTP/1.1
Host: dataproc.googleapis.com
Content-Type: application/json

{
  "jsonrpc": "2.0",
  "method": "tools/list",
}

Exemplos de casos de uso

A seguir, apresentamos exemplos de casos de uso do servidor MCP do Serviço Gerenciado para Apache Spark:

  • "Liste os clusters do Serviço Gerenciado para Apache Spark em PROJECT_ID e REGION."
  • "Receba o status mais recente do cluster CLUSTER_NAME em PROJECT_ID e REGION."
  • "Exclua CLUSTER_NAME em PROJECT_ID e REGION e faça uma pesquisa até a conclusão. Informe erros se a operação falhar."

Substitua:

Configurações opcionais de segurança

O MCP introduz novos riscos e considerações de segurança devido à grande variedade de ações que podem ser realizadas com as ferramentas do MCP. Para minimizar e gerenciar esses riscos, Google Cloud o oferece configurações padrão e políticas personalizáveis para controlar o uso de ferramentas do MCP na sua Google Cloud organização ou projeto.

Para mais informações sobre segurança e governança do MCP, consulte Segurança e proteção da IA.

Usar o Model Armor

O Model Armor é um Google Cloud serviço projetado para aprimorar a segurança e a segurança dos seus aplicativos de IA. Ele funciona verificando de maneira proativa os comandos e respostas de LLMs, protegendo contra vários riscos e oferecendo suporte a práticas de IA responsável. Seja no ambiente de nuvem ou em provedores de nuvem externos, o Model Armor ajuda a evitar entradas maliciosas, verificar a segurança do conteúdo, proteger dados sensíveis, manter a conformidade e aplicar suas políticas de segurança de IA de maneira consistente em todo o cenário de IA.

Quando o Model Armor está ativado com a geração de registros ativada, ele registra todo o payload. Isso pode expor informações sensíveis nos registros.

Ativar o Model Armor

É necessário ativar as APIs do Model Armor antes de usar o Model Armor.

Console

  1. Ative a API Model Armor.

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter a permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pela função Proprietário (roles/owner). Caso contrário, você pode receber essa permissão pela função Administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder funções.

    Ativar a API

  2. Selecione o projeto em que você quer ativar o Model Armor.

gcloud

Antes de começar, siga estas etapas usando a Google Cloud CLI com a API Model Armor:

  1. No Google Cloud console, ative o Cloud Shell.

    Ativar o Cloud Shell

    Na parte de baixo do Google Cloud console, uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a Google Cloud CLI já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.

  2. Execute o comando a seguir para definir o endpoint de API para o serviço Model Armor.

    gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

    Substitua LOCATION pela região em que você quer usar o Model Armor.

Configurar a proteção para servidores MCP do Google e Google Cloud remotos

Para ajudar a proteger as chamadas e respostas de ferramentas do MCP, use as configurações mínimas do Model Armor. Uma configuração mínima define os filtros de segurança mínimos que se aplicam ao projeto. Essa configuração aplica um conjunto consistente de filtros a todas as chamadas e respostas de ferramentas do MCP no projeto.

Configure uma configuração mínima do Model Armor com a higienização do MCP ativada. Para mais informações, consulte Configurar as configurações mínimas do Model Armor.

Consulte o comando de exemplo a seguir:

gcloud model-armor floorsettings update \
--full-uri='projects/PROJECT_ID/locations/global/floorSetting' \
--enable-floor-setting-enforcement=TRUE \
--add-integrated-services=GOOGLE_MCP_SERVER \
--google-mcp-server-enforcement-type=INSPECT_AND_BLOCK \
--enable-google-mcp-server-cloud-logging \
--malicious-uri-filter-settings-enforcement=ENABLED \
--add-rai-settings-filters='[{"confidenceLevel": "MEDIUM_AND_ABOVE", "filterType": "DANGEROUS"}]'

Substitua PROJECT_ID pelo ID do Google Cloud projeto.

Observe as seguintes configurações:

  • INSPECT_AND_BLOCK: o tipo de aplicação que inspeciona o conteúdo do servidor MCP do Google e bloqueia comandos e respostas que correspondem aos filtros.
  • ENABLED: a configuração que ativa um filtro ou aplicação.
  • MEDIUM_AND_ABOVE: o nível de confiança para as configurações de filtro da IA responsável - Perigoso. É possível modificar essa configuração, embora valores mais baixos possam resultar em mais falsos positivos. Para mais informações, consulte Níveis de confiança do Model Armor.

Desativar a verificação do tráfego do MCP com o Model Armor

Para impedir que o Model Armor verifique automaticamente o tráfego de e para servidores MCP do Google com base nas configurações mínimas do projeto, execute o seguinte comando:

gcloud model-armor floorsettings update \
  --full-uri='projects/PROJECT_ID/locations/global/floorSetting' \
  --remove-integrated-services=GOOGLE_MCP_SERVER

Substitua PROJECT_ID pelo Google Cloud ID do projeto. O Model Armor não aplica automaticamente as regras definidas nas configurações mínimas desse projeto a nenhum tráfego do servidor MCP do Google.

As configurações mínimas do Model Armor e a configuração geral podem afetar mais do que apenas o MCP. Como o Model Armor é integrado a serviços como a Vertex AI, as mudanças feitas nas configurações mínimas podem afetar a verificação de tráfego e os comportamentos de segurança em todos os serviços integrados, não apenas no MCP.

Controlar o uso do MCP com políticas de negação do IAM

As políticas de negação do Identity and Access Management (IAM) ajudam a proteger Google Cloud servidores MCP remotos. Configure essas políticas para bloquear o acesso indesejado a ferramentas do MCP.

Por exemplo, é possível negar ou permitir o acesso com base em:

  • O principal
  • Propriedades da ferramenta, como somente leitura
  • O ID do cliente OAuth do aplicativo

Para mais informações, consulte Controlar o uso do MCP com o Identity and Access Management.

A seguir