Monitorar a segurança do conteúdo

Prévia — Insights do Model Armor

Este recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Neste documento, descrevemos como ver insights de segurança de conteúdo do Model Armor para agentes de IA compatíveis.

O Model Armor examina solicitações e respostas em busca de riscos de segurança, como ataques indiretos de injeção de comandos, vazamento de dados sensíveis e geração ou veiculação de conteúdo nocivo. Para mais informações, consulte Model Armor.

É possível conferir os resultados das operações do Model Armor nos seguintes níveis:

• Visão geral: insights para todos os agentes de IA compatíveis no projeto
• Visualização no nível do agente: insights para um único agente de IA

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

1. Configure o Model Armor em um ou mais gateways no seu projeto.
2. Para monitorar agentes que se comunicam com um servidor MCP Google Cloud , configure o Model Armor com servidores MCP.
3. Configure o rastreamento para seu agente.

Papel necessário

Para ter as permissões necessárias para monitorar violações de segurança de conteúdo, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

• Acessador de visualização de observabilidade (roles/observability.viewAccessor)
• Usuário da análise de observabilidade (roles/observability.analyticsUser)
• Visualizador de registros (roles/logging.viewer)
• Acessador de exibição de registros (roles/logging.viewAccessor)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para monitorar violações de segurança de conteúdo. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para monitorar violações de segurança de conteúdo:

• monitoring.monitoredResourceDescriptors.list
• monitoring.metricDescriptors.list

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Agentes compatíveis

A guia Segurança é preenchida com insights do Model Armor somente para os seguintes agentes:

• Agentes implantados no Agent Runtime e governados por um gateway em que o Model Armor está configurado.
• Agentes implantados no Agent Runtime e em comunicação com um servidor Google Cloud MCP.
• Agentes implantados no Agent Runtime em um projeto em que as configurações mínimas do Model Armor estão configuradas.

Ver insights de conteúdo para agentes de IA compatíveis em um projeto (visão de nível superior)

Para conferir os insights de segurança de conteúdo de todos os agentes de IA compatíveis em um projeto, siga estas etapas:

1. No console Google Cloud , acesse a guia Segurança da Gemini Enterprise Agent Platform.

   Acessar a Segurança.

2. Selecione o projeto.

Se você não encontrar insights de segurança de conteúdo na guia Segurança e tiver agentes de IA compatíveis no seu projeto, verifique se você configurou o rastreamento para seus agentes.

Conferir insights de conteúdo de um agente de IA (visualização no nível do agente)

Para conferir os insights de segurança de conteúdo dos agentes compatíveis, siga estas etapas:

1. No console Google Cloud , acesse o Agent Registry.

   Acessar o Agent Registry

2. Selecione o projeto.
3. Clique no nome do agente.
4. Clique na guia Segurança.

Ver o número de interações sinalizadas ou bloqueadas

Acesse a guia Segurança no nível agente ou superior.

Na guia Segurança, confira o número de interações, incluindo as sinalizadas e bloqueadas. A guia Segurança mostra as seguintes métricas:

• Total de interações: o número total de comandos e respostas analisados pelo Model Armor.
• Interações sinalizadas: o número de interações que violaram uma política configurada no modelo ou nas configurações mínimas do Model Armor.
• Interações bloqueadas: o número de interações bloqueadas se você configurou o Model Armor no modo INSPECT_AND_BLOCK. Essas interações bloqueadas violaram as configurações mínimas ou os modelos.

Monitorar violações da segurança de conteúdo

Acesse a guia Segurança no nível agente ou superior.

No gráfico Violações ao longo do tempo, monitore o número de violações detectadas ao longo do tempo.

As violações detectadas são categorizadas nas seguintes áreas:

• Injeções de comandos e jailbreaks: violações de conteúdo que indicam a presença de comandos com instruções maliciosas ou tentativas de jailbreak. Para mais informações, consulte Detecção de injeção de comando e jailbreak.
• URL malicioso: violações de conteúdo que indicam a presença de URLs maliciosos. Para mais informações, consulte Detecção de URL malicioso.
• IA responsável: violações de conteúdo detectadas por filtros de segurança, como assédio e discurso de ódio. Para uma lista completa de categorias de IA responsável, consulte o filtro de segurança de IA responsável.
• Dados sensíveis: violações de conteúdo que envolvem a presença de tipos de informações sensíveis ou tipos de informações personalizadas que você define. Para mais informações, consulte Proteção de dados sensíveis.
  Observação:as contagens de violações de conteúdo de dados sensíveis estão incluídas no total, mas não são mostradas em uma categoria separada.

Para mais informações sobre esses detectores, consulte Filtros do Model Armor.

Identificar os agentes com mais violações

Acesse a guia Segurança de nível superior.

A guia Segurança mostra os 10 principais agentes com mais violações. A lista mostra o ID de cada agente e o número de violações detectadas para ele.

Para conferir os insights do Model Armor de um agente específico na lista, acesse o registro de agentes e pesquise o agente pelo ID dele. Em seguida, acesse a guia Segurança no nível do agente.

Acessar o Agent Registry

Consultar e analisar dados de telemetria usando SQL

Para consultar e analisar dados de telemetria do Model Armor, use o Observability Analytics, que oferece uma interface de consulta baseada em SQL.

1. Acesse a guia Segurança de nível superior.
2. Na visualização que você quer consultar, clique em Mais opções de gráfico > Analisar no Observability Analytics.

Para instruções gerais sobre como usar a Análise de observabilidade, consulte Consultar e analisar telemetria com a Análise de observabilidade.

Fazer o download dos dados de violações em um arquivo PNG ou CSV

Para fazer o download dos dados de violações em um arquivo PNG ou CSV, siga estas etapas:

1. Na visualização Violações ao longo do tempo da guia Segurança, selecione o período para o qual você quer baixar os dados.
2. Clique em Mais opções de gráfico > Fazer o download.
3. Clique em Fazer o download como PNG ou Fazer o download como CSV para baixar os dados no formato de sua preferência.

A seguir

Guia

Registro de auditoria do Model Armor

Saiba mais sobre a geração de registros de auditoria do Model Armor.

Guia

Configurar a geração de registros para o Model Armor

Saiba como configurar a geração de registros para o Model Armor.

Solução de problemas

Resolver problemas do Model Armor

Saiba como resolver problemas com o Model Armor.