Monitorar a segurança do conteúdo

Este documento descreve como visualizar insights de segurança de conteúdo do Model Armor para agentes de IA compatíveis.

O Model Armor examina as solicitações e respostas em busca de riscos de segurança, como ataques indiretos de injeção de comandos, vazamento de dados sensíveis e a geração ou veiculação de conteúdo nocivo. Para mais informações, consulte Model Armor.

É possível conferir os resultados das operações do Model Armor nos seguintes níveis:

Antes de começar

  1. Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

  2. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  3. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    4.
  4. Configure o Model Armor em um ou mais gateways no seu projeto.
  5. Para monitorar agentes que se comunicam com um Google Cloud servidor MCP, configure o Model Armor com servidores MCP.
  6. Configure o rastreamento do seu agente.

Papel necessário

Para ter as permissões necessárias para monitorar violações de segurança de conteúdo, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para monitorar violações de segurança de conteúdo. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para monitorar violações de segurança de conteúdo:

  • monitoring.monitoredResourceDescriptors.list
  • monitoring.metricDescriptors.list

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Agentes compatíveis

A guia Segurança é preenchida com insights do Model Armor apenas para os seguintes agentes:

Conferir insights de conteúdo para agentes de IA compatíveis em um projeto (visualização de nível superior)

Para conferir os insights de segurança de conteúdo de todos os agentes de IA compatíveis em um projeto, siga estas etapas:

  1. No Google Cloud console, acesse a guia Segurança da Gemini Enterprise Agent Platform.

    Acessar a Segurança.

  2. Selecione o projeto.

Se você não encontrar insights de segurança de conteúdo na guia Segurança e tiver agentes de IA compatíveis no projeto, verifique se você configurou o rastreamento dos agentes.

Conferir insights de conteúdo para um agente de IA (visualização no nível do agente)

Para conferir os insights de segurança de conteúdo dos agentes compatíveis, siga estas etapas:

  1. No Google Cloud console, acesse o Registro de agentes.

    Acessar o Registro de agentes

  2. Selecione o projeto.
  3. Clique no nome do agente.
  4. Clique na guia Segurança.

Conferir o número de interações sinalizadas ou bloqueadas

Acesse a guia de nível superior ou de nível de agente Segurança.

Na guia Segurança, confira o número de interações, incluindo as sinalizadas e bloqueadas. A guia Segurança mostra as seguintes métricas:

  • Total de interações: o número total de comandos e respostas analisados pelo Model Armor.
  • Interações sinalizadas: o número de interações que violaram uma política configurada no modelo ou nas configurações mínimas do Model Armor.
  • Interações bloqueadas: o número de interações bloqueadas se você configurou o Model Armor no INSPECT_AND_BLOCK modo. Essas interações bloqueadas violaram as configurações mínimas ou os modelos.

Monitorar violações de segurança de conteúdo

Acesse a guia de nível superior ou de nível de agente Segurança.

No gráfico Violações ao longo do tempo, monitore o número de violações detectadas ao longo do tempo.

As violações detectadas são categorizadas nas seguintes áreas:

Para mais informações sobre esses detectores, consulte Filtros do Model Armor.

Identificar os agentes com mais violações

Acesse a guia de nível superior Segurança.

A guia Segurança mostra os 10 principais agentes com mais violações. A lista mostra o ID de cada agente e o número de violações detectadas para ele.

Para conferir os insights do Model Armor de um agente específico na lista, acesse o Registro de agentes para pesquisar o agente pelo ID. Em seguida, acesse a guia no nível do agente Segurança.

Acessar o Registro de agentes

Consultar e analisar dados de telemetria usando SQL

Para consultar e analisar dados de telemetria do Model Armor, use a Análise de observabilidade, que oferece uma interface de consulta baseada em SQL.

  1. Acesse a guia de nível superior Segurança.
  2. Para a visualização que você quer consultar, clique em Mais opções de gráfico > Explorar na Análise de observabilidade.

Para instruções gerais sobre como usar a Análise de observabilidade, consulte Consultar e analisar telemetria com a Análise de observabilidade.

Fazer o download dos dados de violações em um arquivo PNG ou CSV

Para fazer o download dos dados de violações em um arquivo PNG ou CSV, siga estas etapas:

  1. Na visualização Violações ao longo do tempo na guia Segurança, selecione o período para o qual você quer fazer o download dos dados.
  2. Clique em Mais opções de gráfico > Fazer o download.
  3. Clique em Fazer o download do PNG ou Fazer o download do CSV para baixar os dados no formato preferido.

A seguir

Guia

Saiba mais sobre o registro de auditoria do Model Armor.

Guia

Saiba como configurar a geração de registros do Model Armor.

Solução de problemas

Saiba como resolver problemas com o Model Armor.