Monitorar a segurança do conteúdo

Prévia : insights do Model Armor

Este recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Este documento descreve como visualizar insights de segurança de conteúdo do Model Armor para agentes de IA compatíveis.

O Model Armor examina as solicitações e respostas em busca de riscos de segurança, como ataques indiretos de injeção de comando, vazamento de dados sensíveis e geração ou veiculação de conteúdo prejudicial. Para mais informações, consulte Model Armor.

É possível conferir os resultados das operações do Model Armor nos seguintes níveis:

• Visualização de nível superior: insights para todos os agentes de IA compatíveis no projeto
• Visualização no nível do agente: insights para um único agente de IA

Antes de começar

Faça login nasua Google Cloud conta. Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. Configure o Model Armor em um ou mais gateways no seu projeto.
2. Para monitorar agentes que se comunicam com um Google Cloud servidor MCP, configure o Model Armor com servidores MCP.
3. Configure o rastreamento do seu agente.

Papel necessário

Para ter as permissões necessárias para monitorar violações de segurança de conteúdo, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

• Acessador de visualização de observabilidade (roles/observability.viewAccessor)
• Usuário da Análise de observabilidade (roles/observability.analyticsUser)
• Visualizador de registros (roles/logging.viewer)
• Acessador de visualização de registros (roles/logging.viewAccessor)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para monitorar violações de segurança de conteúdo. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para monitorar violações de segurança de conteúdo:

• monitoring.monitoredResourceDescriptors.list
• monitoring.metricDescriptors.list

Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.

Agentes compatíveis

A guia Segurança é preenchida com insights do Model Armor apenas para os seguintes agentes:

• Agentes implantados no Agent Runtime e regidos por um gateway em que o Model Armor está configurado.
• Agentes implantados no Agent Runtime e que se comunicam com um Google Cloud servidor MCP.
• Agentes implantados no Agent Runtime em um projeto em que as configurações mínimas do Model Armor estão configuradas.

Conferir insights de conteúdo para agentes de IA compatíveis em um projeto (visualização de nível superior)

Para conferir os insights de segurança de conteúdo de todos os agentes de IA compatíveis em um projeto, siga estas etapas:

1. No Google Cloud console, acesse a guia Segurança da Gemini Enterprise Agent Platform.

   Acessar a Segurança.

2. Selecione o projeto.

Se você não encontrar insights de segurança de conteúdo na guia Segurança e tiver agentes de IA compatíveis no projeto, verifique se você configurou o rastreamento dos agentes.

Conferir insights de conteúdo para um agente de IA (visualização no nível do agente)

Para conferir os insights de segurança de conteúdo de agentes compatíveis, siga estas etapas:

1. No Google Cloud console, acesse o Agent Registry.

   Acessar o Registro de agentes

2. Selecione o projeto.
3. Clique no nome do agente.
4. Clique na guia Segurança.

Conferir o número de interações sinalizadas ou bloqueadas

Acesse a guia de nível superior ou de nível de agente Segurança.

Na guia Segurança, confira o número de interações, incluindo as sinalizadas e bloqueadas. A guia Segurança mostra as seguintes métricas:

• Total de interações: o número total de comandos e respostas analisados pelo Model Armor.
• Interações sinalizadas: o número de interações que violaram uma política configurada no modelo do Model Armor ou nas configurações mínimas.
• Interações bloqueadas: o número de interações bloqueadas se você configurou o Model Armor no INSPECT_AND_BLOCK modo. Essas interações bloqueadas violaram as configurações mínimas ou os modelos.

Observação: Quando o Model Armor está configurado no INSPECT_ONLY modo, as violações são registradas, mas as solicitações são encaminhadas ao modelo. Nesse modo, é possível verificar quais ações o Model Armor pode realizar e como as solicitações não são bloqueadas, também é possível verificar se o modelo recusou a solicitação de forma independente. Verifique os registros SanitizeOperationLogEntry no Cloud Logging e não apenas o corpo da resposta.

Monitorar violações de segurança de conteúdo

Acesse a guia de nível superior ou de nível de agente Segurança.

No gráfico Violações ao longo do tempo, monitore o número de violações detectadas ao longo do tempo.

As violações detectadas são categorizadas nas seguintes áreas:

• Injeções de comando e jailbreaks: violações de conteúdo que indicam a presença de comandos que contêm comandos mal-intencionados ou tentativas de jailbreak. Para mais informações, consulte Detecção de injeção de comando e jailbreak.
• URL mal-intencionada: violações de conteúdo que indicam a presença de URLs mal-intencionadas. Para mais informações, consulte Detecção de URL mal-intencionada.
• IA responsável: violações de conteúdo detectadas por filtros de segurança, como assédio e discurso de ódio. Para uma lista completa de categorias de IA responsável, consulte Filtro de segurança de IA responsável.
• Dados sensíveis: violações de conteúdo que envolvem a presença de tipos de informações sensíveis ou tipos de informações personalizados definidos por você. Para mais informações, consulte Proteção de dados sensíveis.
  Observação: as contagens de violações de conteúdo de dados sensíveis são incluídas na contagem total de violações, mas não são mostradas em uma categoria separada.

Para mais informações sobre esses detectores, consulte Filtros do Model Armor.

Identificar os agentes com mais violações

Acesse a guia de nível superior Segurança.

A guia Segurança mostra os 10 principais agentes com mais violações. A lista mostra o ID de cada agente e o número de violações detectadas para ele.

Para conferir os insights do Model Armor de um agente específico na lista, acesse o Agent Registry para pesquisar o agente pelo ID. Em seguida, acesse a guia no nível do agente Segurança.

Acessar o Registro de agentes

Consultar e analisar dados de telemetria usando SQL

Para consultar e analisar dados de telemetria do Model Armor, use a Análise de observabilidade, que fornece uma interface de consulta baseada em SQL.

1. Acesse a guia de nível superior Segurança.
2. Para a visualização que você quer consultar, clique em Mais opções de gráfico > Explorar na Análise de observabilidade.

Para instruções gerais sobre como usar a Análise de observabilidade, consulte Consultar e analisar telemetria com a Análise de observabilidade.

Fazer o download de dados de violações em um arquivo PNG ou CSV

Para fazer o download de dados de violações em um arquivo PNG ou CSV, siga estas etapas:

1. Na visualização Violações ao longo do tempo na guia Segurança, selecione o período para o qual você quer fazer o download dos dados.
2. Clique em Mais opções de gráfico > Fazer o download.
3. Clique em Fazer o download do PNG ou Fazer o download do CSV para baixar os dados no formato preferido.

Conferir entradas de registro de segurança não estruturadas na Análise de registros

Para consultar entradas de registro de segurança de texto bruto na Análise de registros, use o logName campo para pesquisar resultados de conteúdo de higienização do Model Armor resultados.

Para consultar esses registros, siga estas etapas:

1. No Google Cloud console do, acesse a página Análise de registros.

   Acessar Análise de registros

2. Clique no botão Mostrar consulta.

3. Cole o código abaixo no campo "Consulta":

   logName="projects/PROJECT_ID/logs/modelarmor.googleapis.com%2Fsanitize_operations"
   

   Substitua PROJECT_ID pelo ID do Google Cloud projeto.

4. Clique em Executar consulta.

Para mais informações sobre como os filtros de registro e as janelas de atualização podem afetar seus resultados, consulte o aviso de atualização de registro na página de monitoramento do gateway.

A seguir

Guia

Geração de registros de auditoria do Model Armor

Saiba mais sobre a geração de registros de auditoria do Model Armor.

Guia

Configurar a geração de registros do Model Armor

Saiba como configurar a geração de registros do Model Armor.

Solução de problemas

Resolver problemas do Model Armor

Saiba como resolver problemas com o Model Armor.