O Model Armor examina os comandos e as respostas dos seus aplicativos de IA. O painel de monitoramento fornece os dados, as métricas e as visualizações geradas nesse processo de triagem. Use esses insights para entender como o Model Armor protege seus aplicativos de IA e identifica tentativas de injeção de comandos ou outras atividades maliciosas.
Antes de começar
Papel necessário
Para receber as permissões necessárias
para acessar o painel de monitoramento,
peça ao administrador para conceder a você o
papel Leitor do Monitoring (roles/monitoring.viewer)
do IAM no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esse papel predefinido contém as permissões necessárias para acessar o painel de monitoramento. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para acessar o painel de monitoramento:
-
monitoring.monitoredResourceDescriptors.list -
monitoring.metricDescriptors.list
Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.
Acessar o painel de monitoramento
No console do Google Cloud , acesse a página Model Armor.
Verifique se você está visualizando o projeto em que ativou o Model Armor.
Acesse a guia Monitoramento.
Monitorar o uso e a performance do Model Armor
Para monitorar o uso e o desempenho do Model Armor em detalhes, use os tipos de métricas específicos disponíveis no Cloud Monitoring. Os seguintes tipos de métricas estão disponíveis:
modelarmor.googleapis.com/template/request_count: contagem de solicitações da API Sanitizemodelarmor.googleapis.com/template/pi_jb_request_count: contagem de filtros de injeção de comando e jailbreakmodelarmor.googleapis.com/template/rai_request_count: contagem de filtros de IA responsávelmodelarmor.googleapis.com/template/sdp_request_count: contagem de filtros da Proteção de dados sensíveismodelarmor.googleapis.com/template/malicious_uri_request_count: contagem de filtros de URI maliciososmodelarmor.googleapis.com/template/used_token_count: contagem de tokens usados
Para mais informações, consulte Tipos de métricas do Model Armor.
Ver o número de interações sinalizadas ou bloqueadas
No painel de monitoramento, confira o número de interações, incluindo as sinalizadas e bloqueadas. O painel de monitoramento mostra as seguintes métricas:
- Total de interações: o número total de comandos e respostas analisados pelo Model Armor.
- Interações sinalizadas: o número de interações que violaram uma política configurada no modelo ou nas configurações mínimas do Model Armor.
- Interações bloqueadas: o número de interações bloqueadas se você configurou o Model Armor no modo
INSPECT_AND_BLOCK. Essas interações bloqueadas violaram as configurações mínimas ou os modelos.
Monitorar violações de segurança de conteúdo
No gráfico Violações ao longo do tempo, monitore o número de violações detectadas ao longo do tempo.
As violações detectadas são categorizadas nas seguintes áreas:
- Todos os detectores: o número total de violações detectadas por todos os detectores, incluindo injeções de comando e jailbreaks, URLs maliciosos, IA responsável e dados sensíveis.
- IA responsável: violações de conteúdo detectadas por filtros de segurança, como assédio e discurso de ódio. Para uma lista completa de categorias de IA responsável, consulte o filtro de segurança de IA responsável.
- Dados sensíveis: violações de conteúdo que envolvem a presença de tipos de informações sensíveis ou tipos de informações personalizadas que você define. Para mais informações, consulte Proteção de Dados Sensíveis.
Para mais informações sobre esses detectores, consulte Filtros do Model Armor.
Aplicar filtros às visualizações
Quando você aplica esses filtros no painel de monitoramento, todas as visualizações são filtradas com base nos critérios selecionados.
- Modelos/Configurações mínimas: filtre as visualizações com base no modelo ou nas configurações mínimas associados.
- Pontos de integração: filtre visualizações com base nas integrações do Model Armor.
- Locais: filtre visualizações com base em onde uma interação foi processada.
- Tipos de entrada: filtre as visualizações com base no tipo de entrada avaliada: comando ou resposta.
Inspecionar registros relacionados
Para analisar as entradas de registro relacionadas aos dados no painel de monitoramento, ative a geração de registros nos seus modelos e configurações mínimas. Você precisa ter os papéis do IAM necessários para ver os registros.
Para inspecionar os registros do período selecionado, no painel de monitoramento, clique em Mais opções de gráfico > Inspecionar registros relacionados.
Fazer o download dos dados de violações em um arquivo PNG ou CSV
Para fazer o download dos dados de violações em um arquivo PNG ou CSV, siga estas etapas:
- Na visualização Violações ao longo do tempo no painel de monitoramento, selecione o período para o qual você quer baixar os dados.
- Clique em Mais opções de gráfico > Fazer o download.
- Clique em Fazer o download como PNG ou Fazer o download como CSV para baixar os dados no formato de sua preferência.
A seguir
- Saiba mais sobre a geração de registros de auditoria do Model Armor.
- Configurar a geração de registros para o Model Armor
- Resolver problemas do Model Armor.