O Model Armor examina os comandos e as respostas dos seus aplicativos de IA. O painel de monitoramento fornece os dados, as métricas e as visualizações geradas nesse processo de análise. Use esses insights para entender como o Model Armor protege seus aplicativos de IA e identifica tentativas de injeção de comandos ou outras atividades maliciosas.
Antes de começar
Papel necessário
Para receber as permissões necessárias para acessar o painel de monitoramento, peça ao administrador para conceder a você o papel Leitor do Monitoring (roles/monitoring.viewer) do IAM no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esse papel predefinido contém as permissões necessárias para acessar o painel de monitoramento. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para acessar o painel de monitoramento:
-
monitoring.monitoredResourceDescriptors.list -
monitoring.metricDescriptors.list
Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.
Acessar o painel de monitoramento
No Google Cloud console do Cloud, acesse a página Model Armor.
Verifique se você está visualizando o projeto em que ativou Model Armor.
Acesse a guia Monitoramento.
Monitorar o uso e a performance do Model Armor
Para monitorar o uso e a performance do Model Armor em detalhes, use os tipos de métricas específicos disponíveis no Cloud Monitoring. Os seguintes tipos de métricas estão disponíveis:
modelarmor.googleapis.com/template/request_count: contagem de solicitações da SanitizeAPImodelarmor.googleapis.com/template/pi_jb_request_count: contagem de filtros de injeção de comandos e jailbreakmodelarmor.googleapis.com/template/rai_request_count: contagem de filtros de IA responsávelmodelarmor.googleapis.com/template/sdp_request_count: contagem de filtros da Proteção de Dados Sensíveismodelarmor.googleapis.com/template/malicious_uri_request_count: contagem de filtros de URI maliciosomodelarmor.googleapis.com/template/used_token_count: contagem de tokens usados
Para mais informações, consulte Tipos de métricas do Model Armor.
Ver o número de interações sinalizadas ou bloqueadas
No painel de monitoramento, confira o número de interações, incluindo as sinalizadas e bloqueadas. O painel de monitoramento mostra as seguintes métricas:
- Total de interações: o número total de comandos e respostas analisados pelo Model Armor.
- Interações sinalizadas: o número de interações que violaram uma política configurada no modelo ou nas configurações mínimas do Model Armor.
- Interações bloqueadas: o número de interações bloqueadas se você
configurou o Model Armor no
INSPECT_AND_BLOCKmodo. Essas interações bloqueadas violaram as configurações mínimas ou os modelos.
Monitorar violações de segurança de conteúdo
No gráfico Violações ao longo do tempo, monitore o número de violações detectadas ao longo do tempo.
As violações detectadas são categorizadas nas seguintes áreas:
- Injeções de comandos e jailbreaks: violações de conteúdo que indicam a presença de comandos que contêm comandos maliciosos ou tentativas de jailbreak. Para mais informações, consulte Detecção de jailbreak e injeção de comando.
- URL maliciosa: violações de conteúdo que indicam a presença de URLs maliciosas. Para mais informações, consulte Detecção de URL malicioso.
- IA responsável: violações de conteúdo detectadas por filtros de segurança, como assédio e discurso de ódio. Para uma lista completa de categorias de IA responsável, consulte Filtro de segurança de IA responsável.
- Dados sensíveis: violações de conteúdo que envolvem a presença de tipos de informações sensíveis ou tipos de informações personalizados definidos por você. Para mais informações, consulte Proteção de Dados Sensíveis.
Para mais informações sobre esses detectores, consulte Filtros do Model Armor.
Aplicar filtros às visualizações
Quando você aplica esses filtros no painel de monitoramento, todas as visualizações são filtradas com base nos critérios selecionados:
- Modelos/Configurações mínimas: filtre as visualizações com base no modelo ou nas configurações mínimas associadas.
- Pontos de integração: filtre as visualizações com base nas integrações do Model Armor.
- Locais: filtre as visualizações com base no local em que uma interação foi processada.
- Tipos de entrada: filtre as visualizações com base no tipo de entrada avaliada: comando ou resposta.
Inspecionar registros relacionados
Para explorar as entradas de registro relacionadas aos dados no painel de monitoramento, ative a geração de registros nos modelos ou configurações mínimas. Você precisa ter os papéis necessários do IAM para visualizar os registros.
Para inspecionar os registros do período selecionado, no painel de monitoramento, clique em Mais opções de gráfico > Inspecionar registros relacionados.
Fazer o download dos dados de violações em um arquivo PNG ou CSV
Para fazer o download dos dados de violações em um arquivo PNG ou CSV, siga estas etapas:
- Na visualização Violações ao longo do tempo no painel de monitoramento, selecione o período para o qual você quer fazer o download dos dados.
- Clique em Mais opções de gráfico > Fazer o download.
- Clique em Fazer o download do PNG ou Fazer o download do CSV para baixar os dados no formato preferido.
A seguir
- Saiba mais sobre a geração de registros de auditoria do Model Armor.
- Configurar a geração de registros para o Model Armor
- Resolver problemas do Model Armor.