O Model Armor é um Google Cloud serviço projetado para aumentar a segurança dos seus aplicativos de IA, principalmente aqueles que usam modelos de linguagem grandes (LLMs). Ela inspeciona os comandos enviados aos modelos e as respostas geradas por eles, ajudando a mitigar riscos e aplicar práticas responsáveis de IA.
Configurar modelos
Defina como o Model Armor deve analisar o conteúdo criando e usando modelos do Model Armor. Um modelo é um conjunto de configurações reutilizável em que você especifica quais filtros ativar, os níveis de confiança deles e o tipo de aplicação de cada um. Para mais informações, consulte Criar e gerenciar modelos.
Definir configurações mínimas
Para garantir um nível básico de proteção, os administradores de segurança podem configurar configurações mínimas no nível da organização, da pasta ou do projeto. Essas configurações exigem requisitos mínimos de filtro que todos os modelos do Model Armor criados nesse escopo precisam seguir, ajudando a evitar configurações excessivamente permissivas. Para mais informações, consulte Configurar opções de piso.
Higienizar comandos e respostas
Quando um usuário envia uma solicitação ao seu aplicativo, ele primeiro envia essa solicitação ao Model Armor. O Model Armor processa o comando usando os filtros ativados no modelo e retorna uma resposta indicando se foram encontradas violações da política e resultados detalhados de cada filtro. Em seguida, a lógica do aplicativo decide o que fazer.
Quando um LLM gera uma resposta, antes de mostrá-la ao usuário, seu aplicativo a envia para o Model Armor. O Model Armor examina a saída do LLM usando as configurações de filtro definidas no modelo e retorna os resultados da análise. Em seguida, o aplicativo decide se vai mostrar a resposta ao usuário, possivelmente bloqueando-a se forem encontradas violações.
Para mais informações, consulte Limpar comandos e respostas.