Integração do Model Armor com os serviços do Google Cloud

O Model Armor se integra a vários serviços do Google Cloud :

• Google Kubernetes Engine (GKE) e extensões de serviço
• Vertex AI
• Google Agentspace

GKE e extensões de serviço

O Model Armor pode ser integrado ao GKE usando extensões de serviço. Com as extensões de serviço, é possível integrar serviços internos (Google Cloud ) ou externos (gerenciados pelo usuário) para processar o tráfego. É possível configurar uma extensão de serviço em balanceadores de carga de aplicativo, incluindo gateways de inferência do GKE, para filtrar o tráfego de e para um cluster do GKE. Isso verifica se todas as interações com os modelos de IA estão protegidas pelo Model Armor. Para mais informações, consulte Integração com o GKE.

Vertex AI

Pré-lançamento

Este recurso está sujeitos aos "Termos das Soluções Pré-GA" na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis no estado em que se encontram e podem ter suporte limitado. Para mais informações, consulte as descrições das fases de lançamento.

O Model Armor pode ser integrado diretamente à Vertex AI usando configurações de limite mínimo ou modelos. Essa integração examina as solicitações e respostas do modelo do Gemini, bloqueando aquelas que violam as configurações mínimas. Essa integração oferece proteção de comandos e respostas na API Gemini na Vertex AI para o método generateContent. É necessário ativar o Cloud Logging para ter visibilidade nos resultados da sanitização de comandos e respostas. Para mais informações, consulte Integração com a Vertex AI.

Google Agentspace

O Model Armor pode ser integrado diretamente ao Google Agentspace usando modelos. O Google Agentspace encaminha as interações entre usuários e agentes e os LLMs subjacentes pelo Model Armor. Isso significa que os comandos dos usuários ou agentes e as respostas geradas pelos LLMs são inspecionados pelo Model Armor antes de serem apresentados ao usuário. Para mais informações, consulte Integração com o Google Agentspace.

Antes de começar

Ativar APIs

É necessário ativar as APIs do Model Armor antes de usar o Model Armor.

Console

1. Enable the Model Armor API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Selecione o projeto em que você quer ativar o Model Armor.

gcloud

Antes de começar, siga estas etapas usando a Google Cloud CLI com a API Model Armor:

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Execute o comando a seguir para definir o endpoint de API do serviço Model Armor.

   gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

   Substitua LOCATION pela região em que você quer usar o Model Armor.

Execute o comando a seguir para ativar o Model Armor.

  gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
   

Substitua PROJECT_ID pelo ID do projeto.

Opções ao integrar o Model Armor

O Model Armor oferece as seguintes opções de integração. Cada opção oferece recursos e capacidades diferentes.

Opção de integração	Aplicador/detector de políticas	Configurar detecções	Somente inspeção	Inspecionar e bloquear	Cobertura de modelos e nuvem
API REST	Detector	Usando apenas modelos	Sim	Sim	Todos os modelos e todas as nuvens
Vertex AI (prévia)	Aplicação inline	Usar configurações mínimas ou modelos	Sim	Sim	Gemini (não streaming) no Google Cloud
Google Kubernetes Engine	Aplicação inline	Usando apenas modelos	Sim	Sim	Modelos com formato da OpenAI em Google Cloud
Google Agentspace	Aplicação inline	Usando apenas modelos	Sim	Sim	Todos os modelos e todas as nuvens

Para a opção de integração da API REST, o Model Armor funciona apenas como um detector usando modelos. Isso significa que ele identifica e informa possíveis violações de política com base em modelos predefinidos, em vez de impedir ativamente que elas aconteçam. Ao fazer a integração com a API Model Armor, seu aplicativo pode usar a saída dela para bloquear ou permitir ações com base nos resultados da avaliação de segurança fornecidos. A API Model Armor retorna informações sobre possíveis ameaças ou violações de política relacionadas ao tráfego da API, especialmente no caso de interações de IA/LLM. Seu aplicativo pode chamar a API Model Armor e usar as informações recebidas na resposta para tomar uma decisão e agir com base na sua lógica personalizada predefinida.

Com a opção de integração da Vertex AI, o Model Armor oferece aplicação inline usando configurações ou modelos de restrição. Isso significa que o Model Armor aplica ativamente as políticas intervindo diretamente no processo sem exigir modificações no código do aplicativo.

Assim como a Vertex AI, as opções de integração do GKE e do Google Agentspace também oferecem aplicação inline apenas usando modelos. Isso significa que o Model Armor pode aplicar políticas diretamente no gateway de inferência e nas interações do usuário ou do agente nas instâncias do Google Agentspace sem exigir modificações no código do aplicativo.

A integração do Model Armor e do Google Agentspace higieniza apenas o comando inicial do usuário e a resposta final do agente ou modelo. As etapas intermediárias que ocorrem entre o comando inicial do usuário e a geração da resposta final não são cobertas por essa integração.

Envie comentários