Integración de Model Armor con los servicios de Google Cloud

Model Armor se integra con varios Google Cloud servicios:

• Google Kubernetes Engine (GKE) y extensiones de servicio
• Vertex AI
• Gemini Enterprise

GKE y Service Extensions

Model Armor se puede integrar con GKE a través de Service Extensions. Las extensiones de servicio te permiten integrar servicios internos (Google Cloud ) o externos (gestionados por el usuario) para procesar el tráfico. Puedes configurar una extensión de servicio en balanceadores de carga de aplicaciones, incluidas las pasarelas de inferencia de GKE, para filtrar el tráfico hacia y desde un clúster de GKE. De esta forma, se verifica que todas las interacciones con los modelos de IA estén protegidas por Model Armor. Para obtener más información, consulta Integración con GKE.

Vertex AI

Model Armor se puede integrar directamente en Vertex AI mediante ajustes de suelo o plantillas. Esta integración analiza las solicitudes y las respuestas del modelo de Gemini, y bloquea las que infringen los ajustes mínimos. Esta integración proporciona protección de peticiones y respuestas en la API de Gemini en Vertex AI para el método generateContent. Debes habilitar Cloud Logging para ver los resultados de la anonimización de las peticiones y las respuestas. Para obtener más información, consulta Integración con Vertex AI.

Gemini Enterprise

Model Armor se puede integrar directamente con Gemini Enterprise mediante plantillas. Gemini Enterprise dirige las interacciones entre los usuarios y los agentes, así como los LLMs subyacentes, a través de Model Armor. Esto significa que Model Armor inspecciona las peticiones de los usuarios o agentes y las respuestas generadas por los LLMs antes de mostrárselas al usuario. Para obtener más información, consulta Integración con Gemini Enterprise.

Nota: La cuota predeterminada de la API Model Armor es de 1200 consultas por minuto (CPM). Si el servicio con el que estás integrando recibe mucho tráfico, es posible que superes la cuota predeterminada de Model Armor, lo que podría provocar que se limite el número de solicitudes o que estas fallen. Para evitarlo, asegúrate de que tu cuota de Model Armor sea suficiente. Puedes aumentar esta cuota en la Google Cloud consola y configurar alertas para cuando alcances los límites de cuota.

Antes de empezar

Habilitar APIs

Para usar Model Armor, primero debes habilitar sus APIs.

Consola

1. Enable the Model Armor API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Selecciona el proyecto en el que quieras activar Model Armor.

gcloud

Antes de empezar, sigue estos pasos con la CLI de Google Cloud y la API Model Armor:

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Ejecuta el siguiente comando para definir el endpoint de la API del servicio Model Armor.

   gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

   Sustituye LOCATION por la región en la que quieras usar Model Armor.

Ejecuta el siguiente comando para habilitar Model Armor.

  gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
   

Sustituye PROJECT_ID con el ID del proyecto.

Opciones al integrar Model Armor

Model Armor ofrece las siguientes opciones de integración. Cada opción ofrece diferentes funciones y capacidades.

Opción de integración	Implementador o detector de políticas	Configurar detecciones	Solo inspeccionar	Inspeccionar y bloquear	Cobertura de modelos y nubes
API REST	Detector	Usando solo plantillas	Sí	Sí	Todos los modelos y todas las nubes
Vertex AI	Aplicación obligatoria insertada	Usar configuraciones de planta o plantillas	Sí	Sí	Gemini (sin streaming) en Google Cloud
Google Kubernetes Engine	Aplicación obligatoria insertada	Usar solo plantillas	Sí	Sí	Modelos con formato de OpenAI Google Cloud
Gemini Enterprise	Aplicación obligatoria insertada	Usar solo plantillas	Sí	Sí	Todos los modelos y todas las nubes

En el caso de la opción de integración de la API REST, Model Armor solo funciona como detector mediante plantillas. Esto significa que identifica y comunica posibles infracciones de las políticas basándose en plantillas predefinidas en lugar de prevenirlas de forma activa. Al integrar la API Model Armor, tu aplicación puede usar su salida para bloquear o permitir acciones en función de los resultados de la evaluación de seguridad proporcionados. La API Model Armor devuelve información sobre posibles amenazas o infracciones de las políticas relacionadas con el tráfico de tu API, especialmente en el caso de las interacciones con IA o LLMs. Tu aplicación puede llamar a la API Model Armor y usar la información recibida en la respuesta para tomar una decisión y llevar a cabo una acción en función de la lógica personalizada predefinida.

Con la opción de integración de Vertex AI, Model Armor ofrece una aplicación en línea mediante ajustes o plantillas de límite inferior. Esto significa que Model Armor aplica las políticas de forma activa interviniendo directamente en el proceso sin necesidad de modificar el código de tu aplicación.

Las integraciones de GKE y Gemini Enterprise solo usan plantillas para aplicar políticas insertadas. Esto significa que Model Armor puede aplicar políticas directamente sin que tengas que modificar el código de la aplicación tanto en la pasarela de inferencia de GKE como durante las interacciones de los usuarios o agentes en las instancias de Gemini Enterprise.

La integración de Model Armor y Gemini Enterprise solo desinfecta la petición inicial del usuario y la respuesta final del agente o del modelo. Esta integración no cubre los pasos intermedios que se producen entre la petición inicial del usuario y la generación de la respuesta final.

Model Armor en Security Command Center

Model Armor inspecciona las peticiones y respuestas de los LLMs para detectar varias amenazas, como la inyección de peticiones, los intentos de jailbreak, las URLs maliciosas y el contenido dañino. Cuando Model Armor detecta una infracción de un ajuste mínimo configurado, bloquea la petición o la respuesta y envía un hallazgo a Security Command Center. Para obtener más información, consulta Resultados de Model Armor.

Enviar comentarios