Integración de Model Armor con los servicios de Google Cloud

Model Armor se integra en varios servicios de Google Cloud :

• Google Kubernetes Engine (GKE) y extensiones de servicio
• Vertex AI
• Gemini Enterprise

GKE y Service Extensions

Model Armor se puede integrar en GKE a través de Service Extensions. Las extensiones de servicio te permiten integrar servicios internos (servicios deGoogle Cloud ) o externos (administrados por el usuario) para procesar el tráfico. Puedes configurar una extensión de servicio en los balanceadores de cargas de aplicaciones, incluidas las puertas de enlace de inferencia de GKE, para filtrar el tráfico hacia y desde un clúster de GKE. Esto verifica que Model Armor proteja todas las interacciones con los modelos de IA. Para obtener más información, consulta Integración con GKE.

Vertex AI

Model Armor se puede integrar directamente en Vertex AI con parámetros de configuración de nivel o plantillas. Esta integración examina las solicitudes y respuestas del modelo de Gemini, y bloquea las que incumplen la configuración de límites. Esta integración proporciona protección de instrucciones y respuestas dentro de la API de Gemini en Vertex AI para el método generateContent. Debes habilitar Cloud Logging para obtener visibilidad de los resultados de la sanitización de las instrucciones y las respuestas. Para obtener más información, consulta Integración con Vertex AI.

Gemini Enterprise

Model Armor se puede integrar directamente en Gemini Enterprise con plantillas. Gemini Enterprise enruta las interacciones entre los usuarios y los agentes, y los LLM subyacentes a través de Model Armor. Esto significa que Model Armor inspecciona las instrucciones de los usuarios o agentes, y las respuestas generadas por los LLMs, antes de presentárselas al usuario. Para obtener más información, consulta Integración con Gemini Enterprise.

Nota: La cuota predeterminada para la API de Model Armor es de 1,200 consultas por minuto (QPM). Si el servicio con el que realizas la integración recibe mucho tráfico, es posible que excedas la cuota predeterminada de Model Armor, lo que podría provocar que se limite la cantidad de solicitudes o que estas fallen. Para evitar esto, asegúrate de que tu cuota de Model Armor sea suficiente. Puedes aumentar esta cuota en la Google Cloud consola y configurar alertas cuando alcances los límites de cuota.

Antes de comenzar

Habilita las APIs

Debes habilitar las APIs de Model Armor para poder usar Model Armor.

Console

1. Enable the Model Armor API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Selecciona el proyecto en el que deseas activar Model Armor.

gcloud

Antes de comenzar, sigue estos pasos con Google Cloud CLI y la API de Model Armor:

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Ejecuta el siguiente comando para configurar el extremo de API del servicio Model Armor.

   gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

   Reemplaza LOCATION por la región en la que deseas usar Model Armor.

Ejecuta el siguiente comando para habilitar Model Armor.

  gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
   

Reemplaza PROJECT_ID por el ID del proyecto.

Opciones para integrar Model Armor

Model Armor ofrece las siguientes opciones de integración. Cada opción proporciona diferentes funciones y capacidades.

Opción de integración	Detector o aplicador de políticas	Configura las detecciones	Solo inspección	Inspeccionar y bloquear	Cobertura de modelos y de la nube
API de REST	Detector	Solo se usan plantillas.	Sí	Sí	Todos los modelos y todas las nubes
Vertex AI	Aplicación intercalada	Usar la configuración de límites o las plantillas	Sí	Sí	Gemini (sin transmisión) en Google Cloud
Google Kubernetes Engine	Aplicación intercalada	Solo se usan plantillas.	Sí	Sí	Modelos con formato de OpenAI en Google Cloud
Gemini Enterprise	Aplicación intercalada	Solo se usan plantillas	Sí	Sí	Todos los modelos y todas las nubes

En el caso de la opción de integración de la API de REST, Model Armor solo funciona como detector con plantillas. Esto significa que identifica y denuncia posibles incumplimientos de políticas según plantillas predefinidas, en lugar de prevenirlos de forma activa. Cuando se integra con la API de Model Armor, tu aplicación puede usar su resultado para bloquear o permitir acciones según los resultados de la evaluación de seguridad proporcionados. La API de Model Armor devuelve información sobre posibles amenazas o incumplimientos de políticas relacionados con el tráfico de tu API, especialmente en el caso de las interacciones con IA o LLM. Tu aplicación puede llamar a la API de Model Armor y usar la información que recibe en la respuesta para tomar una decisión y realizar una acción según tu lógica personalizada predefinida.

Con la opción de integración de Vertex AI, Model Armor proporciona la aplicación intercalada con la configuración o las plantillas de límite inferior. Esto significa que Model Armor aplica políticas de forma activa interviniendo directamente en el proceso sin necesidad de modificar el código de tu aplicación.

Las integraciones de GKE y Gemini Enterprise solo usan plantillas para la aplicación de políticas intercaladas. Esto significa que Model Armor puede aplicar políticas directamente sin que tengas que modificar el código de la aplicación, tanto dentro de la puerta de enlace de inferencia de GKE como durante las interacciones del usuario o del agente dentro de las instancias de Gemini Enterprise.

La integración de Model Armor y Gemini Enterprise solo limpia la instrucción inicial del usuario y la respuesta final del agente o del modelo. Esta integración no abarca los pasos intermedios que ocurren entre la instrucción inicial del usuario y la generación de la respuesta final.

Model Armor en Security Command Center

Model Armor inspecciona las instrucciones y respuestas de los LLM en busca de diversas amenazas, como inyección de instrucciones, intentos de jailbreaking, URLs maliciosas y contenido dañino. Cuando Model Armor detecta un incumplimiento de un parámetro de configuración de nivel mínimo, bloquea la instrucción o la respuesta y envía un resultado a Security Command Center. Para obtener más información, consulta Resultados de Model Armor.

Enviar comentarios