Intégration de Model Armor aux services Google Cloud

Model Armor s'intègre à différents services Google Cloud  :

• Google Kubernetes Engine (GKE) et extensions de service
• Vertex AI
• Gemini Enterprise

GKE et les extensions de service

Model Armor peut être intégré à GKE via les extensions de service. Les extensions de service vous permettent d'intégrer des services internes (Google Cloud ) ou externes (gérés par l'utilisateur) pour traiter le trafic. Vous pouvez configurer une extension de service sur les équilibreurs de charge d'application, y compris les passerelles d'inférence GKE, pour filtrer le trafic vers et depuis un cluster GKE. Cela permet de vérifier que toutes les interactions avec les modèles d'IA sont protégées par Model Armor. Pour en savoir plus, consultez Intégration à GKE.

Vertex AI

Model Armor peut être directement intégré à Vertex AI à l'aide des paramètres de seuil ou des templates. Cette intégration analyse les requêtes et les réponses du modèle Gemini, et bloque celles qui ne respectent pas les paramètres de plancher. Cette intégration offre une protection des requêtes et des réponses dans l'API Gemini dans Vertex AI pour la méthode generateContent. Vous devez activer Cloud Logging pour obtenir de la visibilité sur les résultats de la désinfection des requêtes et des réponses. Pour en savoir plus, consultez Intégration de Vertex AI.

Gemini Enterprise

Model Armor peut être directement intégré à Gemini Enterprise à l'aide de modèles. Gemini Enterprise achemine les interactions entre les utilisateurs et les agents, ainsi que les LLM sous-jacents, via Model Armor. Cela signifie que les requêtes des utilisateurs ou des agents, ainsi que les réponses générées par les LLM, sont inspectées par Model Armor avant d'être présentées à l'utilisateur. Pour en savoir plus, consultez Intégration à Gemini Enterprise.

Remarque : Le quota par défaut de l'API Model Armor est de 1 200 requêtes par minute (RPM). Si le service avec lequel vous effectuez l'intégration reçoit un trafic élevé, vous risquez de dépasser le quota Model Armor par défaut, ce qui peut entraîner la limitation ou l'échec des requêtes. Pour éviter cela, assurez-vous que votre quota Model Armor est suffisant. Vous pouvez augmenter ce quota dans la console Google Cloud et configurer des alertes lorsque vous atteignez les limites de quota.

Avant de commencer

Activer les API

Vous devez activer les API Model Armor avant de pouvoir utiliser Model Armor.

Console

1. Enable the Model Armor API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Sélectionnez le projet dans lequel vous souhaitez activer Model Armor.

gcloud

Avant de commencer, suivez ces étapes à l'aide de la Google Cloud CLI avec l'API Model Armor :

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Exécutez la commande suivante pour définir le point de terminaison de l'API pour le service Model Armor.

   gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

   Remplacez LOCATION par la région dans laquelle vous souhaitez utiliser Model Armor.

Exécutez la commande suivante pour activer Model Armor.

  gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
   

Remplacez PROJECT_ID par l'ID du projet.

Options lors de l'intégration de Model Armor

Model Armor propose les options d'intégration suivantes. Chaque option offre des fonctionnalités différentes.

Option d'intégration	Outil d'application/de détection des règles	Configurer les détections	Inspecter uniquement	Inspecter et bloquer	Couverture des modèles et du cloud
API REST	Détecteur	Utiliser uniquement des modèles	Oui	Oui	Tous les modèles et tous les clouds
Vertex AI	Application intégrée	Utiliser les paramètres de plancher ou les modèles	Oui	Oui	Gemini (sans streaming) sur Google Cloud
Google Kubernetes Engine	Application intégrée	Utiliser uniquement des modèles	Oui	Oui	Modèles avec le format OpenAI activé Google Cloud
Gemini Enterprise	Application intégrée	Utiliser uniquement des modèles	Oui	Oui	Tous les modèles et tous les clouds

Pour l'option d'intégration de l'API REST, Model Armor ne fonctionne que comme détecteur à l'aide de modèles. Cela signifie qu'il identifie et signale les éventuels non-respects des règles en fonction de modèles prédéfinis, plutôt que de les empêcher activement. Lors de l'intégration à l'API Model Armor, votre application peut utiliser sa sortie pour bloquer ou autoriser des actions en fonction des résultats de l'évaluation de sécurité fournis. L'API Model Armor renvoie des informations sur les menaces potentielles ou les cas de non-respect des règles liés au trafic de votre API, en particulier dans le cas des interactions avec l'IA/LLM. Votre application peut appeler l'API Model Armor et utiliser les informations reçues dans la réponse pour prendre une décision et agir en fonction de votre logique personnalisée prédéfinie.

Avec l'option d'intégration Vertex AI, Model Armor fournit une application intégrée à l'aide de paramètres ou de modèles de seuil. Cela signifie que Model Armor applique activement les règles en intervenant directement dans le processus, sans nécessiter de modifications du code de votre application.

Les intégrations GKE et Gemini Enterprise n'utilisent les modèles que pour l'application des règles intégrées. Cela signifie que Model Armor peut appliquer des règles directement sans que vous ayez à modifier le code de l'application, à la fois dans la passerelle d'inférence GKE et lors des interactions utilisateur ou agent dans les instances Gemini Enterprise.

L'intégration de Model Armor et Gemini Enterprise ne désinfecte que la requête utilisateur initiale et la réponse finale de l'agent ou du modèle. Les étapes intermédiaires entre la requête initiale de l'utilisateur et la génération de la réponse finale ne sont pas couvertes par cette intégration.

Model Armor dans Security Command Center

Model Armor inspecte les requêtes et les réponses des LLM pour détecter diverses menaces, y compris l'injection de requêtes, les tentatives de jailbreak, les URL malveillantes et les contenus nuisibles. Lorsque Model Armor détecte une infraction à un paramètre de plancher configuré, il bloque la requête ou la réponse et envoie un résultat à Security Command Center. Pour en savoir plus, consultez Résultats de Model Armor.

Envoyer des commentaires