Surveiller la sécurité des contenus

Ce document explique comment afficher les insights sur la sécurité des contenus de Model Armor pour les agents d'IA compatibles.

Model Armor filtre les requêtes et les réponses pour détecter les risques de sécurité, tels que les attaques par injection de prompt indirecte, les fuites de données sensibles et la génération ou la diffusion de contenus nuisibles. Pour en savoir plus, consultez Model Armor.

Vous pouvez afficher les résultats des opérations Model Armor aux niveaux suivants :

Avant de commencer

  1. Connectez-vous à votre Google Cloud compte. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

  2. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  3. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

    4.
  4. Configurez Model Armor sur une ou plusieurs passerelles de votre projet.
  5. Pour surveiller les agents qui communiquent avec un Google Cloud serveur MCP, configurez Model Armor avec les serveurs MCP.
  6. Configurez le traçage pour votre agent.

Rôle requis

Pour obtenir les autorisations nécessaires pour surveiller les cas de non-respect de la sécurité des contenus, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour surveiller les cas de non-respect de la sécurité des contenus. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour surveiller les cas de non-respect de la sécurité des contenus :

  • monitoring.monitoredResourceDescriptors.list
  • monitoring.metricDescriptors.list

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Agents compatibles

L'onglet Sécurité est rempli d'insights Model Armor uniquement pour les agents suivants :

Afficher les insights sur les contenus pour les agents d'IA compatibles d'un projet (vue de premier niveau)

Pour afficher les insights sur la sécurité des contenus pour tous les agents d'IA compatibles d'un projet, procédez comme suit :

  1. Dans la Google Cloud console, accédez à l'onglet Sécurité de la plate-forme d'agents Gemini Enterprise.

    Accéder à la page Sécurité.

  2. Sélectionnez votre projet.

Si vous ne voyez pas d'insights sur la sécurité des contenus dans l'onglet Sécurité et que vous disposez d'agents d'IA compatibles dans votre projet, assurez-vous d'avoir configuré le traçage pour vos agents.

Afficher les insights sur les contenus pour un agent d'IA (vue au niveau de l'agent)

Pour afficher les insights sur la sécurité des contenus pour les agents compatibles, procédez comme suit :

  1. Dans la Google Cloud console, accédez à Agent Registry.

    Accéder à Agent Registry

  2. Sélectionnez votre projet.
  3. Cliquez sur le nom de l'agent.
  4. Cliquez sur l'onglet Sécurité.

Afficher le nombre d'interactions signalées ou bloquées

Accédez à l'onglet de premier niveau ou au niveau de l'agent Sécurité.

Dans l'onglet Sécurité, affichez le nombre d'interactions, y compris les interactions signalées et bloquées. L'onglet Sécurité affiche les métriques suivantes :

  • Nombre total d'interactions : nombre total de prompts et de réponses analysés par Model Armor.
  • Interactions signalées : nombre d'interactions qui ne respectaient pas une stratégie configurée dans votre modèle Model Armor ou vos paramètres de plancher.
  • Interactions bloquées : nombre d'interactions bloquées si vous avez configuré Model Armor en mode INSPECT_AND_BLOCK. Ces interactions bloquées ne respectaient pas les paramètres de plancher ou les modèles.

Surveiller les cas de non-respect de la sécurité des contenus

Accédez à l'onglet de premier niveau ou au niveau de l'agent Sécurité.

Dans le graphique Cas de non-respect au fil du temps, surveillez le nombre de cas de non-respect détectés au fil du temps.

Les cas de non-respect détectés sont classés dans les domaines suivants :

  • Injections de prompt et jailbreaks : cas de non-respect de contenu indiquant la présence de prompts contenant des commandes malveillantes ou des tentatives de jailbreak. Pour en savoir plus, consultez Détection de l'injection de prompt et du jailbreak.
  • URL malveillante : cas de non-respect de contenu indiquant la présence d'URL malveillantes. Pour en savoir plus, consultez Détection des URL malveillantes.
  • IA responsable : cas de non-respect de contenu détectés par des filtres de sécurité, tels que le harcèlement et les discours incitant à la haine. Pour obtenir la liste complète des catégories d'IA responsable, consultez Filtre de sécurité de l'IA responsable.
  • Données sensibles : cas de non-respect de contenu impliquant la présence de types d'informations sensibles ou types d'informations personnalisés que vous définissez. Pour en savoir plus, consultez Sensitive Data Protection.

Pour en savoir plus sur ces détecteurs, consultez Filtres Model Armor.

Identifier les agents présentant le plus de cas de non-respect

Accédez à l'onglet de premier niveau Sécurité.

L'onglet Sécurité affiche les 10 agents présentant le plus de cas de non-respect. La liste indique l'ID de chaque agent et le nombre de cas de non-respect détectés pour cet agent.

Pour afficher les insights Model Armor d'un agent spécifique de la liste, accédez à Agent Registry pour rechercher l'agent par son ID. Accédez ensuite à l'onglet Sécurité au niveau de l'agent pour cet agent.

Accéder à Agent Registry

Interroger et analyser les données de télémétrie à l'aide de SQL

Pour interroger et analyser les données de télémétrie de Model Armor, utilisez Observability Analytics, qui fournit une interface de requête basée sur SQL.

  1. Accédez à l'onglet de premier niveau Sécurité.
  2. Pour la vue que vous souhaitez interroger, cliquez sur Autres options de graphique > Explorer dans Observability Analytics.

Pour obtenir des instructions générales sur l'utilisation d'Observability Analytics, consultez Interroger et analyser la télémétrie avec Observability Analytics.

Télécharger les données de cas de non-respect dans un fichier PNG ou CSV

Pour télécharger les données de cas de non-respect dans un fichier PNG ou CSV, procédez comme suit :

  1. Dans la vue Cas de non-respect au fil du temps de l'onglet Sécurité, sélectionnez la période pour laquelle vous souhaitez télécharger des données.
  2. Cliquez sur Autres options de graphique > Télécharger.
  3. Cliquez sur Télécharger au format PNG ou Télécharger au format CSV pour télécharger les données dans le format de votre choix.

Étape suivante

Guide

En savoir plus sur la journalisation d'audit pour Model Armor.

Guide

Découvrez comment configurer la journalisation pour Model Armor.

Résolution des problèmes

Découvrez comment résoudre les problèmes liés à Model Armor.