Surveiller la sécurité des contenus

Ce document explique comment afficher les insights sur la sécurité du contenu de Model Armor pour les agents d'IA compatibles.

Model Armor analyse les requêtes et les réponses pour détecter les risques de sécurité, tels que les attaques par injection de prompt indirecte, les fuites de données sensibles, ainsi que la génération ou la diffusion de contenu nuisible. Pour en savoir plus, consultez Model Armor.

Vous pouvez afficher les résultats des opérations Model Armor aux niveaux suivants :

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.
  2. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  3. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  4. Configurez Model Armor sur une ou plusieurs passerelles de votre projet.
  5. Pour surveiller les agents qui communiquent avec un serveur MCP Google Cloud , configurez Model Armor avec les serveurs MCP.
  6. Configurez le traçage pour votre agent.

Rôle requis

Pour obtenir les autorisations nécessaires pour surveiller les cas de non-respect des règles de sécurité du contenu, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour surveiller les cas de non-respect de la sécurité du contenu. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour surveiller les cas de non-respect de la sécurité du contenu :

  • monitoring.monitoredResourceDescriptors.list
  • monitoring.metricDescriptors.list

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Agents acceptés

L'onglet Sécurité contient des insights Model Armor pour les agents suivants uniquement :

Afficher des insights sur le contenu pour les agents d'IA compatibles dans un projet (vue de premier niveau)

Pour afficher les insights sur la sécurité du contenu pour tous les agents d'IA compatibles d'un projet, procédez comme suit :

  1. Dans la console Google Cloud , accédez à l'onglet Sécurité de Gemini Enterprise Agent Platform.

    Accéder à la page Sécurité.

  2. Sélectionnez votre projet.

Si vous ne voyez pas d'insights sur la sécurité du contenu dans l'onglet Sécurité et que vous avez des agents d'IA compatibles dans votre projet, assurez-vous d'avoir configuré le traçage pour vos agents.

Afficher les insights sur le contenu pour un agent IA (vue au niveau de l'agent)

Pour afficher les insights sur la sécurité du contenu pour les agents compatibles, procédez comme suit :

  1. Dans la console Google Cloud , accédez à Agent Registry.

    Accéder au registre d'agents

  2. Sélectionnez votre projet.
  3. Cliquez sur le nom de l'agent.
  4. Cliquez sur l'onglet Sécurité.

Afficher le nombre d'interactions signalées ou bloquées

Accédez à l'onglet Sécurité au niveau agent ou au niveau supérieur.

Dans l'onglet Sécurité, consultez le nombre d'interactions, y compris celles signalées et bloquées. L'onglet Sécurité affiche les métriques suivantes :

  • Nombre total d'interactions : nombre total de requêtes et de réponses analysées par Model Armor.
  • Interactions signalées : nombre d'interactions qui ne respectaient pas une règle configurée dans votre modèle Model Armor ou vos paramètres de plancher.
  • Interactions bloquées : nombre d'interactions bloquées si vous avez configuré Model Armor en mode INSPECT_AND_BLOCK. Ces interactions bloquées enfreignaient les paramètres de plancher ou les modèles.

Surveiller les cas de non-respect de la sécurité du contenu

Accédez à l'onglet Sécurité au niveau agent ou au niveau supérieur.

Dans le graphique Cas de non-respect des règles au fil du temps, surveillez le nombre de cas de non-respect détectés au fil du temps.

Les cas de non-respect détectés sont classés dans les catégories suivantes :

  • Injections de prompt et jailbreaks : cas de non-respect des règles concernant le contenu indiquant la présence de requêtes contenant des commandes malveillantes ou des tentatives de jailbreak. Pour en savoir plus, consultez Détection de l'injection de prompt et du jailbreaking.
  • URL malveillante : cas de non-respect du règlement indiquant la présence d'URL malveillantes. Pour en savoir plus, consultez Détection des URL malveillantes.
  • IA responsable : non-respect des règles concernant le contenu détecté par les filtres de sécurité, comme le harcèlement et les discours incitant à la haine. Pour obtenir la liste complète des catégories d'IA responsable, consultez Filtre de sécurité pour l'IA responsable.
  • Données sensibles : cas de non-respect du règlement liés à la présence de types d'informations sensibles ou de types d'informations personnalisés que vous définissez. Pour en savoir plus, consultez Sensitive Data Protection.

Pour en savoir plus sur ces détecteurs, consultez Filtres Model Armor.

Identifier les agents ayant commis le plus d'infractions

Accédez à l'onglet Sécurité.

L'onglet Sécurité affiche les 10 agents ayant commis le plus d'infractions. La liste indique l'ID de chaque agent et le nombre d'infractions détectées pour cet agent.

Pour afficher les insights Model Armor d'un agent spécifique dans la liste, accédez au registre des agents et recherchez l'agent à l'aide de son ID. Accédez ensuite à l'onglet Sécurité au niveau de l'agent pour cet agent.

Accéder au registre d'agents

Interroger et analyser des données de télémétrie à l'aide de SQL

Pour interroger et analyser les données de télémétrie de Model Armor, utilisez Observability Analytics, qui fournit une interface de requête basée sur SQL.

  1. Accédez à l'onglet Sécurité.
  2. Pour la vue que vous souhaitez interroger, cliquez sur Plus d'options de graphique > Explorer dans Observability Analytics.

Pour obtenir des instructions générales sur l'utilisation d'Observability Analytics, consultez Interroger et analyser la télémétrie avec Observability Analytics.

Télécharger les données sur les cas de non-respect dans un fichier PNG ou CSV

Pour télécharger les données sur les cas de non-respect dans un fichier PNG ou CSV, procédez comme suit :

  1. Dans la vue Infractions au fil du temps de l'onglet Sécurité, sélectionnez la période pour laquelle vous souhaitez télécharger les données.
  2. Cliquez sur Plus d'options pour le graphique > Télécharger.
  3. Cliquez sur Télécharger au format PNG ou Télécharger au format CSV pour télécharger les données dans le format de votre choix.

Étapes suivantes

Guide

En savoir plus sur la journalisation d'audit pour Model Armor

Guide

Découvrez comment configurer la journalisation pour Model Armor.

Dépannage

Découvrez comment résoudre les problèmes liés à Model Armor.