Présentation de la protection de l'IA

La protection de l'IA vous aide à gérer la stratégie de sécurité de vos charges de travail d'IA en vous offrant une vue de la sécurité de l'IA dans votre Google Cloud environnement. Elle vous aide également à détecter les menaces et à atténuer les risques pour votre inventaire d'IA. Ce document présente la protection de l'IA, y compris ses avantages et plusieurs concepts clés.

La protection de l'IA est disponible avec les activations de Security Command Center au niveau de l'organisation et du projet.

Lorsque vous activez Security Command Center au niveau de l'organisation, le tableau de bord AI Security (Sécurité de l'IA) et les vues AI Security (Sécurité de l'IA) des pages de la console affichent des données agrégées de tous les projets et ressources de l'organisation.

Lorsque vous activez Security Command Center au niveau du projet, le tableau de bord AI Security (Sécurité de l'IA) et les vues des pages de la console affichent les données liées aux ressources du projet sélectionné.

Fonctionnalités de la protection de l'IA

La protection de l'IA vous aide à gérer les menaces et les risques qui pèsent sur les composants de vos systèmes d'IA. Votre niveau de service détermine les fonctionnalités disponibles, qui incluent les suivantes :

  • Évaluer votre inventaire d'éléments d'IA : comprendre vos systèmes d'IA et éléments.
  • Identifier les failles (niveaux de service Premium et Enterprise (abandonnés)) : identifier les failles logicielles (CVE) et les secrets en texte brut dans les charges de travail agentiques déployées avec Agent Runtime.
  • Identifier les risques (niveaux de service Premium et Enterprise (abandonnés)) : identifier les risques et leur impact sur l'écosystème en fonction de la simulation de chemin d'attaque et des règles de graphique de sécurité prédéfinies, avec les agents et les serveurs MCP comme ressources à forte valeur.
  • Détecter les agents disposant de privilèges excessifs : détecter les agents Agent Runtime qui disposent d'autorisations excessives.
  • Gérer la conformité : vérifier de manière proactive que les éléments d'IA de vos déploiements respectent les normes de sécurité pertinentes. Le niveau de service Standard inclut les résultats de sécurité de base avec Security Essentials, tandis que les niveaux de service Premium et Enterprise incluent la conformité avancée aux frameworks.
  • Détecter et gérer les menaces : détecter les menaces potentielles qui pèsent sur vos systèmes et éléments d'IA et y répondre en temps opportun.

Cas d'utilisation de la protection de l'IA

La protection de l'IA aide les organisations à renforcer leur sécurité en identifiant et en atténuant les menaces et les risques liés aux systèmes d'IA et aux données sensibles. Les cas d'utilisation suivants montrent comment la protection de l'IA peut être utilisée dans différentes organisations :

  • Établissement de services financiers : données financières des clients

    Un grand établissement de services financiers utilise des modèles d'IA qui traitent des données financières sensibles.

    • Problématique : le traitement de données financières très sensibles avec des modèles d'IA comporte plusieurs risques, y compris le risque de violation de données, d'exfiltration de données pendant l'entraînement ou l'inférence, et de failles dans l'infrastructure d'IA sous-jacente.
    • Cas d'utilisation : la protection de l'IA surveille en permanence les workflows d'IA pour détecter les activités suspectes, les accès non autorisés aux données et les comportements anormaux des modèles. Elle effectue également une classification des données sensibles et vous aide à améliorer votre conformité avec des réglementations telles que PCI DSS et le RGPD.

  • Prestataire de santé : confidentialité et conformité des patients

    Un grand prestataire de santé gère des dossiers médicaux électroniques et utilise l'IA pour les diagnostics et la planification des traitements, en traitant des données de santé protégées.

    • Problématique : les données de santé protégées analysées par les modèles d'IA sont soumises à des réglementations strictes comme la loi HIPAA. Les risques incluent l'exposition accidentelle des données de santé protégées en raison d'erreurs de configuration ou d'attaques malveillantes ciblant les systèmes d'IA pour les données des patients.
    • Cas d'utilisation : la protection de l'IA identifie les violations potentielles de la loi HIPAA et les accès non autorisés aux données de santé protégées par les modèles ou les utilisateurs, et envoie des alertes. Elle signale également les services d'IA vulnérables et potentiellement mal configurés, et surveille les fuites de données.

  • Entreprise de fabrication et de robotique : propriété intellectuelle propriétaire

    Une entreprise de fabrication spécialisée dans la robotique et l'automatisation avancées s'appuie fortement sur l'IA pour optimiser les chaînes de production et le contrôle robotique. Elle intègre une propriété intellectuelle essentielle dans ses algorithmes d'IA et ses données de fabrication.

    • Problématique : les algorithmes d'IA propriétaires et les données opérationnelles sensibles sont vulnérables au vol par des menaces internes ou des adversaires externes, ce qui peut entraîner un désavantage concurrentiel ou une perturbation opérationnelle.
    • Cas d'utilisation : la protection de l'IA surveille les accès non autorisés aux modèles d'IA et aux dépôts de code, détecte les tentatives d'exfiltration de modèles entraînés et les schémas d'accès aux données inhabituels, et signale les failles dans les environnements de développement d'IA pour empêcher le vol de propriété intellectuelle.

Services de détection dans la protection de l'IA

La section suivante décrit les règles et les services de détection qui créent des résultats lorsque vous activez la protection de l'IA. Le niveau de service Security Command Center et le champ d'application de l'activation (au niveau de l'organisation ou du projet) déterminent les services de détection compatibles avec Security Command Center et les résultats créés. Security Command Center active automatiquement certains services de détection, mais vous devez en configurer d'autres manuellement. Pour en savoir plus, consultez Configurer la protection de l'IA.

Service AI Discovery

Il s'agit d'un service intégré qui utilise les données Cloud Monitoring pour découvrir les modèles d'IA et déterminer si Model Armor les protège. Au niveau de service Standard, AI Discovery n'est pas compatible avec la détection des modèles Gemini.

Pour en savoir plus sur les résultats créés par ce service, consultez la section Résultats du service AI Discovery.

Frameworks de Compliance Manager

La protection de l'IA utilise les frameworks de Compliance Manager que Security Command Center déploie automatiquement en mode détection.

Frameworks intégrés de Compliance Manager

La protection de l'IA inclut les frameworks suivants. Lorsque vous activez la protection de l'IA, Security Command Center active automatiquement ces frameworks dans votre organisation ou votre projet.

En fonction de votre niveau de service, vous pouvez configurer des frameworks Compliance Manager et des contrôles cloud supplémentaires. Pour en savoir plus sur Compliance Manager, consultez la page Compliance Manager.

Frameworks personnalisés de Compliance Manager

Vous pouvez créer des frameworks personnalisés en copiant les frameworks intégrés disponibles avec votre niveau de service.

  • Personnalisation : vous pouvez ajouter ou supprimer des contrôles cloud dans vos frameworks personnalisés pour qu'ils correspondent à vos règles de sécurité.
  • Application ciblée : vous pouvez appliquer des frameworks personnalisés à des organisations, des dossiers ou des projets spécifiques. Par exemple, vous pouvez appliquer des contrôles juridictionnels spécifiques à des dossiers spécifiques pour vous assurer que les données restent dans une région géographique particulière.
  • Limitation : vous ne pouvez pas attribuer de frameworks de protection de l'IA aux applications.

Règles d'Event Threat Detection pour les éléments Gemini Enterprise Agent Platform

Event Threat Detection détecte plusieurs menaces potentielles impliquant des éléments Gemini Enterprise Agent Platform, telles que des activités anormales de comptes de service, des modifications d'autorisations sensibles et des utilisations abusives d'identités agentiques.

Les catégories de résultats qui s'appliquent aux éléments d'IA incluent les suivantes :

  • Persistance : nouvelle méthode d'API d'IA
  • Persistance : nouvelle zone géographique pour le service d'IA
  • Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour une activité d'administration d'IA
  • Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour l'accès à des données d'IA
  • Élévation des privilèges : délégation de compte de service multi-étapes anormale pour une activité d'administration d'IA
  • Élévation des privilèges : délégation de compte de service multi-étapes anormale pour l'accès à des données d'IA
  • Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour une activité d'administration d'IA
  • Accès initial : activité du compte de service inactif dans le service d'IA
  • Persistance : octroi anormal d'autorisations IAM à une identité agentique
  • Accès aux identifiants : identifiants d'identité agentique utilisés en dehors de Google Cloud
  • Persistance : autorisation liée à l'IA sensible ajoutée à un rôle personnalisé
  • Persistance : rôle sensible accordé par un agent IA
  • Persistance : rôle sensible attribué à un agent IA externe
  • Évasion de la défense : rôle de créateur de jetons au niveau du projet attribué à un agent IA
  • Évasion de la défense : rôle de créateur de jetons au niveau du dossier attribué à un agent IA
  • Évasion de la défense : rôle de créateur de jetons au niveau de l'organisation attribué à un agent IA

Pour obtenir la liste complète des résultats d'Event Threat Detection qui s'appliquent aux éléments d'IA, consultez la Présentation d'Event Threat Detection.

Agent Platform Threat Detection pour Agent Runtime

Agent Platform Threat Detection (bêta) fournit une détection des menaces au moment de l'exécution pour les agents déployés sur Agent Runtime. Il surveille les agents en cours d'exécution pour détecter les attaques potentielles et génère des résultats dans Security Command Center.

Agent Platform Threat Detection génère des résultats pour Agent Runtime, y compris les catégories suivantes :

  • Commandes et contrôle : outil de stéganographie détecté
  • Accès aux identifiants : Find Google Cloud Credentials
  • Accès aux identifiants : reconnaissance des clés GPG
  • Accès aux identifiants : recherche de clés privées ou de mots de passe
  • Évasion de la défense : ligne de commande avec fichier ELF en base64
  • Évasion de la défense : script Python encodé en base64 exécuté
  • Évasion de la défense : script shell encodé en base64 exécuté
  • Évasion de la défense : lancement d'un outil de compilation de code dans un conteneur
  • Exécution : exécution de code Netcat à distance dans un conteneur
  • Exécution : exécution possible de commandes arbitraires via CUPS (CVE-2024-47177)
  • Exécution : exécution possible de commandes à distance détectée
  • Exécution : exécution d'un programme avec un environnement de proxy HTTP non autorisé
  • Exécution : shell inversé de Socat détecté
  • Exécution : objet partagé OpenSSL suspect chargé
  • Exfiltration : lancement d'outils de copie de fichiers à distance dans un conteneur
  • Impact : détection de lignes de commande malveillantes
  • Impact : suppression des données du disque de manière groupée
  • Impact : activité de minage de cryptomonnaie suspecte utilisant le protocole Stratum
  • Élévation des privilèges : utilisation abusive de Sudo pour l'élévation des privilèges (CVE-2019-14287)
  • Élévation des privilèges : faille liée à l'élévation des privilèges locaux de Polkit (CVE-2021-4034)
  • Élévation des privilèges : élévation potentielle des privilèges de Sudo (CVE-2021-3156)
  • Exécution : code Python malveillant exécuté
  • Exécution : fuite du conteneur
  • Exécution : exécution d'un outil d'attaque de Kubernetes
  • Exécution : exécution d'un outil de reconnaissance local
  • Impact : script malveillant exécuté
  • Impact : URL malveillante observée
  • Exécution : shell enfant inattendu

En savoir plus sur Agent Platform Threat Detection.

Agent Platform Vulnerability Assessment

Agent Platform Vulnerability Assessment (bêta) identifie les failles et les secrets en texte brut, tels que les identifiants, les clés, les jetons d'accès ou les certificats, dans les images de conteneur Gemini Enterprise Agent Platform.

Pour en savoir plus, consultez Agent Platform Vulnerability Assessment dans "Services de détection".

Notebook Security Scanner

Notebook Security Scanner (bêta) analyse les notebooks Colab Enterprise pour détecter les failles dans les packages Python.

Pour en savoir plus, consultez Notebook Security Scanner dans "Services de détection".

Protection des données sensibles

Le service Sensitive Data Protection discovery est un service entièrement géré Google Cloudqui vous aide à découvrir, classer et protéger vos données sensibles. Vous pouvez utiliser Sensitive Data Protection pour déterminer si vous stockez des informations sensibles ou des informations permettant d'identifier personnellement l'utilisateur (PII).

Pour en savoir plus, consultez les résultats de Sensitive Data Protection dans "Services de détection".

Model Armor

Après avoir activé Model Armor et l'avoir configuré pour qu'il s'intègre à un ou plusieurs composants liés à l'IA, vous pouvez examiner les résultats de Model Armor dans Security Command Center.

Au niveau de service Standard de Security Command Center, la protection de l'IA n'est pas compatible avec les modèles Gemini.

Pour configurer Model Armor, consultez Créer et gérer des modèles.

Risk Engine

Risk Engine est une fonctionnalité de Security Command Center qui évalue l'exposition aux risques de vos déploiements cloud, attribue des scores d'exposition aux attaques aux résultats de failles et à vos ressources à forte valeur, et schématise les chemins qu'un pirate informatique pourrait emprunter pour atteindre vos ressources à forte valeur.

Pour en savoir plus, consultez Risk Engine dans "Services de détection".

Ressources compatibles avec la protection de l'IA

La protection de l'IA détecte les éléments à l'aide des mécanismes suivants :

  • Éléments d'IA déclaratifs : éléments que les outils de gestion du cycle de vie de l'IA (tels que Gemini Enterprise Agent Platform) suivent.
  • Éléments d'IA inférés : éléments à usage général (tels que les éléments de calcul et de stockage) qui traitent des données ou des charges de travail d'IA.
  • Modèle en tant que service (API uniquement) : éléments qui effectuent des appels programmatiques vers des modèles d'IA propriétaires ou tiers.

Cette section définit l'inventaire et les éléments d'IA compatibles que la protection de l'IA peut aider à sécuriser.

  • Applications de recherche Gemini Enterprise et Agent : il s'agit de systèmes d'IA capables de percevoir leur environnement, de prendre des décisions et d'effectuer des actions pour atteindre des objectifs spécifiques.
  • Points de terminaison : les charges de travail des applications d'IA vont des outils internes visant à améliorer la productivité des employés aux solutions en contact avec les clients conçues pour améliorer l'expérience utilisateur et stimuler l'activité. Par exemple, les agents IA, les assistants virtuels, les chatbots d'IA conversationnelle et les recommandations personnalisées. La protection de l'IA les identifie comme des points de terminaison Agent Platform dans l'onglet AI resources (Ressources d'IA) de la page Assets (Éléments).
  • Sources de données : les sources de données compatibles incluent les tables BigQuery, Cloud Storage, les ensembles de données Agent Platform, et les magasins de données Gemini Enterprise.
  • Modèles : la protection de l'IA identifie les modèles d'IA comme des modèles d'IA de fondation, des modèles d'IA affinés, des modèles d'IA propriétaires standards et des modèles d'IA personnalisés. Voici quelques exemples :
    • Gemini (disponible avec les niveaux de service Premium et Enterprise (abandonnés))
    • Llama
    • Modèles de traduction
    • Modèles personnalisés pour des tâches spécifiques
  • Éléments d'IA : les éléments d'IA contribuent aux pipelines d'opérations de machine learning et sont utilisés par les charges de travail d'IA. Voici quelques types d'éléments d'IA :
  • Serveurs MCP (Model Context Protocol) : la protection de l'IA identifie les serveurs MCP catalogués dans Agent Registry. Pour utiliser cette fonctionnalité, vous devez configurer l'API App Hub dans chaque projet qui héberge un serveur MCP.

Impacts des modifications du niveau de service

Si vous passez d'un niveau de service Premium ou Enterprise à Standard, la rétrogradation affecte vos fonctionnalités de protection de l'IA comme suit :

  • Services de détection : Security Command Center désactive les services de détection et les frameworks Compliance Manager non compatibles avec le niveau Standard. Pour en savoir plus, consultez Gérer les niveaux de service dans Compliance Manager.
  • Fonctionnalités d'investigation : vous perdez l'accès aux fonctionnalités d'investigation avancées, telles que les simulations de chemin d'attaque pour les éléments d'IA, l'évaluation des failles des agents et la détection des agents disposant de privilèges excessifs.
  • Les résultats deviennent inactifs : les résultats créés par les frameworks Compliance Manager non compatibles avec le niveau Standard deviennent inactifs. Pour en savoir plus, consultez Gérer les niveaux de service dans Compliance Manager.

Si vous repassez au niveau Premium ou Enterprise, Security Command Center restaure les fonctionnalités avancées, mais ne récupère pas automatiquement les déploiements de frameworks qui ont été supprimés lors de la rétrogradation. Vous devez redéployer les frameworks manuellement.

Étape suivante