Présentation de la protection de l'IA

AI Protection vous aide à gérer la stratégie de sécurité de vos charges de travail d'IA dans votre environnement Google Cloud . Vous pouvez l'utiliser pour gagner en visibilité sur votre inventaire d'IA, détecter les menaces et atténuer les risques pour vos systèmes d'IA.

La protection de l'IA est disponible avec les activations de Security Command Center au niveau de l'organisation et du projet. En fonction de votre champ d'activation, le tableau de bord AI Security de la console Google Cloud affiche les données globales de tous les projets et ressources, ou les données du projet sélectionné.

Fonctionnalités d'AI Protection

AI Protection vous aide à gérer les menaces et les risques pesant sur les composants de vos systèmes d'IA. Votre niveau de service détermine les fonctionnalités disponibles, qui incluent les éléments suivants :

  • Évaluer votre inventaire de composants d'IA : comprendre vos systèmes et composants d'IA.
  • Identifier les failles (niveaux de service Premium et Enterprise (obsolète)) : identifiez les failles logicielles (CVE) et les secrets en texte brut dans les charges de travail agentiques déployées avec Agent Runtime.
  • Identifier les risques (niveaux de service Premium et Enterprise (obsolète)) : identifiez les risques et leur impact sur l'écosystème en fonction de la simulation de chemin d'attaque et des règles de graphique de sécurité prédéfinies, avec les agents et les serveurs MCP comme ressources de grande valeur.
  • Détecter les agents disposant de privilèges excessifs : détectez les agents Agent Runtime qui disposent d'autorisations excessives.
  • Gérer la conformité : vérifiez de manière proactive que les éléments d'IA de vos déploiements respectent les normes de sécurité applicables. Le niveau de service Standard inclut des résultats de sécurité de base avec Security Essentials, tandis que les niveaux de service Premium et Enterprise incluent la conformité avancée aux frameworks.
  • Détecter et gérer les menaces : détectez les menaces potentielles pour vos systèmes et ressources d'IA, et réagissez rapidement.

Cas d'utilisation de la protection de l'IA

AI Protection aide les organisations à renforcer leur sécurité en identifiant et en atténuant les menaces et les risques liés aux systèmes d'IA et aux données sensibles. Les cas d'utilisation suivants sont des exemples d'utilisation de la protection de l'IA dans différentes organisations :

  • Établissement de services financiers : données financières des clients

    Une grande institution de services financiers utilise des modèles d'IA qui traitent des données financières sensibles.

    • Problématique : le traitement de données financières très sensibles avec des modèles d'IA comporte plusieurs risques, y compris le risque de violations de données, d'exfiltration de données pendant l'entraînement ou l'inférence, et de failles dans l'infrastructure d'IA sous-jacente.
    • Cas d'utilisation : AI Protection surveille en permanence les workflows d'IA pour détecter les activités suspectes, les accès non autorisés aux données et les comportements anormaux des modèles. Elle effectue également une classification des données sensibles et vous aide à améliorer votre conformité avec des réglementations telles que PCI DSS et le RGPD.

  • Fournisseur de soins de santé : confidentialité des patients et conformité

    Un grand prestataire de santé gère des dossiers médicaux électroniques et utilise l'IA pour les diagnostics et la planification des traitements, en traitant des données de santé protégées.

    • Problématique : les données de santé protégées analysées par les modèles d'IA sont soumises à des réglementations strictes comme la loi HIPAA. Les risques incluent l'exposition accidentelle des données de santé protégées en raison d'erreurs de configuration ou d'attaques malveillantes ciblant les systèmes d'IA pour obtenir des données de patients.
    • Cas d'utilisation : AI Protection identifie les violations potentielles de la loi HIPAA et envoie des alertes, détecte les accès non autorisés aux données de santé protégées par les modèles ou les utilisateurs, signale les services d'IA vulnérables et potentiellement mal configurés, et surveille les fuites de données.

  • Entreprise de fabrication et de robotique : propriété intellectuelle exclusive

    Une entreprise de fabrication spécialisée dans la robotique avancée et l'automatisation s'appuie fortement sur l'IA pour optimiser ses lignes de production et le contrôle robotique. Sa propriété intellectuelle essentielle est intégrée à ses algorithmes d'IA et à ses données de fabrication.

    • Problématique : les algorithmes d'IA propriétaires et les données opérationnelles sensibles sont vulnérables au vol par des menaces internes ou des adversaires externes, ce qui peut entraîner un désavantage concurrentiel ou une interruption des opérations.
    • Cas d'utilisation : AI Protection surveille les accès non autorisés aux modèles d'IA et aux dépôts de code, détecte les tentatives d'exfiltration de modèles entraînés et les schémas d'accès aux données inhabituels, et signale les failles dans les environnements de développement d'IA pour empêcher le vol de propriété intellectuelle.

Services de détection dans AI Protection

La section suivante décrit les règles et les services de détection qui créent des résultats lorsque vous activez AI Protection. Le niveau de service et le champ d'application de l'activation (au niveau de l'organisation ou du projet) de Security Command Center déterminent les services de détection compatibles avec Security Command Center et les résultats créés. Security Command Center active automatiquement certains services de détection, mais vous devez en configurer d'autres manuellement. Pour en savoir plus, consultez Configurer la protection de l'IA.

Service AI Discovery

Il s'agit d'un service intégré qui utilise les données Cloud Monitoring pour découvrir les modèles d'IA et déterminer si Model Armor les protège. Au niveau de service Standard, AI Discovery ne prend pas en charge la détection des modèles Gemini.

Pour en savoir plus sur les résultats créés par ce service, consultez Résultats du service AI Discovery.

Frameworks de Compliance Manager

La protection de l'IA utilise les frameworks Compliance Manager que Security Command Center déploie automatiquement en mode détective.

Frameworks intégrés de Compliance Manager

AI Protection inclut les frameworks suivants. Lorsque vous activez AI Protection, Security Command Center active automatiquement ces frameworks dans votre organisation ou votre projet.

Selon votre niveau de service, vous pouvez configurer des frameworks et des contrôles cloud supplémentaires dans le Gestionnaire de conformité. Pour en savoir plus sur Compliance Manager, consultez Compliance Manager.

Frameworks personnalisés de Compliance Manager

Vous pouvez créer des frameworks personnalisés en effectuant des copies des frameworks intégrés disponibles dans votre niveau de service.

  • Personnalisation : vous pouvez ajouter ou supprimer des contrôles cloud dans vos frameworks personnalisés pour les adapter à vos règles de sécurité.
  • Application ciblée : vous pouvez appliquer des frameworks personnalisés à des organisations, des dossiers ou des projets spécifiques. Par exemple, vous pouvez appliquer des contrôles juridictionnels spécifiques à des dossiers spécifiques pour vous assurer que les données restent dans une région géographique particulière.
  • Limitation : vous ne pouvez pas attribuer de frameworks AI Protection aux applications.

Règles Event Threat Detection pour les éléments Gemini Enterprise Agent Platform

Event Threat Detection détecte plusieurs menaces potentielles impliquant des éléments Gemini Enterprise Agent Platform, telles qu'une activité anormale de compte de service, des modifications d'autorisations sensibles et une utilisation abusive de l'identité agentique.

Les catégories de résultats qui s'appliquent aux éléments d'IA sont les suivantes :

  • Persistance : nouvelle méthode d'API d'IA
  • Persistance : nouvelle zone géographique pour le service d'IA
  • Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour une activité d'administration d'IA
  • Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour l'accès à des données d'IA
  • Élévation des privilèges : délégation de compte de service multi-étapes anormale pour une activité d'administration d'IA
  • Élévation des privilèges : délégation de compte de service multi-étapes anormale pour l'accès à des données d'IA
  • Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour une activité d'administration d'IA
  • Accès initial : activité de compte de service inactif dans le service d'IA
  • Persistance : octroi anormal d'autorisations IAM à une identité agentique
  • Accès aux identifiants : identifiant d'identité agentique utilisé en dehors de Google Cloud
  • Persistance : autorisation liée à l'IA sensible ajoutée à un rôle personnalisé
  • Persistance : rôle sensible accordé par un agent IA
  • Persistance : rôle sensible attribué à un agent IA externe
  • Persistance : accès externe accordé aux applications de l'API Discovery Engine Gemini
  • Impact : Importation de documents par un utilisateur externe via l'API Gemini Discovery Engine
  • Impact : Importation de documents depuis une ressource externe via l'API Discovery Engine Gemini
  • Impact : Non-respect du périmètre VPC lors de l'importation de documents de l'API Discovery Engine Gemini
  • Évasion de la défense : rôle TokenCreator au niveau du projet attribué à un agent IA
  • Évasion de défense : rôle de créateur de jetons au niveau du dossier attribué à un agent IA
  • Éviction de défense : rôle TokenCreator au niveau de l'organisation attribué à un agent IA

Pour obtenir la liste complète des résultats Event Threat Detection qui s'appliquent aux éléments d'IA, consultez la présentation d'Event Threat Detection.

Agent Platform Threat Detection pour Agent Runtime

Agent Platform Threat Detection (preview) permet de détecter les menaces d'exécution pour les agents déployés sur Agent Runtime. Il surveille les agents en cours d'exécution pour détecter les attaques potentielles et génère des résultats dans Security Command Center.

Agent Platform Threat Detection génère des résultats pour Agent Runtime, y compris les catégories suivantes :

  • Commande et contrôle : outil de stéganographie détecté
  • Accès aux identifiants : recherche d'identifiants Google Cloud
  • Accès aux identifiants : reconnaissance des clés GPG
  • Accès aux identifiants : rechercher des clés privées ou des mots de passe
  • Contournement des défenses : ligne de commande avec fichier ELF en base64
  • Évasion de la défense : script Python encodé en base64 exécuté
  • Évasion de la défense : script shell encodé en base64 exécuté
  • Évasion de la défense : lancer un outil de compilation de code dans un conteneur
  • Exécution : exécution de code Netcat à distance dans un conteneur
  • Exécution : exécution possible de commandes arbitraires via CUPS (CVE-2024-47177)
  • Exécution : possible exécution de commande à distance détectée
  • Exécution : exécution d'un programme avec un environnement de proxy HTTP non autorisé
  • Exécution : shell inversé de Socat détecté
  • Exécution : objet partagé OpenSSL suspect chargé
  • Exfiltration : lancer des outils de copie de fichiers à distance dans un conteneur
  • Impact : détecter les lignes de commande malveillantes
  • Impact : suppression des données du disque de manière groupée
  • Impact : activité de minage de cryptomonnaie suspecte utilisant le protocole Stratum
  • Élévation des privilèges : utilisation abusive de Sudo pour l'élévation des privilèges (CVE-2019-14287)
  • Élévation des privilèges : faille liée à l'élévation des privilèges locaux de Polkit (CVE-2021-4034)
  • Élévation des privilèges : élévation potentielle des privilèges de Sudo (CVE-2021-3156)
  • Exécution : code Python malveillant exécuté
  • Exécution : fuite du conteneur
  • Exécution : exécution d'un outil d'attaque de Kubernetes
  • Exécution : exécution d'un outil de reconnaissance local
  • Impact : script malveillant exécuté
  • Impact : URL malveillante observée
  • Exécution : shell enfant inattendu

En savoir plus sur Agent Platform Threat Detection

Agent Platform Vulnerability Assessment

Agent Platform Vulnerability Assessment (preview) identifie les failles et les secrets en texte brut, tels que les identifiants, les clés, les jetons d'accès ou les certificats, dans les images de conteneurs Gemini Enterprise Agent Platform.

Pour en savoir plus, consultez Évaluation des failles de la plate-forme de l'agent dans "Services de détection".

Notebook Security Scanner

Notebook Security Scanner (preview) analyse les notebooks Colab Enterprise pour détecter les failles dans les packages Python.

Pour en savoir plus, consultez Notebook Security Scanner dans "Services de détection".

Sensitive Data Protection

Le service de découverte Sensitive Data Protection est un service Google Cloudentièrement géré qui vous aide à découvrir, classer et protéger vos données sensibles. Vous pouvez utiliser Sensitive Data Protection pour déterminer si vous stockez des informations sensibles ou permettant d'identifier personnellement l'utilisateur.

Pour en savoir plus, consultez Résultats de Sensitive Data Protection dans "Services de détection".

Model Armor

Après avoir activé Model Armor et l'avoir configuré pour l'intégrer à un ou plusieurs composants liés à l'IA, vous pouvez examiner les résultats de Model Armor dans Security Command Center.

Au niveau de service Security Command Center Standard, la protection de l'IA n'est pas compatible avec les modèles Gemini.

Pour configurer Model Armor, consultez Créer et gérer des modèles.

Moteur de gestion des risques

Le moteur de risque est une fonctionnalité de Security Command Center qui évalue l'exposition aux risques de vos déploiements cloud, attribue des scores d'exposition aux attaques aux résultats de failles et à vos ressources de forte valeur, et schématise les chemins qu'un pirate informatique pourrait emprunter pour atteindre vos ressources de forte valeur.

Pour en savoir plus, consultez Moteur de risque dans "Services de détection".

Ressources compatibles avec la protection de l'IA

AI Protection découvre les éléments à l'aide des mécanismes suivants :

  • Éléments d'IA déclaratifs : éléments suivis par les outils de gestion du cycle de vie de l'IA (comme Gemini Enterprise Agent Platform).
  • Éléments d'IA déduits : éléments à usage général (tels que les éléments de calcul et de stockage) qui traitent des données ou des charges de travail d'IA.
  • Model-as-a-Service (API uniquement) : éléments qui effectuent des appels programmatiques vers des modèles d'IA propriétaires ou tiers.

Cette section définit l'inventaire et les éléments d'IA compatibles que AI Protection peut aider à sécuriser.

  • Applications Gemini Enterprise et Agent Search : il s'agit de systèmes d'IA capables de percevoir leur environnement, de prendre des décisions et d'effectuer des actions pour atteindre des objectifs spécifiques.
  • Points de terminaison : les charges de travail des applications d'IA vont des outils internes visant à améliorer la productivité des employés aux solutions en contact avec les clients, conçues pour améliorer l'expérience utilisateur et stimuler l'activité. Il peut s'agir d'agents IA, d'assistants virtuels, de chatbots IA conversationnels et de recommandations personnalisées. La protection de l'IA les identifie comme des points de terminaison Agent Platform dans l'onglet Ressources d'IA de la page Composants.
  • Sources de données : les sources de données compatibles incluent les tables BigQuery, Cloud Storage, les ensembles de données Agent Platform et les datastores Gemini Enterprise.
  • Modèles : AI Protection identifie les modèles d'IA comme des modèles d'IA de fondation, des modèles d'IA affinés, des modèles d'IA first party standards et des modèles d'IA personnalisés. Voici quelques exemples :
    • Gemini (disponible avec les niveaux de service Premium et Enterprise (obsolète))
    • Llama
    • modèles de traduction
    • Modèles personnalisés pour des tâches spécifiques
  • Éléments d'IA : les éléments d'IA contribuent aux pipelines d'opérations de machine learning et sont utilisés par les charges de travail d'IA. Voici les types d'assets d'IA :
  • Serveurs MCP (Model Context Protocol) : AI Protection identifie les serveurs MCP répertoriés dans Agent Registry. Pour utiliser cette fonctionnalité, vous devez configurer l'API App Hub dans chaque projet qui héberge un serveur MCP.

Impacts des changements de niveau de service

Si vous passez du niveau Premium ou Enterprise au niveau Standard, ce changement affecte vos fonctionnalités de protection par IA de la manière suivante :

  • Services de détection : Security Command Center désactive les services de détection et les frameworks Compliance Manager qui ne sont pas compatibles avec le niveau Standard. Pour en savoir plus, consultez Gérer les niveaux de service dans Compliance Manager.
  • Fonctionnalités d'investigation : vous perdez l'accès aux fonctionnalités d'investigation avancées, telles que les simulations de chemin d'attaque pour les éléments d'IA, l'évaluation des failles des agents et la détection des agents disposant de privilèges excessifs.
  • Les résultats deviennent inactifs : les résultats créés par les frameworks Compliance Manager qui ne sont pas compatibles avec le niveau Standard deviennent inactifs. Pour en savoir plus, consultez Gérer les niveaux de service dans Compliance Manager.

Si vous repassez au niveau Premium ou Enterprise, Security Command Center restaure les fonctionnalités avancées, mais ne récupère pas automatiquement les déploiements de frameworks qui ont été supprimés lors du passage au niveau inférieur. Vous devez redéployer manuellement les frameworks.

Étapes suivantes