Présentation de la protection de l'IA

La protection de l'IA vous aide à gérer la stratégie de sécurité de vos charges de travail d'IA en détectant les menaces et en vous aidant à atténuer les risques liés à votre inventaire d'éléments d'IA. Ce document fournit une présentation générale de la protection de l'IA, y compris ses avantages et plusieurs concepts clés. La protection de l'IA est disponible avec les activations de Security Command Center au niveau de l'organisation et du projet.

Pour les niveaux de service Premium et Enterprise (obsolètes), la protection de l'IA vous permet d'avoir une vue de la sécurité de l'IA dans votre Google Cloud environnement.

Lorsque Security Command Center est activé au niveau de l'organisation, le tableau de bord Protection de l'IA de la Google Cloud console affiche un ensemble cohérent de widgets et de fonctionnalités, avec des données agrégées de tous les projets et ressources de l'organisation.

Lorsque Security Command Center est activé au niveau du projet, le tableau de bord Protection de l'IA affiche des données limitées à ce projet.

Fonctionnalités de la protection de l'IA

La protection de l'IA vous aide à gérer les menaces et les risques liés à vos systèmes d'IA de plusieurs manières :

  • Évaluer votre inventaire d'éléments d'IA : évaluez et comprenez vos systèmes et éléments d'IA à l'aide du tableau de bord AI Security et de l'onglet "AI resources" (Ressources d'IA), y compris les éléments suivants :
    • Modèles
    • Sources de données
    • Points de terminaison
    • Agents
    • Serveurs MCP (Model Context Protocol) catalogués dans le registre des agents. La découverte des serveurs MCP nécessite que l'API App Hub (apphub.googleapis.com) soit activée dans chaque projet hébergeant un serveur MCP.
  • Identifier les failles : identifiez les failles logicielles (CVE) dans les charges de travail agentiques déployées avec Agent Runtime.
  • Identifier les risques : identifiez les risques agentiques et leur impact sur l’écosystème en fonction de la simulation du chemin d’attaque et des règles prédéfinies du graphique de sécurité, avec les agents et les serveurs MCP comme ressources à forte valeur ajoutée.
  • Détecter les agents disposant de privilèges excessifs : détectez les agents Agent Runtime qui disposent d'autorisations excessives.
  • Gérer les risques et la conformité : gérez de manière proactive les risques liés à vos éléments d’IA et vérifiez que vos déploiements d’IA respectent les normes de sécurité pertinentes.
  • Atténuer les risques juridiques et financiers : réduisez les risques financiers, de réputation, et juridiques associés aux violations de sécurité et au non-respect des réglementations.
  • Détecter et gérer les menaces : détectez les menaces potentielles qui pèsent sur vos systèmes et éléments d'IA et réagissez-y rapidement.
  • Afficher un seul tableau de bord : gérez tous vos risques et menaces liés à l'IA à partir d' un tableau de bord centralisé.

Cas d'utilisation de la protection de l'IA

La protection de l'IA aide les organisations à renforcer leur sécurité en identifiant et en atténuant les menaces et les risques liés aux systèmes d'IA et aux données sensibles. Les cas d'utilisation suivants montrent comment la protection de l'IA peut être utilisée dans différentes organisations :

  • Établissement de services financiers : données financières des clients

    Un grand établissement de services financiers utilise des modèles d'IA qui traitent des données financières sensibles.

    • Problématique : le traitement de données financières très sensibles avec des modèles d'IA comporte plusieurs risques, y compris le risque de violation de données, d'exfiltration de données pendant l'entraînement ou l'inférence, et de failles dans l'infrastructure d'IA sous-jacente.
    • Cas d'utilisation : la protection de l'IA surveille en permanence les workflows d'IA pour détecter les activités suspectes, les accès non autorisés aux données et les comportements anormaux des modèles, effectue la classification des données sensibles et vous aide à améliorer votre conformité avec des réglementations telles que PCI DSS et le RGPD.

  • Prestataire de santé : confidentialité et conformité des patients

    Un grand prestataire de santé gère des dossiers médicaux électroniques et utilise l'IA pour les diagnostics et la planification des traitements, en traitant des données de santé protégées.

    • Problématique : les données de santé protégées analysées par les modèles d'IA sont soumises à des réglementations strictes comme la loi HIPAA. Les risques incluent l'exposition accidentelle des données de santé protégées en raison d'erreurs de configuration ou d'attaques malveillantes ciblant les systèmes d'IA pour les données des patients.
    • Cas d'utilisation : la protection de l'IA identifie les violations potentielles de la loi HIPAA et les accès non autorisés aux données de santé protégées par les modèles ou les utilisateurs, et envoie des alertes. Elle signale également les services d'IA vulnérables et potentiellement mal configurés, et surveille les fuites de données.

  • Entreprise de fabrication et de robotique : propriété intellectuelle propriétaire

    Une entreprise de fabrication spécialisée dans la robotique avancée et l'automatisation s'appuie fortement sur l'IA pour optimiser les chaînes de production et le contrôle robotique, avec une propriété intellectuelle essentielle intégrée à ses algorithmes d'IA et à ses données de fabrication.

    • Problématique : les algorithmes d'IA propriétaires et les données opérationnelles sensibles sont vulnérables au vol par des menaces internes ou des adversaires externes, ce qui peut entraîner un désavantage concurrentiel ou une interruption opérationnelle.
    • Cas d'utilisation : la protection de l'IA surveille les accès non autorisés aux modèles d'IA et aux dépôts de code, détecte les tentatives d'exfiltration de modèles entraînés et les schémas d'accès aux données inhabituels, et signale les failles dans les environnements de développement d'IA pour empêcher le vol de propriété intellectuelle.

Règles d'Event Threat Detection pour les éléments de Gemini Enterprise Agent Platform

Event Threat Detection détecte plusieurs menaces potentielles impliquant des éléments de Gemini Enterprise Agent Platform, tels que les activités anormales des comptes de service, les modifications d'autorisations sensibles et l'utilisation abusive des identités agentiques.

Les catégories de résultats qui s'appliquent aux éléments d'IA incluent les suivantes :

  • Persistance : nouvelle méthode d'API d'IA
  • Persistance : nouvelle zone géographique pour le service d'IA
  • Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour une activité d'administration d'IA
  • Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour l'accès à des données d'IA
  • Élévation des privilèges : délégation de compte de service multi-étapes anormale pour une activité d'administration d'IA
  • Élévation des privilèges : délégation de compte de service multi-étapes anormale pour l'accès à des données d'IA
  • Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour une activité d'administration d'IA
  • Accès initial : activité du compte de service inactif dans le service d'IA
  • Persistance : octroi anormal d'autorisations IAM à une identité agentique
  • Accès aux identifiants : identifiants d'identité agentique utilisés en dehors de Google Cloud
  • Persistance : autorisation liée à l'IA sensible ajoutée à un rôle personnalisé
  • Persistance : rôle sensible accordé par un agent IA
  • Persistance : rôle sensible attribué à un agent IA externe
  • Évasion de la défense : rôle TokenCreator au niveau du projet attribué à un agent IA
  • Évasion de la défense : rôle TokenCreator au niveau du dossier attribué à un agent IA
  • Évasion de la défense : rôle TokenCreator au niveau de l'organisation attribué à un agent IA

Pour obtenir la liste complète des résultats d'Event Threat Detection qui s'appliquent aux éléments d'IA, consultez la section Services de détection.

Agent Platform Threat Detection pour Agent Runtime

Agent Platform Threat Detection fournit une détection des menaces au moment de l'exécution pour les agents déployés sur Agent Runtime. Il surveille les agents en cours d'exécution pour détecter les attaques potentielles et génère des résultats dans Security Command Center.

Agent Platform Threat Detection peut générer des résultats pour Agent Runtime, y compris les catégories suivantes :

  • Commandes et contrôle : outil de stéganographie détecté
  • Accès aux identifiants : Find Google Cloud Credentials
  • Accès aux identifiants : reconnaissance des clés GPG
  • Accès aux identifiants : recherche de clés privées ou de mots de passe
  • Évasion de la défense : ligne de commande avec fichier ELF en base64
  • Évasion de la défense : script Python encodé en base64 exécuté
  • Évasion de la défense : script shell encodé en base64 exécuté
  • Évasion de la défense : lancement d'un outil de compilation de code dans un conteneur
  • Exécution : exécution de code Netcat à distance dans un conteneur
  • Exécution : exécution possible de commandes arbitraires via CUPS (CVE-2024-47177)
  • Exécution : exécution possible de commandes à distance détectée
  • Exécution : exécution d'un programme avec un environnement de proxy HTTP non autorisé
  • Exécution : shell inversé de Socat détecté
  • Exécution : objet partagé OpenSSL suspect chargé
  • Exfiltration : lancement d'outils de copie de fichiers à distance dans un conteneur
  • Impact : détection de lignes de commande malveillantes
  • Impact : suppression des données du disque de manière groupée
  • Impact : activité de minage de cryptomonnaie suspecte utilisant le protocole Stratum
  • Élévation des privilèges : utilisation abusive de Sudo pour l'élévation des privilèges (CVE-2019-14287)
  • Élévation des privilèges : faille liée à l'élévation des privilèges locaux de Polkit (CVE-2021-4034)
  • Élévation des privilèges : élévation potentielle des privilèges de Sudo (CVE-2021-3156)
  • Exécution : code Python malveillant exécuté
  • Exécution : fuite du conteneur
  • Exécution : exécution d'un outil d'attaque de Kubernetes
  • Exécution : exécution d'un outil de reconnaissance local
  • Impact : script malveillant exécuté
  • Impact : URL malveillante observée
  • Exécution : shell enfant inattendu

Pour obtenir la liste complète des résultats d'Agent Platform Threat Detection, consultez la section Services de détection.

Framework de protection de l'IA

La protection de l'IA utilise un framework de sécurité composé de contrôles cloud qui sont déployés automatiquement en mode détective. En mode détective, le système applique des contrôles cloud aux ressources définies à des fins de surveillance. Si le système détecte des violations, il génère des alertes.

Vous pouvez utiliser des frameworks et des contrôles cloud pour définir vos exigences en matière de protection de l'IA et les appliquer à votre Google Cloud environnement.

Framework par défaut

La protection de l'IA inclut un framework par défaut qui définit les contrôles de base recommandés. Lorsque vous activez la protection de l'IA, le framework par défaut est automatiquement appliqué à votre Google Cloud organisation ou projet.

Pour en savoir plus sur les contrôles cloud utilisés par le framework par défaut, consultez la section Google Recommended Principes essentiels de l'IA - Vertex AI.

Frameworks personnalisés

Si vous devez personnaliser ces exigences, vous pouvez créer des frameworks personnalisés en copiant le framework par défaut :

  • Personnalisation : vous pouvez ajouter ou supprimer des contrôles cloud dans vos frameworks personnalisés pour qu'ils correspondent à vos règles de sécurité.
  • Application ciblée : vous pouvez appliquer des frameworks personnalisés à des organisations, des dossiers ou des projets spécifiques. Par exemple, vous pouvez appliquer des contrôles juridictionnels spécifiques à des dossiers spécifiques pour vous assurer que les données restent dans une région géographique particulière.
  • Limitation : vous ne pouvez pas attribuer de frameworks de protection de l'IA aux applications.

Domaines fonctionnels compatibles avec la protection de l'IA

Cette section définit les domaines fonctionnels que la protection de l'IA peut aider à sécuriser.

  • Charges de travail d'IA : les charges de travail des applications d'IA vont des outils internes visant à améliorer la productivité des employés aux solutions en contact avec les clients conçues pour améliorer l'expérience utilisateur et stimuler l'activité. Par exemple, les agents d'IA, les assistants virtuels, les chatbots d'IA conversationnelle et les recommandations personnalisées.
  • Agents d'IA : les agents d'IA sont des systèmes d'IA capables de percevoir leur environnement, de prendre des décisions et d'effectuer des actions pour atteindre des objectifs spécifiques.
  • Modèles d'IA : les modèles d'IA sont classés en modèles d'IA de base, modèles d'IA affinés, modèles d'IA propriétaires standards et modèles d'IA personnalisés. Par exemple, Gemini, Llama, modèles de traduction, et modèles personnalisés pour des tâches spécifiques.
  • Éléments d'IA : les éléments d'IA contribuent aux pipelines d'opérations de machine learning et sont utilisés par les charges de travail d'IA. Les types d'éléments d'IA incluent les suivants :
    • Éléments d'IA déclaratifs : les outils de gestion du cycle de vie de l'IA, tels que Gemini Enterprise Agent Platform, suivent ces éléments.
    • Éléments d'IA inférés : éléments à usage général, tels que les éléments de calcul et de stockage, utilisés pour traiter les données ou les charges de travail d'IA.
    • Modèle en tant que service (API uniquement) : éléments qui comportent des appels programmatiques à des modèles d'IA propriétaires ou tiers.
    • Ressources d'IA fantômes : éléments et charges de travail d'IA non autorisés ou non gérés. Les ressources d'IA fantômes ne sont pas compatibles avec Security Command Center dans la Google Cloud console.

Étape suivante