La protection de l'IA vous aide à gérer la stratégie de sécurité de vos charges de travail d'IA en détectant les menaces et en vous aidant à atténuer les risques pour votre inventaire d'assets d'IA. Ce document fournit une présentation générale d'AI Protection, y compris ses avantages et plusieurs concepts clés. La protection de l'IA est disponible avec les activations de Security Command Center au niveau de l'organisation.
Pour les niveaux de service Premium et Enterprise, lorsque Security Command Center est activé au niveau de l'organisation, la protection de l'IA permet d'obtenir une vue complète de la sécurité de l'IA dans l'ensemble de votre environnement Google Cloud . Le tableau de bord AI Protection de la console Google Cloud affiche un ensemble cohérent de widgets et de fonctionnalités, avec des données agrégées de tous les projets et ressources de l'organisation.
Fonctionnalités de la protection de l'IA
La protection de l'IA vous aide à gérer les menaces et les risques pour vos systèmes d'IA de différentes manières :
- Évaluez votre inventaire d'assets d'IA : évaluez et comprenez vos systèmes et assets d'IA à l'aide du tableau de bord de sécurité de l'IA et de l'onglet "Ressources d'IA", y compris les éléments suivants :
- Identifier les failles : identifiez les failles logicielles (CVE) dans les charges de travail agentiques déployées avec Agent Runtime.
- Identifier les risques : identifiez les risques agentiques et leur impact sur l'écosystème en fonction de la simulation de chemin d'attaque et des règles prédéfinies du graphe de sécurité, avec les agents et les serveurs MCP comme ressources de forte valeur.
- Détecter les agents disposant de trop de privilèges : détectez les agents Agent Runtime qui disposent d'autorisations excessives. (Preview)
- Gérez les risques et la conformité : gérez de manière proactive les risques liés à vos ressources d'IA et vérifiez que vos déploiements d'IA respectent les normes de sécurité pertinentes.
- Atténuez les risques juridiques et financiers : réduisez les risques financiers, réputationnels et juridiques associés aux failles de sécurité et au non-respect des réglementations.
- Détecter et gérer les menaces : détectez les menaces potentielles pour vos systèmes et ressources d'IA et réagissez en temps opportun.
- Afficher un tableau de bord : gérez tous les risques et menaces liés à l'IA depuis un tableau de bord centralisé.
Cas d'utilisation de la protection de l'IA
La protection de l'IA aide les entreprises à renforcer leur sécurité en identifiant et en atténuant les menaces et les risques liés aux systèmes d'IA et aux données sensibles. Les cas d'utilisation suivants illustrent comment la protection par IA peut être utilisée dans différentes organisations :
Établissement de services financiers : données financières des clients
Une grande institution de services financiers utilise des modèles d'IA qui traitent des données financières sensibles.
- Problème : Le traitement de données financières très sensibles avec des modèles d'IA comporte plusieurs risques, y compris le risque de fuite de données, d'exfiltration de données lors de l'entraînement ou de l'inférence, et de vulnérabilités dans l'infrastructure d'IA sous-jacente.
- Cas d'utilisation : la protection de l'IA surveille en permanence les workflows d'IA pour détecter les activités suspectes, s'efforce de détecter les accès non autorisés aux données et les comportements anormaux des modèles, classe les données sensibles et contribue à améliorer votre conformité avec les réglementations telles que PCI DSS et le RGPD.
Fournisseur de soins de santé : confidentialité et conformité des patients
Un grand prestataire de santé gère des dossiers médicaux électroniques et utilise l'IA pour les diagnostics et la planification des traitements, en traitant des informations de santé protégées (PHI).
- Défi : Les données de santé protégées analysées par les modèles d'IA sont soumises à des réglementations strictes comme la loi HIPAA. Les risques incluent l'exposition accidentelle de données de santé protégées en raison d'une mauvaise configuration ou d'attaques malveillantes ciblant les systèmes d'IA pour obtenir des données sur les patients.
- Cas d'utilisation : la protection de l'IA identifie les potentielles violations de la loi HIPAA et envoie des alertes, détecte les accès non autorisés aux données de santé protégées par des modèles ou des utilisateurs, signale les services d'IA vulnérables et potentiellement mal configurés, et surveille les fuites de données.
Entreprise de fabrication et de robotique : propriété intellectuelle propriétaire
Une entreprise manufacturière spécialisée dans la robotique avancée et l'automatisation s'appuie fortement sur l'IA pour optimiser les chaînes de production et le contrôle robotique, avec une propriété intellectuelle (PI) vitale intégrée à ses algorithmes d'IA et à ses données de fabrication.
- Problème : les algorithmes d'IA propriétaires et les données opérationnelles sensibles sont vulnérables au vol par des personnes internes malveillantes ou des adversaires externes, ce qui peut entraîner un désavantage concurrentiel ou une perturbation opérationnelle.
- Cas d'utilisation : AI Protection surveille les accès non autorisés aux modèles d'IA et aux dépôts de code, détecte les tentatives d'exfiltration de modèles entraînés et les schémas d'accès aux données inhabituels, et signale les failles dans les environnements de développement d'IA pour empêcher le vol de propriété intellectuelle.
Règles Event Threat Detection pour les composants Gemini Enterprise Agent Platform
Event Threat Detection détecte plusieurs menaces potentielles impliquant des assets Gemini Enterprise Agent Platform, comme une activité anormale du compte de service, des modifications d'autorisations sensibles et l'utilisation abusive d'une identité agentique.
Voici les catégories de résultats qui s'appliquent aux composants d'IA :
- Persistance : Nouvelle méthode d'API d'IA
- Persistance : nouvelle zone géographique pour le service d'IA
- Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour une activité d'administration d'IA
- Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour l'accès à des données d'IA
- Élévation des privilèges : délégation de compte de service multi-étapes anormale pour une activité d'administration d'IA
- Élévation des privilèges : délégation de compte de service multi-étapes anormale pour l'accès à des données d'IA
- Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour une activité d'administration d'IA
- Accès initial : activité de compte de service inactif dans le service d'IA
- Persistance : octroi anormal d'autorisations IAM à une identité agentique
- Accès aux identifiants : identifiant d'identité agentique utilisé en dehors de Google Cloud
- Persistance : autorisation liée à l'IA sensible ajoutée à un rôle personnalisé
- Persistance : rôle sensible accordé par un agent IA
- Persistance : rôle sensible attribué à un agent IA externe
- Évasion de la défense : rôle TokenCreator au niveau du projet attribué à un agent IA
- Contournement des défenses : rôle TokenCreator au niveau du dossier attribué à un agent IA
- Éviction de défense : rôle TokenCreator au niveau de l'organisation attribué à un agent IA
Pour obtenir la liste complète des résultats Event Threat Detection qui s'appliquent aux composants d'IA, consultez Services de détection.
Agent Platform Threat Detection pour Agent Runtime
Agent Platform Threat Detection fournit une détection des menaces d'exécution pour les agents déployés dans Agent Runtime. Il surveille les agents en cours d'exécution pour détecter les attaques potentielles et génère des résultats dans Security Command Center.
Agent Platform Threat Detection peut générer des résultats pour Agent Runtime, y compris pour les catégories suivantes :
- Commande et contrôle : outil de stéganographie détecté
- Accès aux identifiants : recherchez les identifiants Google Cloud
- Accès aux identifiants : reconnaissance des clés GPG
- Accès aux identifiants : rechercher des clés privées ou des mots de passe
- Éviction de défense : ligne de commande avec fichier ELF en base64
- Évasion de la défense : script Python encodé en base64 exécuté
- Évasion de la défense : script shell encodé en base64 exécuté
- Évasion de la défense : lancer un outil de compilation de code dans un conteneur
- Exécution : exécution de code Netcat à distance dans un conteneur
- Exécution : exécution possible de commandes arbitraires via CUPS (CVE-2024-47177)
- Exécution : exécution possible de commandes à distance détectée
- Exécution : exécution d'un programme avec un environnement de proxy HTTP non autorisé
- Exécution : shell inversé de Socat détecté
- Exécution : objet partagé OpenSSL suspect chargé
- Exfiltration : lancer des outils de copie de fichiers à distance dans un conteneur
- Impact : détecter les lignes de commande malveillantes
- Impact : supprimer des données du disque de manière groupée
- Impact : activité de minage de cryptomonnaie suspecte utilisant le protocole Stratum
- Élévation des privilèges : utilisation abusive de Sudo pour l'élévation des privilèges (CVE-2019-14287)
- Élévation des privilèges : faille liée à l'élévation des privilèges locaux de Polkit (CVE-2021-4034)
- Élévation des privilèges : élévation potentielle des privilèges de Sudo (CVE-2021-3156)
- Exécution : code Python malveillant exécuté
- Exécution : échappement de conteneur
- Exécution : exécution d'un outil d'attaque de Kubernetes
- Exécution : exécution d'un outil de reconnaissance local
- Impact : script malveillant exécuté
- Impact : URL malveillante observée
- Exécution : shell enfant inattendu
Pour obtenir la liste complète des résultats de détection des menaces de l'Agent Platform, consultez Services de détection.
Framework de protection de l'IA
La protection de l'IA utilise un framework qui inclut des contrôles cloud spécifiques déployés automatiquement en mode Détection. Le mode Détective signifie que le contrôle cloud est appliqué aux ressources définies à des fins de surveillance. Tous les cas de non-respect des règles sont détectés et des alertes sont générées. Vous utilisez des frameworks et des contrôles cloud pour définir vos exigences en matière de protection de l'IA et les appliquer à votre environnement Google Cloud . La protection de l'IA inclut le cadre par défaut, qui définit les contrôles de base recommandés pour la protection de l'IA. Lorsque vous activez la protection de l'IA, le framework par défaut est automatiquement appliqué à l'organisation Google Cloud en mode détection.
Si nécessaire, vous pouvez créer des copies du framework pour créer des frameworks de protection de l'IA personnalisés. Vous pouvez ajouter les contrôles cloud à vos frameworks personnalisés et les appliquer à l'organisation, aux dossiers ou aux projets. Par exemple, vous pouvez créer des frameworks personnalisés qui appliquent des contrôles juridictionnels spécifiques à des dossiers spécifiques pour vous assurer que les données de ces dossiers restent dans une région géographique particulière.
Contrôles cloud dans le framework de protection de l'IA par défaut
Pour en savoir plus sur les contrôles cloud utilisés par le framework de protection de l'IA, consultez Principes essentiels de l'IA recommandés par Google : Vertex AI.
Fonctionnalités compatibles avec la protection de l'IA
Cette section définit les domaines fonctionnels que la protection de l'IA peut aider à sécuriser.
- Charges de travail d'IA : les charges de travail des applications d'IA vont des outils internes visant à améliorer la productivité des employés aux solutions en contact avec les clients, conçues pour améliorer l'expérience utilisateur et stimuler l'activité. Il peut s'agir, par exemple, d'agents d'IA, d'assistants virtuels, de chatbots d'IA conversationnelle ou de recommandations personnalisées.
- Agents IA : il s'agit de systèmes d'IA capables de percevoir leur environnement, de prendre des décisions et d'effectuer des actions pour atteindre des objectifs spécifiques.
- Modèles d'IA : les modèles d'IA sont classés en modèles de fondation d'IA, modèles d'IA affinés, modèles d'IA first party standards et modèles d'IA personnalisés. Par exemple, Gemini, Llama, les modèles de traduction et les modèles personnalisés pour des tâches spécifiques.
- Composants d'IA : les composants d'IA contribuent aux pipelines d'opérations de machine learning et sont utilisés par les charges de travail d'IA. Voici quelques exemples de composants d'IA :
- Ressources d'IA déclaratives : les outils de gestion du cycle de vie de l'IA, tels que Gemini Enterprise Agent Platform, suivent ces ressources.
- Composants d'IA inférés : composants à usage général, tels que les composants de calcul et de stockage, utilisés pour traiter les données ou les charges de travail d'IA.
- Modèle en tant que service (API uniquement) : composants comportant des appels programmatiques vers des modèles d'IA first party ou tiers.
- Ressources d'IA fantôme : ressources et charges de travail d'IA non approuvées ou non gérées. Les ressources d'IA fantôme ne sont pas compatibles avec Security Command Center dans la console Google Cloud .
Étapes suivantes
- Configurer la protection de l'IA
- Examiner la sécurité de l'IA
- Accéder aux données du tableau de bord