La protection de l'IA vous aide à gérer la stratégie de sécurité de vos charges de travail d'IA en détectant les menaces et en vous aidant à atténuer les risques liés à votre inventaire d'assets d'IA. Ce document fournit une présentation générale de la protection de l'IA, y compris ses avantages et plusieurs concepts clés. La protection de l'IA est disponible avec les activations de Security Command Center au niveau de l'organisation.
Pour les niveaux de service Premium et Enterprise, lorsque Security Command Center est activé au niveau de l'organisation, la protection de l'IA vous offre une vue complète de la sécurité de l'IA dans l'ensemble de votre Google Cloud environnement. Le tableau de bord protection de l'IA de la Google Cloud console affiche un ensemble cohérent de widgets et de fonctionnalités, avec des données agrégées de tous les projets et ressources de l'organisation.
Fonctionnalités de protection de l'IA
La protection de l'IA vous aide à gérer les menaces et les risques liés à vos systèmes d'IA de différentes manières :
- Évaluez votre inventaire d'éléments d'IA : évaluez et comprenez vos systèmes et éléments d'IA, y compris les éléments suivants
- Identifiez les failles : identifiez les failles logicielles (CVE) dans les charges de travail agentives déployées avec Agent Runtime.
- Identifiez les risques : identifiez les risques agentifs et leur impact sur l’écosystème en fonction de la simulation de chemin d’attaque et des règles de graphique de sécurité prédéfinies, avec les agents et les serveurs MCP comme ressources à forte valeur ajoutée.
- Détectez les agents disposant de privilèges excessifs : détectez les agents Agent Runtime qui disposent d'autorisations excessives. (Vorschau)
- Gérez les risques et la conformité : gérez de manière proactive les risques liés à vos éléments d'IA et vérifiez que vos déploiements d'IA respectent les normes de sécurité pertinentes.
- Atténuez les risques juridiques et financiers : réduisez les risques financiers, de réputation, et juridiques associés aux failles de sécurité et au non-respect des réglementations.
- Détectez et gérez les menaces : détectez les menaces potentielles qui pèsent sur vos systèmes et éléments d'IA et réagissez-y rapidement.
- Affichez un seul tableau de bord : gérez tous vos risques et menaces liés à l'IA à partir d' un tableau de bord centralisé.
Cas d'utilisation de la protection de l'IA
La protection de l'IA aide les organisations à renforcer leur sécurité en identifiant et en atténuant les menaces et les risques liés aux systèmes d'IA et aux données sensibles. Les cas d'utilisation suivants illustrent comment la protection de l'IA peut être utilisée dans différentes organisations :
Établissement de services financiers : données financières des clients
Un grand établissement de services financiers utilise des modèles d'IA qui traitent des données financières sensibles.
- Défi : le traitement de données financières hautement sensibles avec des modèles d'IA comporte plusieurs risques, y compris le risque de violation de données, d'exfiltration de données lors de l'entraînement ou de l'inférence, et de failles dans l'infrastructure d'IA sous-jacente.
- Cas d'utilisation : la protection de l'IA surveille en permanence les workflows d'IA pour détecter les activités suspectes, identifier les accès non autorisés aux données et les comportements anormaux des modèles, classer les données sensibles et vous aider à améliorer votre conformité avec les réglementations telles que PCI DSS et le RGPD.
Prestataire de santé : confidentialité et conformité des patients
Un grand prestataire de santé gère des dossiers médicaux électroniques et utilise l'IA pour le diagnostic et la planification du traitement, en traitant des informations de santé protégées.
- Défi : les données de santé protégées analysées par les modèles d'IA sont soumises à des réglementations strictes telles que la loi HIPAA. Les risques incluent l'exposition accidentelle des données de santé protégées en raison d'erreurs de configuration ou d'attaques malveillantes ciblant les systèmes d'IA pour les données des patients.
- Cas d'utilisation : AI Protection identifie les violations potentielles de la loi HIPAA et génère des alertes, détecte les accès non autorisés aux données de santé protégées par des modèles ou des utilisateurs, signale les services d'IA vulnérables et potentiellement mal configurés, et surveille les fuites de données.
Entreprise de fabrication et de robotique : propriété intellectuelle exclusive
Une entreprise de fabrication spécialisée dans la robotique et l'automatisation avancées s'appuie fortement sur l'IA pour optimiser les chaînes de production et le contrôle robotique, avec une propriété intellectuelle essentielle intégrée à ses algorithmes d'IA et à ses données de fabrication.
- Défi : les algorithmes d'IA propriétaires et les données opérationnelles sensibles sont vulnérables au vol par des menaces internes ou des adversaires externes, ce qui peut entraîner un désavantage concurrentiel ou une interruption opérationnelle.
- Cas d'utilisation : la protection de l'IA surveille les accès non autorisés aux modèles d'IA et aux dépôts de code, détecte les tentatives d'exfiltration de modèles entraînés et les schémas d'accès aux données inhabituels, et signale les failles dans les environnements de développement d'IA pour empêcher le vol de propriété intellectuelle.
Règles d'Event Threat Detection pour les éléments de la plate-forme d'agents Gemini Enterprise
Event Threat Detection détecte plusieurs menaces potentielles impliquant des éléments de la plate-forme d'agents Gemini Enterprise, tels que des activités de compte de service anormales, des modifications d'autorisations sensibles et des utilisations abusives d'identités agentives.
Les catégories de résultats qui s'appliquent aux éléments d'IA incluent les suivantes :
- Persistance : nouvelle méthode d'API d'IA
- Persistance : nouvelle zone géographique pour le service d'IA
- Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour une activité d'administration d'IA
- Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour l'accès à des données d'IA
- Élévation des privilèges : délégation de compte de service multi-étapes anormale pour une activité d'administration d'IA
- Élévation des privilèges : délégation de compte de service multi-étapes anormale pour l'accès à des données d'IA
- Élévation des privilèges : emprunt d'identité anormal d'un compte de service pour une activité d'administration d'IA
- Accès initial : activité du compte de service inactif dans le service d'IA
- Persistance : octroi anormal d'autorisations IAM à une identité agentique
- Accès aux identifiants : identifiants d'identité agentive utilisés en dehors de Google Cloud
- Persistance : autorisation liée à l'IA sensible ajoutée à un rôle personnalisé
- Persistance : rôle sensible accordé par un agent IA
- Persistance : rôle sensible attribué à un agent IA externe
- Évasion de la défense : rôle TokenCreator au niveau du projet attribué à un agent IA
- Évasion de la défense : rôle TokenCreator au niveau du dossier attribué à un agent IA
- Évasion de la défense : rôle TokenCreator au niveau de l'organisation attribué à un agent IA
Pour obtenir la liste complète des résultats d'Event Threat Detection qui s'appliquent aux éléments d'IA, consultez Services de détection.
Agent Platform Threat Detection pour Agent Runtime
Agent Platform Threat Detection fournit une détection des menaces au moment de l'exécution pour les agents déployés sur Agent Runtime. Il surveille les agents en cours d'exécution pour détecter les attaques potentielles et génère des résultats dans Security Command Center.
Agent Platform Threat Detection peut générer des résultats pour Agent Runtime, y compris les catégories suivantes :
- Commandes et contrôle : outil de stéganographie détecté
- Accès aux identifiants : Find Google Cloud Credentials
- Accès aux identifiants : reconnaissance des clés GPG
- Accès aux identifiants : recherche de clés privées ou de mots de passe
- Évasion de la défense : ligne de commande avec fichier ELF en base64
- Évasion de la défense : script Python encodé en base64 exécuté
- Évasion de la défense : script shell encodé en base64 exécuté
- Évasion de la défense : lancement d'un outil de compilation de code dans un conteneur
- Exécution : exécution de code Netcat à distance dans un conteneur
- Exécution : exécution possible de commandes arbitraires via CUPS (CVE-2024-47177)
- Exécution : exécution possible de commandes à distance détectée
- Exécution : exécution d'un programme avec un environnement de proxy HTTP non autorisé
- Exécution : shell inversé de Socat détecté
- Exécution : objet partagé OpenSSL suspect chargé
- Exfiltration : lancement d'outils de copie de fichiers à distance dans un conteneur
- Impact : détection de lignes de commande malveillantes
- Impact : suppression des données du disque de manière groupée
- Impact : activité de minage de cryptomonnaie suspecte utilisant le protocole Stratum
- Élévation des privilèges : utilisation abusive de Sudo pour l'élévation des privilèges (CVE-2019-14287)
- Élévation des privilèges : faille liée à l'élévation des privilèges locaux de Polkit (CVE-2021-4034)
- Élévation des privilèges : élévation potentielle des privilèges de Sudo (CVE-2021-3156)
- Exécution : code Python malveillant exécuté
- Exécution : fuite du conteneur
- Exécution : exécution d'un outil d'attaque de Kubernetes
- Exécution : exécution d'un outil de reconnaissance local
- Impact : script malveillant exécuté
- Impact : URL malveillante observée
- Exécution : shell enfant inattendu
Pour obtenir la liste complète des résultats d'Agent Platform Threat Detection, consultez Services de détection.
Framework de protection de l'IA
La protection de l'IA utilise un framework qui inclut des contrôles cloud spécifiques déployés automatiquement en mode détective. Le mode détective signifie que le contrôle cloud est appliqué aux ressources définies à des fins de surveillance. Tous les cas de non-respect des règles sont détectés et des alertes sont générées. Vous utilisez des frameworks et des contrôles cloud pour définir vos exigences en matière de protection de l'IA et les appliquer à votre Google Cloud environnement. La protection de l'IA inclut le framework par défaut, qui définit les contrôles de base recommandés pour la protection de l'IA. Lorsque vous activez la protection de l'IA, le framework par défaut est automatiquement appliqué à l'organisation en mode détective. Google Cloud
Si nécessaire, vous pouvez créer des copies du framework pour créer des frameworks de protection de l'IA personnalisés. Vous pouvez ajouter les contrôles cloud à vos frameworks personnalisés et les appliquer à l'organisation, aux dossiers ou aux projets. Par exemple, vous pouvez créer des frameworks personnalisés qui appliquent des contrôles juridictionnels spécifiques à des dossiers spécifiques pour vous assurer que les données de ces dossiers restent dans une région géographique particulière.
Contrôles cloud dans le framework AI Protection par défaut
Pour en savoir plus sur les contrôles cloud utilisés par le framework de protection de l'IA, consultez Google Recommended Principes essentiels de l'IA - Vertex AI.
Domaines fonctionnels compatibles avec la protection de l'IA
Cette section définit les domaines fonctionnels que la protection de l'IA peut aider à sécuriser.
- Charges de travail d'IA : les charges de travail des applications d'IA vont des outils internes visant à améliorer la productivité des employés aux solutions en contact avec les clients conçues pour améliorer l'expérience utilisateur et stimuler l'activité. Par exemple, les agents d'IA, les assistants virtuels, les chatbots d'IA conversationnelle et les recommandations personnalisées.
- Agents d'IA : les agents d'IA sont des systèmes d'IA capables de percevoir leur environnement, de prendre des décisions et d'effectuer des actions pour atteindre des objectifs spécifiques.
- Modèles d'IA : les modèles d'IA sont classés en modèles d'IA de base, modèles d'IA affinés, modèles d'IA first party standards et modèles d'IA personnalisés. Par exemple, Gemini, Llama, modèles de traduction, et modèles personnalisés pour des tâches spécifiques.
- Éléments d'IA : les éléments d'IA contribuent aux pipelines d'opérations de machine learning
et sont utilisés par les charges de travail d'IA. Les types d'éléments d'IA incluent les suivants :
- Éléments d'IA déclaratifs : outils de gestion du cycle de vie de l'IA, tels que la plate-forme d'agents Gemini Enterprise, qui suivent ces éléments.
- Éléments d'IA inférés : éléments à usage général, tels que les éléments de calcul et de stockage, utilisés pour traiter les données ou les charges de travail d'IA.
- Modèle en tant que service (API uniquement) : éléments qui comportent des appels programmatiques vers des modèles d'IA first party ou tiers.
Utiliser le tableau de bord AI Security
Le tableau de bord AI Security vous permet de visualiser l'inventaire des éléments d'IA de votre organisation et d'examiner les atténuations proposées pour les risques et les menaces.
Accéder au tableau de bord AI Security
Pour accéder au tableau de bord AI Security, dans la Google Cloud console, accédez à la page Présentation des risques > AI Security :
Pour en savoir plus, consultez Tableau de bord AI Security.
Comprendre la gestion des risques pour les systèmes d'IA
Cette section fournit des informations sur les risques potentiels associés aux systèmes d'IA. Vous pouvez afficher les principaux risques dans votre inventaire d'IA.
Vous pouvez cliquer sur n'importe quel problème pour ouvrir un volet d'informations qui fournit une visualisation du problème.
Afficher les menaces liées à l'IA
Cette section fournit des insights sur les menaces associées aux systèmes d'IA. Vous pouvez afficher les cinq principales menaces récentes associées à vos ressources d'IA.
Sur cette page, vous pouvez effectuer les opérations suivantes :
- Cliquez sur Tout afficher pour afficher les menaces associées à vos ressources d'IA.
- Cliquez sur une menace pour afficher plus de détails à son sujet.
Visualiser votre inventaire d'IA
Vous pouvez afficher une visualisation de votre inventaire d'IA sur le tableau de bord, qui fournit un résumé des projets impliquant l'IA générative, des modèles first party et tiers en cours d'utilisation, et des ensembles de données utilisés pour entraîner les modèles tiers.
Sur cette page, vous pouvez effectuer les opérations suivantes :
- Pour afficher la page d'informations de l'inventaire, cliquez sur l'un des nœuds de la visualisation.
- Pour afficher une liste détaillée des éléments individuels (tels que les modèles de base et les modèles personnalisés), cliquez sur l'info-bulle.
- Pour ouvrir une vue détaillée du modèle, cliquez dessus. Cette vue affiche des détails tels que les points de terminaison où le modèle est hébergé et l'ensemble de données utilisé pour entraîner le modèle. Si Sensitive Data Protection est activé, la vue des ensembles de données indique également si l'ensemble de données contient des données sensibles.
Examiner le résumé des résultats du framework d'IA
Cette section vous aide à évaluer et à gérer les résultats du framework d'IA et des règles de sécurité des données, et comprend les éléments suivants :
- Résultats : cette section affiche un résumé des résultats générés par les règles de sécurité de l'IA et les règles de sécurité des données. Cliquez sur Afficher tous les résultats ou sur le nombre correspondant à chaque catégorie de résultats pour afficher des informations sur le résultat. Cliquez sur un résultat pour afficher des informations supplémentaires à son sujet.
- Données sensibles dans les ensembles de données Vertex AI : cette section affiche un résumé des résultats basés sur les données sensibles des ensembles de données, tels que signalés par Sensitive Data Protection. Pour en savoir plus, consultez Présentation de la plate-forme d'agents Gemini Enterprise.
Examiner les résultats de Model Armor
Un graphique indique le nombre total de prompts ou de réponses analysés par Model Armor et le nombre de problèmes détectés par Model Armor. En outre, le graphique affiche des statistiques récapitulatives pour différents types de problèmes détectés, tels que l'injection de prompts et la détection de jailbreak, ainsi que la détection de données sensibles. Pour les charges de travail agentives, Model Armor peut être configuré sur Agent Gateway (Preview) pour filtrer les prompts et les réponses envoyés aux agents et reçus d'eux.
Ces informations sont renseignées en fonction des métriques que Model Armor publie dans Cloud Monitoring. Pour en savoir plus, consultez Présentation de Model Armor.
Étape suivante
- Découvrez comment configurer AI Protection.
- Pour évaluer les risques, accédez aux données du tableau de bord.