Les modèles d'IA générative comme Gemini nécessitent des mesures de sécurité robustes pour atténuer les risques tels que la génération de contenus nuisibles, la fuite d'informations sensibles ou l'utilisation abusive. Gemini Enterprise Agent Platform fournit une suite d'outils et de pratiques pour implémenter une sécurité globale pour vos modèles Gemini.
Risques potentiels pour la sécurité et stratégies d'atténuation
Lorsque vous déployez des modèles Gemini, il est essentiel d'identifier et d'atténuer divers risques potentiels. Une approche proactive pour comprendre ces risques permet de mettre en œuvre plus efficacement les mesures de sécurité. Une approche multicouche de la sécurité est essentielle, car elle peut atténuer ou prévenir :
- Risques liés au contenu : cela peut inclure du contenu dangereux, des propos vulgaires et de la sexualisation, ainsi que du contenu violent et sanglant.
- Risques liés à la brand safety : il est possible que le contenu généré ne corresponde pas au ton ou aux valeurs de votre marque, qu'il fasse la promotion de concurrents ou de produits inappropriés, ou qu'il génère du contenu pouvant nuire à votre réputation.
- Risques d'alignement : le contenu généré peut être non pertinent ou inexact.
- Risques liés à la sécurité et à la confidentialité : le contenu généré peut divulguer des données d'entraînement ou des prompts sensibles. De plus, des utilisateurs malveillants peuvent tenter de forcer le modèle à ignorer les protocoles de sécurité ou à se comporter de manière inattendue.
Nos modèles déployés offrent diverses fonctionnalités pour résoudre ces problèmes potentiels :
- Le modèle par défaut et les filtres non configurables offrent un filet de sécurité général.
- Les instructions système fournissent des conseils directs au modèle sur le comportement à adopter et les sujets à éviter.
- Les filtres de contenu vous permettent de définir des seuils spécifiques pour les types de préjudices courants.
- Gemini comme filtre offre un point de contrôle avancé et personnalisable pour les problèmes de sécurité complexes ou nuancés qui pourraient échapper aux couches précédentes ou nécessiter une évaluation plus contextuelle.
- La protection des données sensibles s'attaque spécifiquement au risque critique de fuite de données sensibles, au cas où le modèle y aurait accès. Il permet également de créer des listes de blocage personnalisées.
- Model Armor offre une protection de niveau entreprise contre l'injection de prompt et le jailbreaking, les contenus nuisibles, l'exposition de données sensibles et la détection de logiciels malveillants.
- Les informations d'identification du contenu ajoutent des métadonnées C2PA signées de manière cryptographique aux images générées à l'aide du modèle Gemini 3 Pro Image. Elles indiquent que les images sont générées par IA et fournissent un historique vérifiable de leur origine.
Outils de sécurité disponibles dans Agent Platform pour Gemini
Agent Platform propose plusieurs outils pour gérer la sécurité de vos modèles Gemini. Comprendre le fonctionnement de chacun, les points à prendre en compte et les cas d'utilisation idéaux vous aidera à créer une solution de sécurité sur mesure.
| Méthode | Fonctionnement | Protection fournie | Risques | Cas d'utilisation |
|---|---|---|---|---|
| Paramètres par défaut : Gemini + filtres non configurables | Les modèles Gemini sont intrinsèquement conçus en tenant compte de la sécurité et de l'équité, même face à des requêtes hostiles. Google a investi dans des évaluations de sécurité complètes, y compris pour les biais et la toxicité. Les paramètres par défaut incluent une couche de protection indépendante conçue pour empêcher la génération de contenus liés à des contenus d'abus sexuels sur mineurs ou à des contenus protégés par des droits d'auteur (récitation). | Protection de base contre les contenus d'abus sexuels sur mineurs et le non-respect des droits d'auteur (récitation) | La sécurité par défaut de Gemini ne répond peut-être pas aux besoins de votre organisation. Le modèle peut halluciner ou ne pas suivre les instructions. Des pirates informatiques motivés peuvent toujours réussir à effectuer des jailbreaks et des injections de prompt. | Workflows où aucune entrée malveillante n'est attendue |
| Filtres configurables |
Les filtres de contenu prédéfinis de Gemini offrent une protection supplémentaire contre différentes catégories de contenus nuisibles, tels que les contenus à caractère sexuel, incitant à la haine, relevant du harcèlement ou dangereux. Vous pouvez configurer des seuils de blocage pour chaque catégorie de préjudice (par exemple, BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE, BLOCK_ONLY_HIGH) en fonction de la probabilité et/ou de la gravité du contenu dangereux. Il s'agit d'une couche indépendante du modèle, qui est donc robuste contre les jailbreaks.
|
Robustesse face aux cas de non-respect pour les catégories prédéfinies, sensibilité ajustable | Manque de personnalisation précise au-delà des paramètres de seuil pour les catégories prédéfinies. Peut parfois bloquer des contenus inoffensifs (faux positifs) ou ne pas bloquer certains contenus nuisibles (faux négatifs). Disponible uniquement pour le filtrage des réponses, et non pour le filtrage des requêtes. | Fournir un niveau de sécurité de base pour les applications ou agents destinés aux utilisateurs. Si votre objectif est d'assurer la brand safety et la sécurité des contenus, les filtres de contenu doivent être associés à des instructions système. |
| Instructions système | Vous pouvez donner des instructions au modèle concernant les consignes de sécurité de votre marque et de vos contenus à l'aide d'instructions système ou de préambules. Par exemple, vous pouvez demander au modèle de ne pas répondre aux questions liées à la politique ou de respecter des consignes spécifiques concernant la voix et le ton de la marque. Les instructions système guident directement le comportement du modèle. | Personnalisables pour la brand safety et la sécurité du contenu, ils peuvent être très efficaces. | Le modèle peut halluciner ou ne pas suivre les instructions. Des pirates informatiques motivés peuvent toujours réussir à effectuer des jailbreaks et des injections de prompt. | Applications ou agents nécessitant le respect de consignes spécifiques à une marque ou de règles de contenu nuancées. Si votre objectif est d'assurer la sécurité des contenus et de la marque, les instructions système doivent être associées à des filtres de contenu. |
| Protection des données sensibles pour les listes de blocage personnalisées |
L'API DLP peut inspecter du texte pour identifier et classer les informations sensibles en fonction d'un large éventail de détecteurs d'infoTypes prédéfinis et personnalisés.
Une fois identifiées, il peut appliquer des techniques d'anonymisation telles que l'occultation, le masquage ou la tokenisation. L'API DLP peut également être utilisée pour bloquer des mots clés.
Protection des entrées : avant d'envoyer des requêtes ou des données utilisateur à Gemini, vous pouvez transmettre le texte via l'API DLP pour masquer les informations sensibles. Cela empêche le modèle de traiter ou d'enregistrer des données sensibles. Protection des résultats : si Gemini risque de générer ou de révéler par inadvertance des informations sensibles (par exemple, s'il résume des documents sources contenant des informations permettant d'identifier personnellement l'utilisateur), la sortie du modèle peut être analysée par l'API DLP avant d'être envoyée à l'utilisateur. |
Filtrage robuste des mots grossiers ou personnalisés. Filtrage robuste des données sensibles. | Ajoute de la latence. Cela peut entraîner un blocage excessif. | Sensitive Data Protection pour les agents ayant accès aux données sensibles. |
| Model Armor | Model Armor est un service Google Cloud conçu pour améliorer la sécurité de vos applications d'IA. Il fonctionne en analysant de manière proactive les prompts et les réponses des LLM, en protégeant contre divers risques et en garantissant des pratiques pour une IA responsable. Que vous déployiez l'IA dans Google Cloud ou d'autres fournisseurs de services cloud, Model Armor peut vous aider à prévenir les entrées malveillantes, à vérifier la sécurité du contenu, à protéger les données sensibles, à maintenir la conformité et à appliquer vos règles de sécurité et de protection de l'IA de manière cohérente dans vos applications d'IA. | Filtrage de l'injection de prompt et du jailbreaking, filtres de contenu, protection des données sensibles, détection des logiciels malveillants et navigation sécurisée. | Coût et latence. | Offre payante pour les clients ayant des besoins spécifiques. |
| Gemini en tant que filtre | Vous pouvez utiliser Gemini pour filtrer les requêtes et les réponses de votre agent ou application. Pour ce faire, vous devez effectuer un deuxième appel à un modèle Gemini rapide et économique (comme Gemini Flash ou Flash-Lite) afin d'évaluer si l'entrée d'un utilisateur ou d'un outil, ou la sortie de votre modèle Gemini principal, est sûre. Le modèle de filtre reçoit des instructions pour déterminer si le contenu est sûr ou non en fonction des règles que vous avez définies, y compris la sécurité du contenu, la brand safety et le désalignement de l'agent. Cette solution offre une protection robuste et hautement personnalisable contre les cas de non-respect des règles de sécurité du contenu, les problèmes de brand safety, la dérive du modèle et les hallucinations. Elle peut analyser du texte, des images, des vidéos et de l'audio pour une compréhension globale. | Très robuste et personnalisable pour la brand safety et la sécurité des contenus, la dérive, les hallucinations ; compréhension multimodale. | Coût et latence supplémentaires. Il existe un risque de faux négatifs extrêmement rare. | Fournissez un niveau de sécurité personnalisé pour les applications ou agents destinés aux utilisateurs. |
| Approche combinée : filtres configurables + instructions système + Sensitive Data Protection + Gemini comme filtre | Combine plusieurs couches de protection : masquage des données d'entrée et de sortie avec Sensitive Data Protection, instructions système pour les consignes concernant les marques et les thèmes, filtres de sécurité configurables pour les préjudices prédéfinis et inspection secondaire à l'aide de Gemini comme filtre. | Très robuste et personnalisable pour la brand safety et la sécurité des contenus, la dérive, les hallucinations ; compréhension multimodale. | Coût et latence supplémentaires. | Fournissez un niveau de sécurité élevé pour les applications ou agents destinés aux utilisateurs, en particulier lorsque l'utilisation malveillante et contradictoire est attendue. |
| Identifiants de contenu C2PA | Pour les modèles compatibles, Gemini Enterprise Agent Platform ajoute automatiquement des informations Content Credentials signées de manière cryptographique aux images générées. Ces informations indiquent qu'elles ont été générées par l'IA et fournissent un historique vérifiable de leur origine, conformément à la norme C2PA. Pour en savoir plus, consultez Content Credentials. | Transparence sur l'origine du contenu : aide les utilisateurs à identifier les images générées par l'IA. | L'utilisation d'outils non conformes peut compromettre l'authenticité des fichiers et ne garantit pas la fiabilité de la source multimédia. | Cas d'utilisation de génération de contenu multimédia, où la transparence sur l'origine et l'historique du fichier est importante pour la confiance des utilisateurs. |
Évaluation continue de la sécurité
L'évaluation continue de la sécurité est essentielle pour les systèmes d'IA. Le paysage de l'IA et les méthodes d'utilisation abusive évoluent constamment, ce qui rend ces évaluations essentielles.
Les évaluations régulières présentent plusieurs avantages clés. Elles vous aident à identifier les failles, à évaluer l'efficacité des mesures d'atténuation, à vous adapter à l'évolution des risques, à assurer l'alignement avec les règles et les valeurs, à renforcer la confiance et à assurer la conformité.
Pour profiter de ces avantages, vous pouvez effectuer différents types d'évaluations :
- Évaluations du développement
- Évaluations de l'assurance
- Red teaming
- Évaluations externes
- Tests comparatifs
Votre évaluation doit couvrir plusieurs domaines critiques :
- Sécurité des contenus
- Brand safety
- Pertinence
- Biais et équité
- Véracité
- Robustesse face aux attaques par requêtes antagonistes
Des outils tels que le service d'évaluation Gen AI d'Agent Platform peuvent vous aider dans ces efforts. N'oubliez pas que les améliorations itératives, basées sur les résultats de l'évaluation, sont essentielles pour un développement IA responsable.
Étapes suivantes
Règles
Découvrez comment les administrateurs de la sécurité peuvent définir, appliquer et gérer les règles qui régissent les interactions des agents.
Évaluer vos agents
Créer et déployer un agent de base, puis utiliser le service d'évaluation de l'IA générative pour l'évaluer