Les modèles d'IA générative comme Gemini nécessitent des mesures de sécurité robustes pour limiter les risques, tels que la génération de contenus nuisibles, la fuite d'informations sensibles ou une utilisation abusive. Gemini Enterprise Agent Platform fournit une suite d'outils et de pratiques permettant de mettre en œuvre une sécurité globale pour vos modèles Gemini.
Risques de sécurité potentiels et stratégies d'atténuation
Lorsque vous déployez des modèles Gemini, il est essentiel d'identifier et d'atténuer les différents risques potentiels. Une approche proactive pour comprendre ces risques permet de mettre en œuvre des mesures de sécurité plus efficaces. Une approche multicouche de la sécurité est essentielle, car elle peut atténuer ou prévenir :
- Risques liés au contenu : il peut s'agir de contenus nuisibles, de langage grossier, de sexualisation, de contenu violent et sanglant.
- Risques pour la brand safety : le contenu généré peut ne pas correspondre au ton ou aux valeurs de votre marque, promouvoir des concurrents ou des produits inappropriés, ou générer du contenu susceptible de nuire à votre réputation.
- Risques d'alignement : le contenu généré peut être non pertinent ou inexact.
- Risques liés à la sécurité et à la confidentialité : le contenu généré peut divulguer des données d'entraînement ou des prompts sensibles, ou des utilisateurs malveillants peuvent tenter de forcer le modèle à contourner les protocoles de sécurité ou à se comporter de manière inattendue.
Nos modèles déployés offrent différentes fonctionnalités pour résoudre ces problèmes potentiels :
- Le modèle par défaut et les filtres non configurables fournissent un filet de sécurité général.
- Les instructions système fournissent des conseils directs au modèle sur le comportement à adopter et les sujets à éviter.
- Les filtres de contenu vous permettent de définir des seuils spécifiques pour les types de préjudices courants.
- Gemini en tant que filtre offre un point de contrôle avancé et personnalisable pour les problèmes de sécurité complexes ou nuancés qui pourraient échapper aux couches précédentes ou nécessiter une évaluation plus contextuelle.
- Sensitive Data Protection traite spécifiquement le risque critique de fuite de données sensibles, au cas où le modèle aurait accès à des données sensibles. Il permet également de créer des listes de blocage personnalisées.
- Model Armor offre une protection de niveau entreprise contre l'injection de prompt et le jailbreaking, les contenus nuisibles, l'exposition de données sensibles et la détection de logiciels malveillants.
- Content Credentials ajoute des métadonnées C2PA signées de manière cryptographique aux images générées à l'aide du modèle d'image Gemini 3 Pro, indiquant qu'elles sont générées par l'IA et fournissant un historique vérifiable de leur origine.
Outils de sécurité disponibles dans Agent Platform pour Gemini
Agent Platform propose plusieurs outils pour gérer la sécurité de vos modèles Gemini. Comprendre le fonctionnement de chacune, leurs considérations et leurs cas d'utilisation idéaux vous aidera à créer une solution de sécurité sur mesure.
| Méthode | Fonctionnement | Protection fournie | Risques | Cas d'utilisation |
|---|---|---|---|---|
| Paramètres par défaut : Gemini + filtres non configurables | Les modèles Gemini sont intrinsèquement conçus pour être sûrs et équitables, même lorsqu'ils sont confrontés à des prompts hostiles. Google a investi dans des évaluations de sécurité complètes, y compris pour les biais et la toxicité. Les paramètres par défaut incluent une couche de protection indépendante conçue pour empêcher la génération de contenus liés à des contenus d'abus sexuels sur mineurs ou à des contenus protégés par des droits d'auteur (récitation). | Protection de base contre les contenus d'abus sexuels sur mineurs et les atteintes aux droits d'auteur (récitation) | Il est possible que les paramètres de sécurité par défaut de Gemini ne répondent pas aux besoins de votre organisation. Le modèle peut halluciner ou ne pas suivre les instructions. Des pirates informatiques motivés peuvent toujours réussir à effectuer des jailbreaks et des injections de prompts | Workflows dans lesquels aucune entrée malveillante n'est attendue |
| Filtres configurables |
Les filtres de contenu prédéfinis de Gemini offrent une protection supplémentaire contre différentes catégories de contenus nuisibles, tels que les contenus à caractère sexuel, incitant à la haine, relevant du harcèlement ou dangereux. Vous pouvez configurer des seuils de blocage pour chaque catégorie de contenu nuisible (par exemple, BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE, BLOCK_ONLY_HIGH) en fonction de la probabilité et/ou de la gravité du contenu nuisible. Il s'agit d'une couche indépendante du modèle, qui est donc robuste contre les jailbreaks.
|
Robuste contre les cas de non-conformité pour les catégories prédéfinies, sensibilité ajustable | Manque de personnalisation précise au-delà des paramètres de seuil pour les catégories prédéfinies. Peut parfois bloquer des contenus inoffensifs (faux positifs) ou ne pas bloquer certains contenus nuisibles (faux négatifs). Disponible uniquement pour le filtrage des réponses, pas pour le filtrage des requêtes. | Fournir un niveau de sécurité de base pour les applications ou les agents destinés aux utilisateurs. Si votre objectif est d'assurer la sécurité du contenu et de la marque, les filtres de contenu doivent être associés à des instructions système. |
| Instructions système | Vous pouvez indiquer au modèle vos consignes de sécurité concernant la marque et le contenu à l'aide d'instructions système ou de préambules. Par exemple, vous pouvez indiquer au modèle de ne pas répondre aux questions liées à la politique ou de respecter des consignes spécifiques concernant la voix et le ton de la marque. Les instructions système guident directement le comportement du modèle. | Personnalisable pour la brand safety et la sécurité du contenu, peut être très efficace. | Le modèle peut halluciner ou ne pas suivre les instructions. Des pirates informatiques motivés peuvent toujours réussir à effectuer un jailbreak et une injection de prompt | Applications ou agents devant respecter des consignes spécifiques relatives à la marque ou des règles de contenu nuancées. Si votre objectif est d'assurer la sécurité du contenu et de la marque, les instructions système doivent être associées à des filtres de contenu. |
| Sensitive Data Protection pour les listes de blocage personnalisées |
L'API DLP peut inspecter du texte pour identifier et classer les informations sensibles en fonction d'un large éventail de détecteurs d'infoTypes prédéfinis et personnalisés.
Une fois identifiées, elle peut appliquer des techniques d'anonymisation telles que l'occultation, le masquage ou la tokenisation. L'API DLP peut également être utilisée pour bloquer des mots clés.
Protection des entrées : avant d'envoyer des requêtes ou des données utilisateur à Gemini, vous pouvez transmettre le texte via l'API DLP pour masquer ou flouter les informations sensibles. Cela empêche le traitement ou la journalisation des données sensibles par le modèle. Protection des sorties : s'il existe un risque que Gemini génère ou révèle par inadvertance des informations sensibles (par exemple, s'il résume des documents sources contenant des informations permettant d'identifier personnellement l'utilisateur), la sortie du modèle peut être analysée par l'API DLP avant d'être envoyée à l'utilisateur. |
Filtrage efficace des grossièretés ou des mots personnalisés. Filtrage robuste des données sensibles. | Ajoute de la latence. Peut entraîner un blocage excessif. | Sensitive Data Protection pour les agents ayant accès à des données sensibles. |
| Model Armor | Model Armor est un service Google Cloud conçu pour améliorer la sécurité de vos applications d'IA. Il analyse de manière proactive les prompts et les réponses des LLM, protège contre divers risques et garantit le respect des pratiques pour une IA responsable. Que vous déployiez l'IA dans Google Cloud ou chez d'autres fournisseurs de services cloud, Model Armor peut vous aider à empêcher les entrées malveillantes, à vérifier la sécurité du contenu, à protéger les données sensibles, à maintenir la conformité et à appliquer vos règles de sécurité de l'IA de manière cohérente dans vos applications d'IA. | Le filtrage de l'injection de prompt et du jailbreak, les filtres de contenu, la protection des données sensibles, la détection des logiciels malveillants et la navigation sécurisée. | Coût et latence. | Offre payante pour les clients ayant des besoins d'entreprise. |
| Gemini en tant que filtre | Vous pouvez utiliser Gemini pour filtrer les requêtes et les réponses de votre agent ou de votre application. Cela implique d'effectuer un deuxième appel à un modèle Gemini rapide et économique (tel que Gemini Flash ou Gemini Flash-Lite) pour évaluer si l'entrée d'un utilisateur ou d'un outil, ou la sortie de votre modèle Gemini principal, est sécurisée. Le modèle de filtre reçoit des instructions pour déterminer si le contenu est sûr ou non en fonction des règles que vous avez définies, y compris la sécurité du contenu, la brand safety et le désalignement de l'agent. Il offre une protection robuste et hautement personnalisable contre les violations de la sécurité du contenu, les problèmes de brand safety, la dérive du modèle et les hallucinations. Il peut également analyser du texte, des images, des vidéos et de l'audio pour une compréhension globale. | Très robuste et personnalisable pour la brand safety et la sécurité du contenu, la dérive, les hallucinations et la compréhension multimodale. | Coût et latence supplémentaires. Risque de faux négatifs extrêmement rare. | Fournissez un niveau de sécurité personnalisé pour les applications ou les agents visibles par l'utilisateur. |
| Approche combinée : filtres configurables + instructions système + Sensitive Data Protection + Gemini en tant que filtre | Combine plusieurs couches de protection : masquage des données d'entrée et de sortie avec Sensitive Data Protection, instructions système pour les consignes relatives à la marque et aux thèmes, filtres de sécurité configurables pour les préjudices prédéfinis et inspection secondaire à l'aide de Gemini comme filtre. | Très robuste et personnalisable pour la brand safety et la sécurité du contenu, la dérive, les hallucinations et la compréhension multimodale. | Coût et latence supplémentaires. | Fournir un niveau de sécurité robuste pour les applications ou les agents destinés aux utilisateurs, en particulier lorsque des utilisations malveillantes et contradictoires sont attendues. |
| Content Credentials C2PA | Pour les modèles compatibles, Gemini Enterprise Agent Platform ajoute automatiquement des Content Credentials signés de manière cryptographique aux images générées, indiquant qu'elles sont générées par l'IA et fournissant un historique vérifiable de leur origine conformément à la norme C2PA. Pour en savoir plus, consultez Content Credentials. | Transparence sur l'origine du contenu ; aide les utilisateurs à identifier les images générées par l'IA. | L'utilisation d'outils non conformes peut compromettre l'authenticité des fichiers et ne garantit pas la fiabilité de la source multimédia. | Cas d'utilisation de génération de contenus multimédias, où la transparence sur l'origine et l'historique du fichier est importante pour la confiance des utilisateurs. |
Évaluation continue de la sécurité
L'évaluation continue de la sécurité est essentielle pour les systèmes d'IA. Le paysage de l'IA et les méthodes d'utilisation abusive évoluent constamment, ce qui rend ces évaluations essentielles.
Les évaluations régulières présentent plusieurs avantages clés. Ils vous aident à identifier les failles, à évaluer l'efficacité des mesures d'atténuation, à vous adapter à l'évolution des risques, à assurer l'alignement avec les règles et les valeurs, à renforcer la confiance et à maintenir la conformité.
Pour bénéficier de ces avantages, vous pouvez effectuer différents types d'évaluations :
- Évaluations de développement
- Évaluations de l'assurance
- Red teaming
- Évaluations externes
- Tests de benchmark
Votre évaluation doit couvrir plusieurs domaines critiques :
- Sécurité des contenus
- Brand safety
- Pertinence
- Biais et équité
- Véracité
- Robustesse face aux attaques par requêtes antagonistes
Des outils tels que le service d'évaluation de l'IA générative d'Agent Platform peuvent vous aider dans cette tâche. N'oubliez pas que les améliorations itératives, basées sur les résultats de l'évaluation, sont essentielles pour un développement IA responsable.
Étapes suivantes
Règles
Découvrez comment les administrateurs de sécurité peuvent définir, appliquer et gérer les règles qui régissent les interactions des agents.
Évaluer vos agents
Créer et déployer un agent de base, et l'évaluer à l'aide de Gen AI Evaluation Service