Génération d'images avec Gemini et IA responsable

Pour garantir une expérience sûre et responsable, les fonctionnalités de génération d'images de Vertex AI sont équipées d'une approche de sécurité multicouche. Cette fonctionnalité est conçue pour empêcher la création de contenus inappropriés, y compris à caractère sexuel explicite, dangereux, violent, incitant à la haine ou toxiques.

Tous les utilisateurs doivent respecter le Règlement sur les utilisations interdites de l'IA générative. Ce règlement interdit strictement la génération de contenus qui :

  • sont liés à l'exploitation ou aux abus sexuels sur des mineurs ;
  • facilitent l'extrémisme violent ou le terrorisme ;
  • facilitent le partage non consenti d'images intimes ; facilitent l'automutilation ;
  • le contenu à caractère sexuel explicite ;
  • constitue une incitation à la haine ;
  • incitent au harcèlement ou à l'intimidation ;

Lorsqu'une requête non sécurisée est fournie, le modèle peut refuser de générer une image, ou la requête ou la réponse générée peuvent être bloquées par nos filtres de sécurité.

  • Refus du modèle : si une requête est potentiellement dangereuse, le modèle peut refuser de la traiter. Dans ce cas, le modèle fournit généralement une réponse textuelle indiquant qu'il ne peut pas générer d'images dangereuses. FinishReason est défini sur STOP.
  • Blocage par le filtre de sécurité :
    • Si un filtre de sécurité identifie le prompt comme potentiellement dangereux, l'API renvoie BlockedReason dans PromptFeedback.
    • Si la réponse est identifiée comme potentiellement dangereuse par un filtre de sécurité, la réponse de l'API inclut un FinishReason de IMAGE_SAFETY, IMAGE_PROHIBITED_CONTENT ou similaire.

Catégories de codes de filtre de sécurité

Selon les filtres de sécurité que vous configurez, la sortie peut contenir un code de motif de sécurité semblable à celui-ci :

    {
      "raiFilteredReason": "ERROR_MESSAGE. Support codes: 56562880"
    }

Le code indiqué correspond à une catégorie de contenu nuisible spécifique. Voici les catégories auxquelles correspondent les codes :

Code d'erreur Catégorie de sécurité Description Contenu filtré : prompt d'entrée ou image de sortie
58061214
17301594		 Enfant Détecte les contenus comportant des enfants s'ils ne sont pas autorisés dans les paramètres de la requête API ou dans la liste d'autorisation. entrée (prompt) : 58061214
sortie (image) : 17301594
29310472
15236754		 Célébrité Détecte une représentation photoréaliste d'une célébrité dans la requête. entrée (requête) : 29310472
sortie (image) : 15236754
62263041 Contenu dangereux Détecte les contenus potentiellement dangereux. entrée (prompt)
57734940
22137204		 Contenu haineux Détecte les sujets ou les contenus incitant à la haine. entrée (prompt) : 57734940
sortie (image) : 22137204
74803281
29578790
42876398		 Autre Détecte d'autres problèmes de sécurité liés à la requête. entrée (requête) : 42876398
sortie (image) : 29578790, 74803281
39322892 Personnes/Visages Détecte les personnes ou les visages s'ils ne sont pas autorisés dans les paramètres de sécurité de la requête. sortie (image)
92201652 Informations personnelles Détecte les informations permettant d'identifier personnellement l'utilisateur dans le texte, telles que les numéros de carte de crédit, les adresses personnelles ou d'autres informations de ce type. entrée (prompt)
89371032
49114662
72817394		 Contenu interdit Détecte les contenus interdits dans la requête. entrée (prompt) : 89371032
sortie (image) : 49114662, 72817394
90789179
63429089
43188360		 Contenu à caractère sexuel Détecte les contenus à caractère sexuel. entrée (requête) : 90789179
sortie (image) : 63429089, 43188360
78610348 Contenu toxique Détecte les sujets ou contenus toxiques dans le texte. entrée (prompt)
61493863
56562880		 Violence Détecte les contenus violents dans l'image ou le texte. entrée (requête) : 61493863
sortie (image) : 56562880
32635315 Contenu vulgaire Détecte les sujets ou contenus vulgaires dans le texte. entrée (prompt)
64151117 Célébrité ou enfant Détecte une représentation photoréaliste d'une célébrité ou d'un enfant qui enfreint les règles de sécurité de Google. entrée (requête)
sortie (image)

Étape suivante

Pour en savoir plus sur la génération d'images Gemini, consultez les liens suivants :