Inspection d'images et masquage du contenu sensible

Ce document décrit les fonctionnalités d'inspection et de masquage d'images de Sensitive Data Protection.

À l'aide des détecteurs d'infoTypes, Sensitive Data Protection inspecte une image encodée en base64 et détecte les données sensibles qu'elle contient. Sensitive Data Protection peut ensuite renvoyer des informations sur l'emplacement des données sensibles dans l'image ou masquer ces dernières par un rectangle opaque.

L'inspection et le masquage sont deux opérations distinctes :

  • Inspection : Sensitive Data Protection inspecte l'image encodée en base64 que vous lui fournissez afin de détecter les infoTypes spécifiés. Elle retourne ensuite une réponse incluant les infoTypes détectés, ainsi qu'un ou plusieurs groupes de valeurs (chaque groupe est composé d'un ensemble de coordonnées de pixels et de dimensions). Les ensembles de coordonnées de pixels et les valeurs de dimension indiquent respectivement la position du coin inférieur gauche et la taille des cadres de délimitation. Chaque cadre de délimitation correspond à tout ou partie d'un résultat de Sensitive Data Protection.
  • Masquage : Sensitive Data Protection inspecte l'image encodée en base64 que vous lui fournissez afin de détecter les infoTypes spécifiés. Sensitive Data Protection masque toutes les données sensibles détectées en appliquant des rectangles opaques. Enfin, il renvoie une image masquée, encodée en base64 dans le même format que celui de l'image d'origine. Vous pouvez également configurer la couleur des cadres de masquage dans la requête.

À propos de l'inspection des images

Le service d'inspection Sensitive Data Protection accepte une image encodée en base64, puis recherche dans l'image les données correspondant à ses critères d'inspection. Sensitive Data Protection renvoie les emplacements des données sensibles détectées.

Prenons l'exemple suivant :

Image d'origine contenant des objets sensibles.
Image d'origine (cliquez pour agrandir).

Voici le processus d'inspection des images :

  1. Vous envoyez une requête content.inspect à l'API DLP. La requête contient l'image encodée en base64 et la configuration de l'inspection, qui contient vos critères de détection.
  2. Sensitive Data Protection analyse l'image à l'aide de la configuration d'inspection et identifie les correspondances.
  3. Sensitive Data Protection renvoie ensuite les coordonnées et les dimensions des emplacements dans l'image où il a détecté des données sensibles correspondant à vos critères de détection.

Les coordonnées renvoyées indiquent où se trouvent les données sensibles. Sachez que Sensitive Data Protection utilise souvent plusieurs cadres pour indiquer l'emplacement dans l'image d'une seule instance de données sensibles.

Si la protection des données sensibles ne détecte aucune donnée correspondant à vos critères de détection dans l'image, elle renvoie alors une réponse HTTP 200 vide réussie.

À propos du masquage d'images

Le processus de masquage d'une image est semblable à celui de l'inspection d'image, mais comporte une étape supplémentaire. Une fois que Sensitive Data Protection a identifié les emplacements où se trouvent des données sensibles dans l'image, au lieu de renvoyer leurs coordonnées, elle renvoie une image encodée en base64 où ces zones sont masquées par des rectangles opaques.

Image masquée avec des données sensibles masquées.
Image masquée (cliquez pour agrandir).

Voici comment se déroule le processus de masquage des images :

  1. Vous envoyez une requête image.redact à l'API DLP. La requête contient l'image encodée en base64 et la configuration de masquage d'image, qui contient vos critères de détection.
  2. Sensitive Data Protection analyse l'image en fonction de la configuration de masquage d'image et identifie les correspondances.
  3. Sensitive Data Protection masque toutes les données sensibles détectées en les recouvrant d'un rectangle opaque. Il encode ensuite l'image en base64 et renvoie l'image masquée dans la réponse à la requête.

Si Sensitive Data Protection ne détecte aucune donnée correspondant à vos critères de détection dans l'image, il renvoie alors l'image encodée en base64 telle quelle.

Fonctionnalités de détection d'images

Cette section décrit les fonctionnalités de détection d'images que vous pouvez appliquer à vos opérations d'inspection et de masquage. Pour toutes ces fonctionnalités, vous devez effectuer l'analyse dans un lieu où l'analyse d'images est disponible.

Détectez du texte dans des images

La protection des données sensibles utilise la reconnaissance optique des caractères (OCR) pour détecter le texte dans les images. Sensitive Data Protection analyse le texte détecté de la même manière qu'un corps de texte.

Pour détecter du texte dans des images, spécifiez un infoType basé sur du texte, tel que PERSON_NAME et CREDIT_CARD_NUMBER, dans votre configuration d'inspection ou de masquage.

Reconnaître des objets et des thèmes dans des images

Sensitive Data Protection peut analyser les pixels et les caractéristiques des images qui ne sont pas principalement basées sur du texte. Sensitive Data Protection utilise cette technique pour les fonctionnalités suivantes.

Détection d'objets

Sensitive Data Protection peut classer et masquer des objets dans des images. Par exemple, vous pouvez configurer vos analyses pour détecter les cartes d'identité avec photo, les personnes et les plaques d'immatriculation dans les images.

Pour détecter des objets dans des images, spécifiez objectInfoTypes dans votre configuration d'inspection ou de masquage.

Pour en savoir plus, consultez les ressources suivantes :

Classification de la sécurité des images

La protection des données sensibles peut classer et masquer les images en fonction de leur contenu thématique. Cette fonctionnalité vous aide à identifier les images qui contiennent des sujets sensibles ou dangereux selon des catégories de sécurité prédéfinies.

Sensitive Data Protection analyse le contexte et la signification globale d'une image pour déterminer si elle appartient à des catégories telles que le contenu à caractère sexuel explicite ou le contenu violent. Vous pouvez utiliser cette fonctionnalité pour modérer le contenu et appliquer des règles d'utilisation acceptable.

Lors de la classification de la sécurité des images, Sensitive Data Protection analyse l'intégralité de l'image. Contrairement à la détection d'objets, qui identifie des éléments spécifiques dans une image, cette fonctionnalité évalue le sujet de l'image dans son ensemble. Si vous configurez la rédaction en fonction de la sécurité des images, cette fonctionnalité rédige l'intégralité de l'image.

Pour effectuer la classification de sécurité des images, spécifiez les infoTypes de contexte d'image dans votre configuration d'inspection ou de masquage.

Limites pour les images générées

Les modèles utilisés par Sensitive Data Protection pour la classification des images selon leur niveau de sécurité sont principalement entraînés et évalués sur des images réelles. Bien que ces modèles puissent être utiles pour analyser les images générées par IA, leur efficacité pour détecter tous les types de contenus ne respectant pas le règlement dans les images générées par IA peut varier.

Si vous utilisez des infoTypes de contexte d'image sur des images générées par l'IA, les éléments suivants peuvent ne pas être détectés :

  • Contenu nuancé ou subtil
  • Scénarios dépendant du contexte, tels que les paramètres de confidentialité
  • Représentations non explicites de thèmes sensibles

Il est possible que les performances de ces classificateurs sur les images générées par IA ne correspondent pas à celles observées avec les images naturelles. Nous vous recommandons d'effectuer des tests approfondis pour vos cas d'utilisation spécifiques de l'IA générative afin de vous assurer que les résultats répondent à vos exigences de sécurité. Ne vous fiez pas uniquement à ces classificateurs pour garantir la sécurité des applications d'IA générative à haut risque.

Étapes suivantes