Inspeção e edição de imagem

Neste documento, descrevemos os recursos de inspeção e remoção de dados sensíveis de imagens da Proteção de dados sensíveis.

Usando detectores de infoType, a Proteção de Dados Sensíveis inspeciona uma imagem codificada em base64 e detecta dados sensíveis nela. Em seguida, a Proteção de Dados Sensíveis pode retornar informações sobre a localização de dados sensíveis na imagem ou editar os dados sensíveis mascarando-os com um retângulo opaco.

Inspeção e edição são duas operações distintas:

  • Inspeção: a proteção de dados sensíveis inspeciona a imagem codificada em base64 enviada para os infoTypes especificados. Ela retorna os InfoTypes detectados e um ou mais conjuntos de dimensões e coordenadas de pixel. Cada conjunto de valores de coordenadas e dimensões de pixels indica o canto inferior esquerdo e as dimensões das caixas delimitadoras, respectivamente. Cada caixa delimitadora corresponde, no todo ou em parte, a uma descoberta da Proteção de Dados Sensíveis.
  • Edição: a Proteção de Dados Sensíveis inspeciona a imagem codificada em base64 enviada para os InfoTypes especificados. A Proteção de Dados Sensíveis edita todas as descobertas de dados confidenciais mascarando-as com retângulos opacos. Ele retorna a imagem codificada em base64 editada no mesmo formato da imagem original. Também é possível configurar a cor das caixas de edição na solicitação.

Sobre a inspeção de imagens

O serviço de inspeção da Proteção de Dados Sensíveis aceita uma imagem codificada em base64 e pesquisa nela dados que correspondam aos critérios de inspeção. A Proteção de Dados Sensíveis retorna os locais dos dados sensíveis detectados.

Considere a imagem a seguir.

Imagem original que contém objetos sensíveis.
Imagem original (clique para ampliar).

O processo de inspeção de imagem é o seguinte:

  1. Você envia uma solicitação content.inspect para a API DLP. A solicitação contém a imagem codificada em base64 e a configuração de inspeção, que contém seus critérios de detecção.
  2. A Proteção de Dados Sensíveis verifica a imagem usando a configuração de inspeção e identifica as correspondências.
  3. A Proteção de Dados Sensíveis retorna as coordenadas e dimensões das regiões na imagem em que ela encontrou dados sensíveis de acordo com seus critérios de detecção.

As coordenadas retornadas indicam onde encontrar os dados sensíveis. A Proteção de dados sensíveis geralmente usa várias caixas para indicar onde uma única instância de dados sensíveis pode ser encontrada na imagem.

Se a Proteção de dados sensíveis não encontrar nenhum dado na imagem que corresponda aos seus critérios de detecção, ela vai retornar uma resposta HTTP 200 vazia e bem-sucedida.

Sobre a edição de imagens

A edição da imagem é semelhante à inspeção de imagem, com uma etapa a mais. Depois que a proteção de dados sensíveis identifica os locais dos dados sensíveis na imagem, em vez de retornar as coordenadas das áreas que contêm os dados, ela coloca retângulos opacos nessas áreas, retornando uma imagem editada e codificada em base64.

Imagem editada com dados sensíveis ocultos.
Imagem redigida (clique para ampliar).

O processo de encobrimento de imagens é o seguinte:

  1. Você envia uma solicitação image.redact para a API DLP. A solicitação contém a imagem codificada em base64 e a configuração de edição de imagem, que contém seus critérios de detecção.
  2. A Proteção de Dados Sensíveis verifica a imagem usando a configuração de encobrimento de imagem e identifica as correspondências.
  3. A Proteção de Dados Sensíveis edita todos os dados sensíveis detectados cobrindo-os com um retângulo opaco. Em seguida, ele codifica a imagem em base64 e retorna a imagem editada na resposta da solicitação.

Se a Proteção de Dados Sensíveis não encontrar nenhum dado na imagem que corresponda aos critérios de detecção, ela retornará a imagem codificada em base64 inalterada.

Recursos de detecção de imagens

Esta seção descreve os recursos de detecção de imagem que podem ser aplicados às suas operações de inspeção e redação. Para todos esses recursos, é necessário fazer a verificação em um local compatível com a verificação de imagens.

Reconhecer texto em imagens

A Proteção de Dados Sensíveis usa o reconhecimento óptico de caracteres (OCR) para detectar texto em imagens. A Proteção de Dados Sensíveis analisa o texto detectado da mesma forma que analisa um corpo de texto.

Para detectar texto em imagens, especifique qualquer infoType baseado em texto, como PERSON_NAME e CREDIT_CARD_NUMBER na configuração de inspeção ou edição.

Reconhecer objetos e temas em imagens

A Proteção de Dados Sensíveis pode analisar os pixels e recursos de imagens que não são principalmente baseadas em texto. A Proteção de Dados Sensíveis usa essa técnica para os seguintes recursos.

Detecção de objetos

A Proteção de Dados Sensíveis pode classificar e encobrir objetos em imagens. Por exemplo, você pode configurar as verificações para detectar carteiras ID com foto, pessoas e placas de veículos em imagens.

Para detectar objetos em imagens, especifique object infoTypes na configuração de inspeção ou redação.

Para ver mais informações, consulte os seguintes tópicos:

Classificação de segurança de imagens

A Proteção de Dados Sensíveis pode classificar e encobrir imagens com base no conteúdo temático delas. Esse recurso ajuda a identificar imagens que contêm assuntos sensíveis ou nocivos de acordo com categorias de segurança predefinidas.

A Proteção de Dados Sensíveis analisa o contexto e o significado geral de uma imagem para determinar se ela pertence a categorias como conteúdo sexualmente explícito ou conteúdo violento. É possível usar esse recurso para oferecer suporte à moderação de conteúdo e aplicar políticas de uso aceitável.

Ao realizar a classificação de segurança de imagens, a Proteção de Dados Sensíveis analisa a imagem inteira. Ao contrário da detecção de objetos, que identifica itens específicos em uma imagem, esse recurso avalia o assunto da imagem como um todo. Se você configurar a redação com base na segurança da imagem, esse recurso vai redigir a imagem inteira.

Para fazer a classificação de segurança de imagens, especifique image context infoTypes na sua configuração de inspeção ou edição.

Limitações para imagens geradas

Os modelos que a proteção de dados sensíveis usa para classificação de segurança de imagens são treinados e avaliados principalmente em imagens do mundo real. Embora esses modelos possam ser úteis para analisar imagens geradas com IA, a eficácia deles na detecção de todos os tipos de conteúdo que viola a política em imagens geradas com IA pode variar.

Se você usar infoTypes de contexto de imagem em imagens geradas com IA, o seguinte pode não ser detectado:

  • Conteúdo sutil ou cheio de nuances
  • Cenários dependentes do contexto, como configurações particulares
  • Representações não explícitas de temas sensíveis

O desempenho desses classificadores em imagens geradas por IA pode não corresponder ao desempenho observado com imagens naturais. Recomendamos que você faça testes completos para seus casos de uso específicos de IA generativa e garanta que os resultados atendam aos seus requisitos de segurança. Não dependa apenas desses classificadores para garantir a segurança em aplicativos de IA generativa de alto risco.

A seguir