Enviar resultados da inspeção de proteção de dados sensíveis para o Data Catalog

Este guia mostra como usar a Proteção de Dados Sensíveis para inspecionar uma tabela do BigQuery e enviar os resultados da inspeção para o Data Catalog.

Além disso, é possível realizar a criação de perfil de dados, que é diferente de uma operação de inspeção. Também é possível enviar perfis de dados para o Knowledge Catalog. Para mais informações, consulte Marcar tabelas no Knowledge Catalog com base em insights de perfis de dados.

O Data Catalog é um serviço de gerenciamento de metadados escalonável que permite descobrir, gerenciar e entender rapidamente todos os seus dados no Google Cloud.

A Proteção de Dados Sensíveis tem integração integrada com o Data Catalog. Quando você usa uma ação da Proteção de Dados Sensíveis para inspecionar dados sensíveis nas tabelas do BigQuery, ela pode enviar resultados diretamente ao Data Catalog na forma de um modelo de tag.

Ao concluir as etapas deste guia, você será capaz de:

  • Ativar o Data Catalog e a Proteção de Dados Sensíveis.
  • Configurar a Proteção de Dados Sensíveis para inspecionar uma tabela do BigQuery.
  • Configurar uma inspeção da Proteção de Dados Sensíveis para enviar os resultados da inspeção ao Data Catalog.

Para mais informações sobre o Data Catalog, consulte a documentação do Data Catalog.

Se você quiser enviar os resultados das operações de criação de perfil de dados, e não jobs , para o Knowledge Catalog, consulte a documentação sobre como criar um perfil de uma organização, pasta, ou projeto.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

  • Sensitive Data Protection
  • BigQuery

Para gerar uma estimativa de custo baseada na projeção de uso, use a calculadora de preços.

Novos usuários do Google Cloud podem estar qualificados para um teste sem custo financeiro.

Antes de começar

Antes de enviar os resultados da inspeção da Proteção de Dados Sensíveis para o Data Catalog, faça o seguinte:

  • Etapa 1: configurar o faturamento.
  • Etapa 2: criar um novo projeto e preencher uma nova tabela do BigQuery. Opcional.
  • Etapa 3: ativar o Data Catalog.
  • Etapa 4: ativar a Proteção de Dados Sensíveis.

As subseções a seguir abrangem cada etapa em detalhes.

Etapa 1: configurar o faturamento

Primeiro, você precisa configurar uma conta de faturamento se ainda não tiver uma.

Saiba como ativar o faturamento

Etapa 2: criar um novo projeto e preencher uma nova tabela do BigQuery (opcional)

Se você estiver configurando esse recurso para o trabalho de produção ou já tiver uma tabela do BigQuery que queira inspecionar, abra o Google Cloud projeto que contém a tabela e pule para a Etapa 3.

Se você estiver testando esse recurso e quiser inspecionar dados de teste, crie um novo projeto. Para concluir essa etapa, você precisa ter o papel de Criador de projetos do IAM. Saiba mais sobre papéis do IAM.

  1. Acesse a página Novo projeto no Google Cloud console.

    Novo projeto

  2. Na lista suspensa Conta de faturamento, selecione a conta de faturamento em que o projeto será cobrado.
  3. Na lista suspensa Organização, selecione a organização em que você quer criar o projeto.
  4. Na lista suspensa Local, selecione a organização ou a pasta em que você quer criar o projeto.
  5. Clique em Criar para criar o projeto.

Em seguida, faça o download dos dados de amostra e armazene-os:

  1. Acesse o repositório de tutoriais de funções do Cloud Run no GitHub.
  2. Selecione um dos arquivos CSV com dados de exemplo e faça o download do arquivo.
  3. Em seguida, acesse BigQuery no Google Cloud console.
  4. Selecione o projeto.
  5. Clique em Criar conjunto de dados.
  6. Clique em Criar tabela.
  7. Clique em Fazer upload e selecione o arquivo que quer enviar.
  8. Dê um nome à tabela e clique em Criar tabela.

Etapa 3: ativar o Data Catalog

Em seguida, ative o Data Catalog para o projeto que contém a tabela do BigQuery que você quer inspecionar usando a Proteção de Dados Sensíveis.

Para ativar o Data Catalog usando o Google Cloud console:

  1. Registre seu aplicativo no Data Catalog.

    Registre seu aplicativo no Data Catalog

  2. Na página de registro, na lista suspensa Criar um projeto, selecione o projeto que você quer usar com o Data Catalog.
  3. Depois de selecionar o projeto, clique em Continuar.

Agora, o Data Catalog está ativado para seu projeto.

Etapa 4: ativar a Proteção de Dados Sensíveis

Ative a Proteção de Dados Sensíveis para o mesmo projeto para o qual você ativou o Data Catalog.

Para ativar a Proteção de Dados Sensíveis usando o Google Cloud console:

  1. Registre seu aplicativo na Proteção de Dados Sensíveis.

    Registre seu aplicativo na Proteção de Dados Sensíveis

  2. Na página de registro, na lista suspensa Criar um projeto, selecione o mesmo projeto escolhido na etapa anterior.
  3. Depois de selecionar o projeto, clique em Continuar.

A Proteção de Dados Sensíveis agora está ativada para seu projeto.

Configurar e executar um job de inspeção da Proteção de Dados Sensíveis

É possível configurar e executar um job de inspeção da Proteção de Dados Sensíveis usando o Google Cloud console ou a API DLP.

Os modelos de tag do Data Catalog são armazenados no mesmo projeto e região da tabela do BigQuery. Se você estiver inspecionando uma tabela de outro projeto, conceda o papel de Proprietário do TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner) ao agente de serviço da Proteção de Dados Sensíveis no projeto em que a tabela do BigQuery existe.

Google Cloud Console do

Para configurar um job de inspeção de uma tabela do BigQuery usando a Proteção de Dados Sensíveis:

  1. Na seção Proteção de Dados Sensíveis do Google Cloud console, acesse a página Criar job ou gatilho de job.

    Acessar Criar job ou gatilho de job

  2. Insira as informações do job da Proteção de Dados Sensíveis e clique em Continuar para concluir cada etapa:

    • Na Etapa 1: escolher dados de entrada, nomeie o job digitando um valor no campo Nome. Em Local, escolha BigQuery no menu Tipo de armazenamento e insira as informações da tabela a ser inspecionada. A seção Amostragem é pré-configurada para executar uma inspeção de amostra com base nos seus dados. É possível ajustar os campos Limitar linhas por e Número máximo de linhas para economizar recursos se tiver uma grande quantidade de dados. Para mais detalhes, consulte Escolher dados de entrada.

    • (Opcional) Na Etapa 2: configurar a detecção, você configura os tipos de dados a serem procurados, chamados "infoTypes". Para este tutorial, mantenha os infoTypes padrão selecionados. Para mais detalhes, consulte Configurar a detecção.

    • Para a Etapa 3: adicionar ações, ative Salvar no Data Catalog.

    • (Opcional) Para Etapa 4: programar, para este tutorial, deixe o menu definido como Nenhum para que a inspeção seja executada apenas uma vez. Para mais informações sobre como programar jobs de inspeção repetidos, consulte Programar.

  3. Clique em Criar. O job é executado imediatamente.

API DLP

Nesta seção, você configura e executa um job de inspeção da Proteção de Dados Sensíveis.

O job de inspeção configurado aqui instrui a Proteção de Dados Sensíveis a inspecionar os dados de amostra do BigQuery descritos na Etapa 2 acima ou seus próprios dados do BigQuery. Na configuração do job especificada, você também instrui a Proteção de Dados Sensíveis a salvar os resultados da inspeção no Data Catalog.

Etapa 1: anotar o identificador de projeto

  1. Acesse o Google Cloud console.

    Acessar o Google Cloud console

  2. Clique em Selecionar.

  3. Na lista suspensa Selecionar de, selecione a organização para a qual você ativou o Data Catalog.

  4. Em ID, copie o ID do projeto que contém os dados que você quer inspecionar. Este é o projeto descrito na etapa Definir repositórios de armazenamento anteriormente nesta página.

  5. Em Nome, clique no projeto para selecioná-lo.

Etapa 2: abrir as APIs Explorer e configurar o job

  1. Acesse as APIs Explorer na página de referência do método dlpJobs.create. Para manter essas instruções disponíveis, clique com o botão direito do mouse no link a seguir e abra-o em uma nova guia ou janela:

    Abra as APIs Explorer

  2. Na caixa pai, digite o código a seguir, em que project-id é o ID do projeto que você anotou na etapa anterior: 

    projects/project-id

    Em seguida, copie o JSON a seguir. Selecione o conteúdo do campo Corpo da solicitação nas APIs Explorer e cole o JSON para substituir o conteúdo. Substitua os marcadores project-id, bigquery-dataset-name e bigquery-table-name pelo ID do projeto real e pelos nomes do conjunto de dados e da tabela do BigQuery, respectivamente.

    {
  "inspectJob":
  {
    "storageConfig":
    {
      "bigQueryOptions":
      {
        "tableReference":
        {
          "projectId": "project-id",
          "datasetId": "bigquery-dataset-name",
          "tableId": "bigquery-table-name"
        }
      }
    },
    "inspectConfig":
    {
      "infoTypes":
      [
        {
          "name": "EMAIL_ADDRESS"
        },
        {
          "name": "PERSON_NAME"
        },
        {
          "name": "US_SOCIAL_SECURITY_NUMBER"
        },
        {
          "name": "PHONE_NUMBER"
        }
      ],
      "includeQuote": true,
      "minLikelihood": "UNLIKELY",
      "limits":
      {
        "maxFindingsPerRequest": 100
      }
    },
    "actions":
    [
      {
        "publishFindingsToCloudDataCatalog": {}
      }
    ]
  }
}

Para saber mais sobre as opções de inspeção disponíveis, consulte Como inspecionar dados sensíveis em armazenamento e bancos de dados. Para uma lista completa dos tipos de informações que a Proteção de Dados Sensíveis pode inspecionar, consulte Referência de InfoTypes.

Etapa 3: executar a solicitação para iniciar o job de inspeção

Depois de configurar o job seguindo as etapas anteriores, clique em Executar para enviar a solicitação. Se a solicitação for bem-sucedida, uma resposta será exibida com um código de sucesso e um objeto JSON que indica o status do job da Proteção de Dados Sensíveis que você acabou de criar.

A resposta à solicitação de inspeção inclui o ID da tarefa do job de inspeção como a "name" chave e o estado atual do job de inspeção as the "state" chave. Como você acabou de enviar a solicitação, o estado do job nesse momento é "PENDING".

Verificar o status do job de inspeção da Proteção de Dados Sensíveis

Depois de enviar a solicitação de inspeção, o job de inspeção começa imediatamente.

Google Cloud Console do

Para verificar o status do job de inspeção:

  1. No Google Cloud console do, abra a Proteção de Dados Sensíveis.

    Acessar a Proteção de Dados Sensíveis

  2. Clique na guia Jobs e gatilhos de jobs e, em seguida, em Todos os jobs.

O job que você acabou de executar provavelmente estará no topo da lista. Verifique a coluna Estado para garantir que o status seja Concluído.

Clique no código da tarefa para ver os resultados. Cada detector de infoType listado na página "Detalhes do job" é seguido pelo número de correspondências encontradas no conteúdo.

API DLP

Para verificar o status do job de inspeção:

  1. Acesse as APIs Explorer na página de referência do método dlpJobs.get clicando no botão a seguir:

    Abra as APIs Explorer

  2. Na caixa nome , digite o nome do job no JSON de resposta para a solicitação de inspeção, que tem o seguinte formato: 

    projects/project-id/dlpJobs/job-id
     O ID da tarefa está na forma de i-1234567890123456789.

  3. Para enviar a solicitação, clique em Executar.

Se a chave "state" do objeto JSON de resposta indicar que o job está "DONE", o job de inspeção será concluído.

Para ver o restante do JSON de resposta, role a página para baixo. Em "result" > "infoTypeStats", cada tipo de informação listado precisa ter um "count" correspondente. Caso contrário, verifique se você digitou o JSON com precisão e se o caminho ou o local dos dados está correto.

Após a conclusão do job de inspeção, é possível continuar para a próxima seção deste guia para ver os resultados da inspeção no Security Command Center.

Conferir os resultados da inspeção da Proteção de Dados Sensíveis no Data Catalog

Como você instruiu a Proteção de Dados Sensíveis a enviar os resultados do job de inspeção ao Data Catalog, agora é possível ver as tags e o modelo de tag criados automaticamente na interface do Data Catalog:

  1. Acesse a página Data Catalog no console do Google Cloud .

    Acessar o Data Catalog

  2. Pesquise a tabela que você inspecionou.
  3. Clique nos resultados que correspondem à tabela para ver os metadados da tabela.

A captura de tela a seguir mostra a visualização de metadados do Data Catalog de uma tabela de exemplo:

Descobertas da proteção de dados sensíveis no Data Catalog.

Resumo da inspeção

As descobertas da Proteção de Dados Sensíveis são incluídas em formato de resumo para a tabela que você inspecionou. Nesse resumo, incluímos contagens totais de infoType, bem como dados de resumo sobre o job de inspeção que inclui datas e o ID de recurso do job.

Qualquer infoTypes que foi inspecionado está listado. Aquele com descobertas mostra uma contagem maior que zero.

Limpar

Para evitar cobranças na sua Google Cloud conta do pelos recursos usados neste tópico, siga um destes procedimentos, dependendo se você usou dados de amostra ou seus próprios dados:

Excluir o projeto

A maneira mais fácil de eliminar o faturamento é excluir o projeto que você criou seguindo as instruções fornecidas neste tópico.

Para excluir o projeto:

  1. No Google Cloud console do, acesse a página "Projetos".

    Acessar a página "Projetos"

  2. Na lista de projetos, selecione aquele que você quer excluir e clique em Excluir projeto. Depois de marcar a caixa de seleção ao lado do nome do projeto, clique em "Excluir projeto"
  3. Na caixa de diálogo, digite o ID do projeto e clique em Desligar para excluir o projeto.

Quando você exclui seu projeto usando esse método, o job da Proteção de Dados Sensíveis e o bucket do Cloud Storage que você criou também são excluídos. Não é necessário seguir as instruções exibidas nas próximas seções.

Como excluir o job da Proteção de Dados Sensíveis ou o gatilho de job

Se você inspecionou seus próprios dados, exclua o job de inspeção ou o gatilho de job que acabou de criar.

Google Cloud Console do

  1. No Google Cloud console do, abra a Proteção de Dados Sensíveis.

    Acessar a Proteção de Dados Sensíveis

  2. Clique na guia Jobs e gatilhos de jobs e, em seguida, na guia Gatilhos de jobs.

  3. Na coluna Ações do gatilho de job que você quer excluir, clique no menu Mais ações (exibido como três pontos organizados verticalmente) e clique em Excluir.

Como alternativa, também é possível excluir os detalhes do job que você executou. Clique na guia Todas as tarefas e, na coluna Ações do job que você quer excluir, clique no menu Mais ações (exibido como três pontos organizados verticalmente) e, em seguida, Excluir.

API DLP

  1. Acesse as APIs Explorer na página de referência do método dlpJobs.delete clicando no botão a seguir:

    Abra as APIs Explorer

  2. Na caixa nome, digite o nome do job no JSON de resposta para a solicitação de inspeção, que tem o seguinte formato: 

    projects/project-id/dlpJobs/job-id
     O ID da tarefa está na forma de i-1234567890123456789.

Se você tiver criado outros jobs de inspeção ou quiser ter certeza de que excluiu o job com êxito, poderá listar todos os jobs existentes:

  1. Acesse as APIs Explorer na página de referência do método dlpJobs.list clicando no botão a seguir:

    Abra as APIs Explorer

  2. Na caixa pai, digite o identificador do projeto no seguinte formato, em que project-id é o identificador do projeto: 

    projects/project-id

  3. Clique em Execute.

Se não houver jobs listados na resposta, significa que você excluiu todos eles. Se os jobs estiverem listados na resposta, repita o procedimento de exclusão acima para esses jobs.

A seguir