Adicione aspetos do Dataplex Universal Catalog com base nas estatísticas dos perfis de dados

Esta página descreve como adicionar automaticamente aspetos do catálogo universal do Dataplex aos seus dados depois de o Sensitive Data Protection criar perfis dos seus recursos. Esta página também oferece exemplos de consultas que pode usar para encontrar dados na sua organização e projetos com valores de aspetos específicos.

Esta funcionalidade é útil se quiser enriquecer os metadados no catálogo universal do Dataplex com estatísticas recolhidas a partir dos perfis de dados da proteção de dados confidenciais. Os aspetos gerados incluem as seguintes estatísticas:

  • Nível de sensibilidade calculado da tabela ou do conjunto de dados
  • Nível de risco dos dados calculado da tabela ou do conjunto de dados
  • Tipos de informações (infoTypes) que foram detetados na tabela ou no conjunto de dados

As estatísticas dos perfis de dados da Proteção de dados confidenciais podem ajudar a usar o catálogo universal do Dataplex para descobrir dados confidenciais e de alto risco na sua organização. Use estas estatísticas para ajudar a tomar decisões informadas sobre como gerir e governar os seus dados.

Acerca dos perfis de dados

Pode configurar a proteção de dados confidenciais para gerar automaticamente perfis sobre dados numa organização, pasta ou projeto. Os perfis de dados contêm métricas e metadados sobre os seus dados e ajudam a determinar onde residem os dados confidenciais e de alto risco. A proteção de dados confidenciais comunica estas métricas a vários níveis de detalhe.

Pode enviar perfis de dados para outros Google Cloud serviços, como o catálogo universal do Dataplex, Pub/Sub, Security Command Center e Google Security Operations para enriquecer os fluxos de trabalho de governação de dados, alertas e segurança.

Acerca do Dataplex Universal Catalog

O Dataplex Universal Catalog oferece um inventário unificado de Google Cloud recursos.

O catálogo universal do Dataplex permite-lhe usar aspetos para adicionar metadados empresariais e técnicos aos seus dados, de modo a captar o contexto e o conhecimento sobre os seus recursos. Em seguida, pode pesquisar e descobrir dados em toda a sua organização e ativar a administração de dados nos seus recursos de dados. Para mais informações, consulte a secção Aspetos.

Recursos suportados

A proteção de dados confidenciais pode anexar automaticamente aspetos a entradas do catálogo universal do Dataplex para os seguintes recursos:

  • Tabelas do BigQuery

  • Tabelas do Cloud SQL

  • Conjuntos de dados do Vertex AI criados a partir de tabelas do BigQuery

O catálogo universal do Dataplex não carrega contentores do Cloud Storage e, por isso, esta funcionalidade não está disponível quando cria perfis de dados do Cloud Storage.

Como funciona

O fluxo de trabalho de nível elevado para criar automaticamente aspetos do catálogo universal do Dataplex com base em perfis de dados é o seguinte:

  1. Crie ou edite uma configuração de análise para um tipo de recurso suportado.

  2. No passo Adicionar ações, certifique-se de que a ação Enviar para o catálogo do Dataplex como aspetos está ativada.

    Se estiver a criar uma configuração de análise, esta ação está ativada por predefinição.

    Se estiver a editar uma configuração de análise, ative esta ação.

A proteção de dados confidenciais adiciona ou atualiza o aspeto Sensitive Data Protection profile da entrada do catálogo universal do Dataplex para cada recurso suportado que perfila. Em seguida, pode pesquisar no catálogo universal do Dataplex todos os dados na sua organização ou projeto com valores de aspetos específicos.

Quando ativa a ação Enviar para o catálogo do Dataplex como aspetos, a proteção de dados confidenciais aplica esta ação apenas a perfis novos e atualizados. Os perfis existentes que não são atualizados não são enviados para o Dataplex Universal Catalog.

Campos de nível superior

O aspeto resultante de uma tabela com perfil pode ter os seguintes campos de nível superior:

Nome a apresentar Valor de exemplo Descrição
Sensitivity MODERATE O nível de sensibilidade calculado da tabela
Risk MODERATE O nível de risco dos dados calculado da tabela
InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
  • infoType: US_SOCIAL_SECURITY_NUMBER
 Uma lista de todos os infoTypes encontrados na tabela, incluindo infoTypes previstos e outros infoTypes. Este campo é incluído se, pelo menos, um infoType tiver sido detetado na tabela.
Column InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
 Uma lista de todos os infoTypes previstos encontrados em todas as colunas da tabela. Este campo é incluído se tiver sido detetado, pelo menos, um infoType previsto na tabela.
Project Profile Consulte Perfil do projeto e perfil da organização nesta página. Incluído se o recurso tiver sido analisado através de uma configuração de análise ao nível do projeto.
Organization Profile Consulte Perfil do projeto e perfil da organização nesta página. Incluído se o recurso tiver sido analisado através de uma configuração de análise ao nível da organização ou da pasta.

Se o recurso tiver sido analisado ao nível do projeto e ao nível da organização ou da pasta, a proteção de dados confidenciais agrega os valores de ambos os perfis. O aspeto fornece uma união dos infoTypes detetados e usa as classificações de risco de dados e de sensibilidade mais elevadas de ambos os perfis.

Por exemplo, suponhamos que o perfil ao nível do projeto classifica a confidencialidade do recurso como MODERATE e o perfil ao nível da organização classifica a confidencialidade como LOW. Neste caso, o valor no campo Sensitivity de nível superior do aspeto é MODERATE.

Campos do perfil do projeto e do perfil da organização

O aspeto Sensitive Data Protection profile resultante inclui um ou ambos os seguintes campos de nível superior, consoante o nível em que o recurso foi analisado:

Project Profile
Incluído no aspeto se o recurso tiver sido analisado através de uma configuração de análise ao nível do projeto
Organization Profile
Incluído no aspeto se o recurso tiver sido analisado através de uma configuração de análise ao nível da organização ou da pasta

Se o recurso tiver sido analisado ao nível do projeto e da organização ou da pasta, o aspeto resultante tem os campos Project Profile e Organization Profile.

Cada campo Project Profile ou Organization Profile contém campos Sensitivity e Risk aninhados com os valores indicados no perfil de dados. Se o perfil de dados tiver infoTypes previstos e outros infoTypes listados, estes também estão disponíveis como campos Column InfoTypes e InfoTypes aninhados. Além disso, cada campo Project Profile ou Organization Profile contém os seguintes campos aninhados:

Profile

O nome completo do recurso do perfil de dados. Exemplos:

  • Perfil ao nível do projeto: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • Perfil ao nível da organização ou da pasta: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
Profile Link

Um link para o perfil na consola Google Cloud . Exemplos:

  • Perfil ao nível do projeto: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • Perfil ao nível da organização ou da pasta: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Ative a API Dataplex

A API Dataplex tem de estar ativada em cada projeto que contenha dados para os quais quer adicionar aspetos. Esta secção descreve como ativar a API Dataplex num único projeto ou em todos os projetos numa organização ou numa pasta.

Ative a API Dataplex num único projeto

  1. Selecione o projeto no qual quer ativar a API Dataplex.

    Aceder ao seletor de projetos

  2. Enable the Dataplex API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

Ative a API Dataplex em todos os projetos de uma organização ou pasta

Esta secção fornece um script que pesquisa todos os projetos numa organização ou pasta e ativa a API Dataplex em cada um desses projetos.

Para receber as autorizações de que precisa para ativar a API Dataplex em todos os projetos de uma organização ou pasta, peça ao seu administrador para lhe conceder as seguintes funções da IAM:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Estas funções predefinidas contêm as autorizações necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para ativar a API Dataplex em todos os projetos numa organização ou pasta:

  • Para pesquisar todos os projetos numa organização ou pasta: cloudasset.assets.searchAllResources na organização ou pasta
  • Para ativar a API Dataplex: serviceusage.services.use em cada projeto no qual quer ativar a API Dataplex

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Para ativar a API Dataplex em todos os projetos de uma organização ou pasta, siga estes passos:

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Execute o seguinte guião:

    #!/bin/bash

RESOURCE_ID="RESOURCE_ID"

gcloud asset search-all-resources \
    --scope="RESOURCE_TYPE/$RESOURCE_ID" \
    --asset-types="cloudresourcemanager.googleapis.com/Project" \
    --format="value(name)" |
    while read project_name; do
      project_id=$(echo "$project_name" | sed 's|.*/||')
      gcloud services enable "dataplex.googleapis.com" --project="$project_id"
    done

    Substitua o seguinte:

    • RESOURCE_ID: o número da organização ou o número da pasta do recurso que contém os projetos
    • RESOURCE_TYPE: o tipo de recurso que contém os projetos: organizations ou folders

    3. Funções e autorizações para ver aspetos

    Para obter as autorizações de que precisa para pesquisar aspetos associados aos seus recursos, peça ao administrador que lhe conceda as seguintes funções de IAM nos recursos:

    Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

    Estas funções predefinidas contêm as autorizações necessárias para pesquisar aspetos associados aos seus recursos. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

    Autorizações necessárias

    As seguintes autorizações são necessárias para pesquisar aspetos associados aos seus recursos:

    • Ver entradas do Dataplex Universal Catalog:
      • dataplex.entries.list
      • dataplex.entries.get
    • Ver conjuntos de dados e tabelas do BigQuery:
      • bigquery.datasets.get
      • bigquery.tables.get
    • Ver conjuntos de dados do Vertex AI: aiplatform.datasets.get

    Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

    Para mais informações sobre as autorizações necessárias para usar o Dataplex Universal Catalog, consulte as autorizações da IAM do Dataplex Universal Catalog.

    Encontre o aspeto gerado para um determinado perfil de dados de tabela

    1. Na Google Cloud consola, aceda à página de pesquisa do Dataplex Universal Catalog.

      Aceda à pesquisa

    2. Selecione a sua organização ou projeto.

    3. Em Escolher plataforma de pesquisa, selecione Dataplex Universal Catalog como o modo de pesquisa.

    4. No campo Pesquisar, introduza o seguinte:

      name:TABLE_ID

      Substitua TABLE_ID pelo ID da tabela da qual foi criado um perfil.

    5. Na lista apresentada, clique no nome da tabela. São apresentados os detalhes da tabela do BigQuery. Todos os Sensitive Data Protection profile aspetos associados são apresentados na secção Etiquetas e aspetos opcionais.

    Para mais informações sobre como pesquisar recursos, consulte o artigo Pesquise recursos no Dataplex Universal Catalog.

    Consultas de pesquisa de exemplo

    Esta secção fornece exemplos de consultas de pesquisa que pode usar no catálogo universal do Dataplex para encontrar dados na sua organização ou projeto com valores de aspetos específicos.

    Só pode encontrar os dados aos quais tem acesso. O acesso aos dados é controlado através das autorizações da IAM. Para mais informações, consulte Funções e autorizações para ver aspetos nesta página.

    Pode introduzir estas consultas de exemplo no campo Pesquisar na página Pesquisar do catálogo universal do Dataplex.

    Aceda à pesquisa

    Para obter informações sobre como formar as consultas, consulte o artigo Sintaxe de pesquisa do Dataplex Universal Catalog.

    Encontre todos os recursos que têm o aspeto do perfil de proteção de dados confidenciais

    aspect:sensitive-data-protection-profile

    Encontre todos os recursos com uma determinada pontuação de confidencialidade

    aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

    Substitua SENSITIVITY_SCORE por HIGH, MODERATE, UNKNOWN ou LOW.

    Para mais informações, consulte o artigo Níveis de sensibilidade e risco de dados.

    Encontre todos os recursos com uma determinada pontuação de risco

    aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

    Substitua DATA_RISK_LEVEL por HIGH, MODERATE, UNKNOWN ou LOW.

    Para mais informações, consulte o artigo Níveis de sensibilidade e risco de dados.

    Encontre todos os recursos que têm um perfil ao nível do projeto

    aspect:sensitive-data-protection-profile.projectProfile

    Encontre todos os recursos que têm um perfil ao nível da organização

    aspect:sensitive-data-protection-profile.organizationProfile

    Migre para a ação Enviar para o catálogo do Dataplex como aspetos

    Para migrar uma configuração de descoberta definida para usar a ação Enviar para o Dataplex como etiquetas descontinuada, siga estes passos:

    1. Edite a configuração de deteção que está configurada para enviar resultados de deteção para o catálogo de dados como etiquetas.
    2. Na secção Ações, desative a opção Enviar para o Dataplex como etiquetas.
    3. Ative a opção Enviar para o catálogo do Dataplex como aspetos.
    4. Clique em Guardar.