Adicionar aspectos do Knowledge Catalog com base em insights de perfis de dados

Nesta página, descrevemos como adicionar automaticamente aspectos do Knowledge Catalog aos seus dados depois que a Proteção de Dados Sensíveis cria perfis dos seus recursos. Esta página também fornece exemplos de consultas que podem ser usadas para encontrar dados na sua organização e projetos com valores de aspectos específicos.

Esse recurso é útil se você quiser enriquecer seus metadados no Knowledge Catalog com insights coletados dos perfis de dados da Proteção de dados sensíveis. Os aspectos gerados incluem os seguintes insights:

  • Nível de sensibilidade calculado da tabela ou do conjunto de dados
  • Nível de risco de dados calculado da tabela ou do conjunto de dados
  • Tipos de informações (infoTypes) detectados na tabela ou no conjunto de dados

Os insights dos perfis de dados da Proteção de Dados Sensíveis ajudam você a usar o Catálogo de dados para descobrir dados sensíveis e de alto risco na sua organização. Use esses insights para tomar decisões fundamentadas sobre como gerenciar e governar seus dados.

Sobre os perfis de dados

É possível configurar a Proteção de dados sensíveis para gerar automaticamente perfis sobre dados em uma organização, pasta ou projeto. Os perfis de dados contêm métricas e metadados sobre seus dados e ajudam a determinar onde os dados sensíveis e de alto risco estão localizados. A Proteção de Dados Sensíveis informa essas métricas em vários níveis de detalhes.

É possível enviar perfis de dados para outros serviços do Google Cloud , como o Knowledge Catalog, Pub/Sub, Security Command Center e Google Security Operations para enriquecer seus fluxos de trabalho de governança de dados, alertas e segurança.

Sobre o Catálogo de Conhecimento

O Knowledge Catalog oferece um inventário unificado de recursos do Google Cloud .

Com o catálogo de conhecimento, é possível usar aspectos para adicionar metadados comerciais e técnicos aos seus dados e capturar contexto e conhecimento sobre seus recursos. Em seguida, você pode pesquisar e descobrir dados em toda a organização e ativar a governança de dados sobre seus recursos de dados. Para mais informações, consulte Aspectos.

Recursos suportados

A Proteção de dados sensíveis pode anexar automaticamente aspectos a entradas do Knowledge Catalog para os seguintes recursos:

O Catálogo de dados não ingere buckets do Cloud Storage. Por isso, esse recurso não está disponível ao criar perfis de dados do Cloud Storage.

Como funciona

O fluxo de trabalho de alto nível para criar automaticamente aspectos do Knowledge Catalog com base em perfis de dados é o seguinte:

  1. Crie ou edite uma configuração de verificação para um tipo de recurso compatível.

  2. Na etapa Adicionar ações, verifique se a ação Enviar para o Dataplex Catalog como aspectos está ativada.

    Se você estiver criando uma configuração de verificação, essa ação será ativada por padrão.

    Se você estiver editando uma configuração de verificação, ative essa ação.

A Proteção de dados sensíveis adiciona ou atualiza o aspecto Sensitive Data Protection profile da entrada do Catálogo do Knowledge para cada recurso compatível que você cria um perfil. Em seguida, pesquise no Knowledge Catalog todos os dados da sua organização ou projeto com valores de aspecto específicos.

Quando você ativa a ação Enviar para o Dataplex Catalog como aspectos, a Proteção de dados sensíveis aplica essa ação apenas a perfis novos e atualizados. Os perfis atuais que não forem atualizados não serão enviados ao Knowledge Catalog.

Campos de nível superior

O aspecto resultante de uma tabela com perfil pode ter os seguintes campos de nível superior:

Nome de exibição Valor de exemplo Descrição
Sensitivity MODERATE O nível de sensibilidade calculado da tabela
Risk MODERATE O nível de risco de dados calculado da tabela
InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
  • infoType: US_SOCIAL_SECURITY_NUMBER
 Uma lista de todos os infoTypes encontrados na tabela, incluindo infoTypes previstos e outros infoTypes. Esse campo é incluído se pelo menos um infoType foi detectado na tabela.
Column InfoTypes
  • infoType: CREDIT_CARD_NUMBER
  • infoType: PHONE_NUMBER
 Uma lista de todos os infoTypes previstos encontrados em todas as colunas da tabela. Esse campo é incluído se pelo menos um infoType previsto for detectado na tabela.
Project Profile Consulte Perfil do projeto e perfil da organização nesta página. Incluído se o recurso foi criado por perfil usando uma configuração de verificação para envolvidos no projeto.
Organization Profile Consulte Perfil do projeto e perfil da organização nesta página. Incluído se o recurso foi criado por perfil usando uma configuração de verificação no nível da organização ou da pasta.

Se o recurso tiver sido criado no nível do projeto e da organização ou da pasta, a Proteção de Dados Sensíveis vai agregar os valores dos dois perfis. O aspecto fornece uma união dos infoTypes detectados e usa as classificações de sensibilidade e risco de dados mais altas dos dois perfis.

Por exemplo, suponha que o perfil para envolvidos no projeto classifique a sensibilidade do recurso como MODERATE e o perfil no nível da organização classifique a sensibilidade como LOW. Nesse caso, o valor no campo Sensitivity de nível superior do aspecto é MODERATE.

Campos de perfil do projeto e da organização

O aspecto Sensitive Data Protection profile resultante inclui um ou ambos os seguintes campos de nível superior, dependendo do nível em que o recurso foi analisado:

Project Profile
Incluído no aspecto se o recurso foi criado usando uma configuração de verificação para envolvidos no projeto
Organization Profile
Incluído no aspecto se o recurso foi criado por perfil usando uma configuração de verificação no nível da organização ou da pasta

Se o recurso tiver sido criado no nível do projeto e da organização ou da pasta, o aspecto resultante terá os campos Project Profile e Organization Profile.

Cada campo Project Profile ou Organization Profile contém campos aninhados Sensitivity e Risk com os valores listados no perfil de dados. Se o perfil dos dados tiver InfoTypes previstos e outros InfoTypes listados, eles também estarão disponíveis como campos aninhados Column InfoTypes e InfoTypes. Além disso, cada campo Project Profile ou Organization Profile contém os seguintes campos aninhados:

Profile

O nome completo do recurso do perfil dos dados. Exemplos:

  • Perfil para envolvidos no projeto: projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • Perfil no nível da organização ou da pasta: organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
Profile Link

Um link para o perfil no console Google Cloud . Exemplos:

  • Perfil para envolvidos no projeto: https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • Perfil no nível da organização ou da pasta: https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

Ativar a API Dataplex

A API Dataplex precisa estar ativada em cada projeto que contém dados para os quais você quer adicionar aspectos. Nesta seção, descrevemos como ativar a API Dataplex em um único projeto ou em todos os projetos de uma organização ou pasta.

Ativar a API Dataplex em um único projeto

  1. Selecione o projeto em que você quer ativar a API Dataplex.

    Acessar o seletor de projetos

  2. Ativar a API Dataplex

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

    Ativar a API

Ativar a API Dataplex em todos os projetos de uma organização ou pasta

Esta seção fornece um script que pesquisa todos os projetos em uma organização ou pasta e ativa a API Dataplex em cada um deles.

Para receber as permissões necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta:

  • Para pesquisar todos os projetos em uma organização ou pasta: cloudasset.assets.searchAllResources na organização ou pasta
  • Para ativar a API Dataplex: serviceusage.services.use em cada projeto em que você quer ativar a API Dataplex

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para ativar a API Dataplex em todos os projetos de uma organização ou pasta, siga estas etapas:

  1. No console do Google Cloud , ative o Cloud Shell.

    Ativar o Cloud Shell

    Na parte de baixo do console Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.

  2. Execute o script a seguir:

    #!/bin/bash

RESOURCE_ID="RESOURCE_ID"

gcloud asset search-all-resources \
    --scope="RESOURCE_TYPE/$RESOURCE_ID" \
    --asset-types="cloudresourcemanager.googleapis.com/Project" \
    --format="value(name)" |
    while read project_name; do
      project_id=$(echo "$project_name" | sed 's|.*/||')
      gcloud services enable "dataplex.googleapis.com" --project="$project_id"
    done

    Substitua:

    • RESOURCE_ID: o número da organização ou da pasta do recurso que contém os projetos
    • RESOURCE_TYPE: o tipo de recurso que contém os projetos: organizations ou folders.

Papéis e permissões para visualizar aspectos

Para receber as permissões necessárias para pesquisar aspectos associados aos seus recursos, peça ao administrador que conceda a você os seguintes papéis do IAM nos recursos:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para pesquisar aspectos associados aos seus recursos. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para pesquisar aspectos associados aos seus recursos:

  • Ver entradas do Catálogo de Conhecimento:
    • dataplex.entries.list
    • dataplex.entries.get
  • Ver conjuntos de dados e tabelas do BigQuery:
    • bigquery.datasets.get
    • bigquery.tables.get
  • Ver conjuntos de dados da Vertex AI: aiplatform.datasets.get

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações sobre as permissões necessárias para usar o Catálogo de Conhecimento, consulte Permissões do IAM do Catálogo de Conhecimento.

Encontrar o aspecto gerado para um determinado perfil dos dados da tabela

  1. No console Google Cloud , acesse a página Pesquisa do Knowledge Catalog.

    Acesse Pesquisar

  2. Selecione a organização ou o projeto.

  3. Em Escolher plataforma de pesquisa, selecione Dataplex Universal Catalog como o modo de pesquisa.

  4. No campo Pesquisar, insira o seguinte:

    name:TABLE_ID

    Substitua TABLE_ID pelo ID da tabela que foi criada.

  5. Na lista que aparece, clique no nome da tabela. Os detalhes da tabela do BigQuery aparecem. Todos os aspectos Sensitive Data Protection profile associados a ele são mostrados na seção Tags e aspectos opcionais.

Para mais informações sobre como pesquisar recursos, consulte Pesquisar recursos no Catálogo de Conhecimento.

Exemplo de consultas de pesquisa

Esta seção fornece exemplos de consultas de pesquisa que podem ser usadas no Knowledge Catalog para encontrar dados na sua organização ou projeto com valores de aspectos específicos.

Você só encontra os dados a que tem acesso. O acesso aos dados é controlado por permissões do IAM. Para mais informações, consulte Papéis e permissões para visualizar aspectos nesta página.

Você pode inserir essas consultas de exemplo no campo Pesquisar da página Pesquisar do Knowledge Catalog.

Acesse Pesquisar

Para informações sobre como criar as consultas, consulte Sintaxe de pesquisa do Knowledge Catalog.

Encontrar todos os recursos que têm o aspecto de perfil da Proteção de Dados Sensíveis

aspect:sensitive-data-protection-profile

Encontrar todos os recursos com uma determinada pontuação de sensibilidade

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

Substitua SENSITIVITY_SCORE por HIGH, MODERATE, UNKNOWN ou LOW.

Para mais informações, consulte Níveis de sensibilidade e risco de dados.

Encontrar todos os recursos com uma determinada pontuação de risco

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

Substitua DATA_RISK_LEVEL por HIGH, MODERATE, UNKNOWN ou LOW.

Para mais informações, consulte Níveis de sensibilidade e risco de dados.

Encontrar todos os recursos que têm um perfil para envolvidos no projeto

aspect:sensitive-data-protection-profile.projectProfile

Encontrar todos os recursos que têm um perfil no nível da organização

aspect:sensitive-data-protection-profile.organizationProfile

Migrar para a ação "Enviar para o Dataplex Catalog como aspectos"

Para migrar uma configuração de descoberta definida para usar a ação Enviar para o Dataplex como tags descontinuada, siga estas etapas:

  1. Edite a configuração de descoberta que está configurada para enviar resultados ao Data Catalog como tags.
  2. Na seção Ações, desative a opção Enviar para o Dataplex como tags.
  3. Ative a opção Enviar para o Dataplex Catalog como aspectos.
  4. Clique em Salvar.