Este documento descreve como inspecionar uma tabela do BigQuery para encontrar dados confidenciais e enviar os resultados da inspeção para o catálogo universal do Dataplex. Esta ação adiciona automaticamente um aspeto à entrada do catálogo universal do Dataplex associada à sua tabela do BigQuery.
Este documento também fornece exemplos de consultas que pode usar para encontrar dados na sua organização e projetos com valores de aspetos específicos.
Esta funcionalidade é útil se quiser enriquecer os metadados no catálogo universal do Dataplex com classificações de dados confidenciais de tarefas de inspeção do Sensitive Data Protection.
Os aspetos gerados incluem os seguintes detalhes:
- O nome da tarefa de inspeção
- Os tipos de informações (infoTypes) que foram detetados na tabela
Acerca do Dataplex Universal Catalog
O Dataplex Universal Catalog oferece um inventário unificado de Google Cloud recursos.
O catálogo universal do Dataplex permite-lhe usar aspetos para adicionar metadados empresariais e técnicos aos seus dados, de modo a captar o contexto e o conhecimento sobre os seus recursos. Em seguida, pode pesquisar e descobrir dados em toda a sua organização e ativar a administração de dados nos seus recursos de dados. Para mais informações, consulte a secção Aspetos.
Como funciona
Para criar automaticamente aspetos do catálogo universal do Dataplex com base nos resultados da tarefa de inspeção, siga este fluxo de trabalho de alto nível:
Crie ou edite uma tarefa de inspeção que inspecione uma tabela do BigQuery. Para ver instruções, consulte o artigo Inspeccione uma tabela do BigQuery.
No passo Adicionar ações, ative a opção Publicar no Dataplex Universal Catalog.
A Proteção de dados confidenciais adiciona ou atualiza o aspeto Sensitive Data Protection job result da entrada do catálogo universal do Dataplex associado à tabela do BigQuery. Em seguida, pode pesquisar
no catálogo universal do Dataplex todos os dados na sua organização ou projeto
com valores de aspetos específicos. Para ver consultas de exemplo, consulte a secção Consultas de pesquisa de exemplo neste documento.
O aspeto do catálogo universal do Dataplex resultante é armazenado no mesmo projeto e região que a tabela do BigQuery.
Campos de aspeto
O aspeto Sensitive Data Protection job result tem os seguintes campos:
- Nome da tarefa
- O nome completo do recurso da tarefa de inspeção, por exemplo,
projects/example-project/locations/us/dlpJobs/i-8992079400000000000. - Contagens de InfoType
- Nomes dos InfoTypes que a tarefa de inspeção procurou, conforme especificado na configuração de inspeção, e a quantidade de resultados para cada InfoType.
Um infoType que não tem resultados tem uma contagem de
0. - Hora de fim
- A data e a hora em que a tarefa de inspeção terminou.
- Is Full Scan
- Se a tarefa de inspeção analisou todas as linhas na tabela. Se a amostragem estiver ativada na tarefa de inspeção, por exemplo, o valor deste campo é
False. - Tem descobertas
- Se a tarefa de inspeção detetou algum dos infoTypes para os quais fez a análise.
Ative a API Dataplex
A API Dataplex tem de estar ativada em cada projeto que contenha dados para os quais quer adicionar aspetos. Esta secção descreve como ativar a API Dataplex num único projeto ou em todos os projetos numa organização ou numa pasta.
Ative a API Dataplex num único projeto
Selecione o projeto no qual quer ativar a API Dataplex.
-
Enable the Dataplex API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.
Ative a API Dataplex em todos os projetos de uma organização ou pasta
Esta secção fornece um script que pesquisa todos os projetos numa organização ou pasta e ativa a API Dataplex em cada um desses projetos.
Para receber as autorizações de que precisa para ativar a API Dataplex em todos os projetos de uma organização ou pasta, peça ao seu administrador para lhe conceder as seguintes funções da IAM:
-
Visualizador de recursos da nuvem (
roles/cloudasset.viewer) na organização ou na pasta -
Utilizador de DLP (
roles/dlp.user) em cada projeto no qual quer ativar a API Dataplex
Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.
Estas funções predefinidas contêm as autorizações necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:
Autorizações necessárias
São necessárias as seguintes autorizações para ativar a API Dataplex em todos os projetos numa organização ou pasta:
-
Para pesquisar todos os projetos numa organização ou pasta:
cloudasset.assets.searchAllResourcesna organização ou pasta -
Para ativar a API Dataplex:
serviceusage.services.useem cada projeto no qual quer ativar a API Dataplex
Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.
Para ativar a API Dataplex em todos os projetos de uma organização ou pasta, siga estes passos:
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Execute o seguinte guião:
#!/bin/bash RESOURCE_ID="RESOURCE_ID" gcloud asset search-all-resources \ --scope="RESOURCE_TYPE/$RESOURCE_ID" \ --asset-types="cloudresourcemanager.googleapis.com/Project" \ --format="value(name)" | while read project_name; do project_id=$(echo "$project_name" | sed 's|.*/||') gcloud services enable "dataplex.googleapis.com" --project="$project_id" doneSubstitua o seguinte:
RESOURCE_ID: o número da organização ou o número da pasta do recurso que contém os projetosRESOURCE_TYPE: o tipo de recurso que contém os projetos:organizationsoufolders
-
Visitante do catálogo do Dataplex (
roles/dataplex.catalogViewer) -
Visualizador de dados do BigQuery (
roles/bigquery.dataViewer) -
Ver entradas do Dataplex Universal Catalog:
-
dataplex.entries.list -
dataplex.entries.get
-
-
Ver conjuntos de dados e tabelas do BigQuery:
-
bigquery.datasets.get -
bigquery.tables.get
-
-
Na Google Cloud consola, aceda à página Criar tarefa ou acionador de tarefas.
- Selecione o seu projeto.
- Introduza os detalhes da tarefa de inspeção necessários e os detalhes da tabela do BigQuery que quer inspecionar. Para ver instruções, consulte o artigo Inspeção de uma tabela do BigQuery. Para ver uma lista completa dos tipos de informações que a proteção de dados confidenciais pode inspecionar, consulte a referência do detetor de InfoType.
- Para Adicionar ações, ative a opção Publicar no Dataplex Universal Catalog.
- Clique em Criar. A tarefa é executada imediatamente.
-
PROJECT_ID: o ID do seu Google Cloud projeto. Os IDs dos projetos são strings alfanuméricas -
LOCATION: a região ou as várias regiões onde quer processar o pedido, por exemplo,europe-west1ouus. Para ver as localizações disponíveis, consulte o artigo Localizações da Proteção de dados confidenciais. -
BIGQUERY_DATASET_NAME: nome do conjunto de dados do BigQuery que contém a tabela a inspecionar -
BIGQUERY_TABLE_NAME: nome da tabela do BigQuery a inspecionar - Edite o acionador da tarefa configurado para publicar os resultados da inspeção no catálogo de dados. Para ver informações sobre como abrir e editar um acionador de tarefa, consulte o artigo Atualize um acionador de tarefa existente.
- Na secção Ações, desative a opção Publicar no catálogo de dados.
- Ative a opção Publicar no Dataplex Universal Catalog.
- Clique em Guardar.
Funções e autorizações para ver aspetos
Para obter as autorizações de que precisa para pesquisar aspetos associados à sua tabela do BigQuery, peça ao seu administrador que lhe conceda as seguintes funções de IAM na tabela:
Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.
Estas funções predefinidas contêm as autorizações necessárias para pesquisar aspetos associados à sua tabela do BigQuery. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:
Autorizações necessárias
As seguintes autorizações são necessárias para pesquisar aspetos associados à sua tabela do BigQuery:
Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.
Para mais informações sobre as autorizações necessárias para usar o Dataplex Universal Catalog, consulte as autorizações da IAM do Dataplex Universal Catalog.
Configure e execute uma tarefa de inspeção da proteção de dados confidenciais
Pode configurar e executar uma tarefa de inspeção da proteção de dados confidenciais através da consola ou da API DLP. Google Cloud
Consola
REST
O exemplo seguinte envia um pedido
projects.locations.dlpJobs.create
para inspecionar uma tabela do BigQuery e enviar os resultados para o
catálogo universal do Dataplex.
Antes de usar qualquer um dos dados do pedido, faça as seguintes substituições:
Método HTTP e URL:
POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs
Corpo JSON do pedido:
{
"inspectJob":
{
"storageConfig":
{
"bigQueryOptions":
{
"tableReference":
{
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig":
{
"infoTypes":
[
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"includeQuote": true,
"minLikelihood": "UNLIKELY",
"limits":
{
"maxFindingsPerRequest": 100
}
},
"actions":
[
{
"publishFindingsToDataplexCatalog": {}
}
]
}
}
Para enviar o seu pedido, expanda uma destas opções:
Deve receber uma resposta JSON semelhante à seguinte:
{
"name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"minLikelihood": "UNLIKELY",
"limits": {
"maxFindingsPerRequest": 100
},
"includeQuote": true
},
"actions": [
{
"publishFindingsToDataplexCatalog": {}
}
]
}
},
"result": {}
},
"createTime": "2025-09-09T00:29:55.951374Z",
"lastModified": "2025-09-09T00:29:58.022967Z"
}
Para obter informações sobre como obter os resultados da tarefa de inspeção através da API DLP, consulte o artigo Obter uma tarefa.
Consultas de pesquisa de exemplo
Esta secção fornece exemplos de consultas de pesquisa que pode usar no catálogo universal do Dataplex para encontrar dados na sua organização ou projeto com valores de aspetos específicos.
Só pode encontrar os dados aos quais tem acesso. O acesso aos dados é controlado através das autorizações da IAM. Para mais informações, consulte a secção Funções e autorizações para ver aspetos neste documento.
Pode introduzir estas consultas de exemplo no campo Pesquisar na página Pesquisar do catálogo universal do Dataplex.
Para obter informações sobre como formar as consultas, consulte o artigo Sintaxe de pesquisa do Dataplex Universal Catalog.
Encontre as entradas de todas as tabelas que têm o aspeto do resultado da tarefa de proteção de dados confidenciais
aspect:sensitive-data-protection-job-result
Encontre as entradas de tabelas inspecionadas que têm resultados
aspect:sensitive-data-protection-job-result.hasFindings=True
Encontre as entradas de tabelas inspecionadas que não têm resultados
aspect:sensitive-data-protection-job-result.hasFindings=False
Encontre as entradas de tabelas que foram inspecionadas na totalidade
A consulta seguinte devolve as entradas de tabelas que a proteção de dados confidenciais inspecionou linha a linha.
aspect:sensitive-data-protection-job-result.isFullScan=True
Encontre as entradas de tabelas que não foram inspecionadas na totalidade
A consulta seguinte devolve as entradas de tabelas que a proteção de dados confidenciais inspecionou através da amostragem.
aspect:sensitive-data-protection-job-result.isFullScan=False
Migre para a ação Publicar no Dataplex Universal Catalog
Para migrar um acionador de tarefa configurado para usar a ação Publicar no Data Catalog descontinuada, siga estes passos: