Neste documento, descrevemos como inspecionar uma tabela do BigQuery em busca de dados sensíveis e enviar os resultados da inspeção para o Knowledge Catalog. Essa ação adiciona automaticamente um aspecto à entrada do Knowledge Catalog associada à sua tabela do BigQuery.
Este documento também fornece exemplos de consultas que podem ser usadas para encontrar dados em toda a organização e projetos com valores de aspectos específicos.
Esse recurso é útil se você quiser enriquecer seus metadados no Knowledge Catalog com classificações de dados sensíveis de jobs de inspeção da Proteção de dados sensíveis.
Os aspectos gerados incluem os seguintes detalhes:
- O nome do job de inspeção
- Os tipos de informações (infoTypes) detectados na tabela
Sobre o Knowledge Catalog
O Knowledge Catalog fornece um inventário unificado de recursos do Google Cloud .
Com o Knowledge Catalog, você usa aspectos para adicionar metadados comerciais e técnicos aos seus dados e capturar contexto e conhecimento sobre seus recursos. Em seguida, pesquise e descubra dados em toda a organização e ative a governança de dados nos seus recursos. Para mais informações, consulte Aspectos.
Como funciona
Para criar automaticamente aspectos do Knowledge Catalog com base nos resultados de um job de inspeção, siga este fluxo de trabalho de alto nível:
Crie ou edite um job de inspeção que inspecione uma tabela do BigQuery. Para instruções, consulte Inspecionar uma tabela do BigQuery.
Na etapa Adicionar ações, ative a opção Publicar no Dataplex Universal Catalog.
A Proteção de Dados Sensíveis adiciona ou atualiza o aspecto Sensitive Data Protection job result da entrada do Knowledge Catalog associada à tabela do BigQuery. Em seguida, pesquise no Knowledge Catalog todos os dados da sua organização ou projeto com valores de aspecto específicos. Para conferir exemplos de consultas, consulte Exemplos de consultas de pesquisa neste documento.
O aspecto resultante do Knowledge Catalog é armazenado no mesmo projeto e região da tabela do BigQuery.
Campos de aspecto
O aspecto Sensitive Data Protection job result tem os seguintes campos:
- Nome do job
- O nome completo do recurso do job de inspeção. Por exemplo,
projects/example-project/locations/us/dlpJobs/i-8992079400000000000. - Contagens de infoType
- Nomes de infoType que o job de inspeção procurou, conforme especificado na configuração de inspeção, e a contagem de descobertas para cada infoType.
Um infoType sem descobertas tem uma contagem de
0. - Horário de término
- A data e a hora em que o job de inspeção terminou.
- Is Full Scan
- Se o job de inspeção verificou todas as linhas da tabela. Se a amostragem estiver ativada no job de inspeção, por exemplo, o valor desse campo será
False. - Tem descobertas
- Se o job de inspeção detectou algum dos InfoTypes que ele verificou.
Ativar a API Dataplex
A API Dataplex precisa estar ativada em cada projeto que contém dados para os quais você quer adicionar aspectos. Esta seção descreve como ativar a API Dataplex em um único projeto ou em todos os projetos de uma organização ou pasta.
Ativar a API Dataplex em um único projeto
Selecione o projeto em que você quer ativar a API Dataplex.
-
Ative a API Dataplex, se ela ainda não estiver ativada.
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão
serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão pelo papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.
Ativar a API Dataplex em todos os projetos de uma organização ou pasta
Esta seção fornece um script que pesquisa todos os projetos em uma organização ou pasta e ativa a API Dataplex em cada um deles.
Para receber as permissões necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta, peça ao administrador para conceder a você os seguintes papéis do IAM:
- Leitor de recursos do Cloud (
roles/cloudasset.viewer) na organização ou pasta - Usuário da DLP (
roles/dlp.user) em cada projeto em que você quer ativar a API Dataplex
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esses papéis predefinidos contêm as permissões necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As permissões a seguir são necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta:
-
Para pesquisar todos os projetos em uma organização ou pasta:
cloudasset.assets.searchAllResourcesna organização ou pasta -
Para ativar a API Dataplex:
serviceusage.services.useem cada projeto em que você quer ativar a API Dataplex
Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.
Para ativar a API Dataplex em todos os projetos de uma organização ou pasta, siga estas etapas:
-
No console do Google Cloud , ative o Cloud Shell.
Na parte de baixo do console Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
Execute o script a seguir:
#!/bin/bash RESOURCE_ID="RESOURCE_ID" gcloud asset search-all-resources \ --scope="RESOURCE_TYPE/$RESOURCE_ID" \ --asset-types="cloudresourcemanager.googleapis.com/Project" \ --format="value(name)" | while read project_name; do project_id=$(echo "$project_name" | sed 's|.*/||') gcloud services enable "dataplex.googleapis.com" --project="$project_id" doneSubstitua:
RESOURCE_ID: o número da organização ou da pasta do recurso que contém os projetosRESOURCE_TYPE: o tipo de recurso que contém os projetos:organizationsoufolders.
Funções e permissões para visualizar aspectos
Para receber as permissões necessárias para pesquisar aspectos associados à sua tabela do BigQuery, peça ao administrador para conceder a você os seguintes papéis do IAM na tabela:
- Leitor do catálogo do Dataplex (
roles/dataplex.catalogViewer) - Leitor de dados do BigQuery (
roles/bigquery.dataViewer)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esses papéis predefinidos contêm as permissões necessárias para pesquisar aspectos associados à sua tabela do BigQuery. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para pesquisar aspectos associados à sua tabela do BigQuery:
-
Ver entradas do Knowledge Catalog:
-
dataplex.entries.list -
dataplex.entries.get
-
-
Confira os conjuntos de dados e tabelas do BigQuery:
-
bigquery.datasets.get -
bigquery.tables.get
-
Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.
Para mais informações sobre as permissões necessárias para usar o Knowledge Catalog, consulte Permissões do IAM do Knowledge Catalog.
Configurar e executar um job de inspeção da Proteção de Dados Sensíveis
É possível configurar e executar um job de inspeção da Proteção de Dados Sensíveis usando o console do Google Cloud ou a API DLP.
Console
-
No console Google Cloud , acesse a página Criar job ou gatilho de jobs.
- Selecione o projeto.
- Insira os detalhes necessários do job de inspeção e da tabela do BigQuery que você quer inspecionar. Para instruções, consulte Inspecionar uma tabela do BigQuery. Para conferir uma lista completa dos tipos de informações que a Proteção de Dados Sensíveis pode inspecionar, consulte Referência do detector de InfoType.
- Em Adicionar ações, ative a opção Publicar no Dataplex Universal Catalog.
- Clique em Criar. O job é executado imediatamente.
REST
O exemplo a seguir envia uma solicitação
projects.locations.dlpJobs.create
para inspecionar uma tabela do BigQuery e enviar os resultados ao
Knowledge Catalog.
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
-
PROJECT_ID: o ID do projeto Google Cloud . Os IDs do projeto são strings alfanuméricas -
LOCATION: a região ou multirregião em que você quer processar a solicitação, por exemplo,europe-west1ouus. Para ver os locais disponíveis, consulte Locais da Proteção de dados sensíveis. -
BIGQUERY_DATASET_NAME: nome do conjunto de dados do BigQuery que contém a tabela a ser inspecionada -
BIGQUERY_TABLE_NAME: nome da tabela do BigQuery a ser inspecionada
Método HTTP e URL:
POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs
Corpo JSON da solicitação:
{
"inspectJob":
{
"storageConfig":
{
"bigQueryOptions":
{
"tableReference":
{
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig":
{
"infoTypes":
[
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"includeQuote": true,
"minLikelihood": "UNLIKELY",
"limits":
{
"maxFindingsPerRequest": 100
}
},
"actions":
[
{
"publishFindingsToDataplexCatalog": {}
}
]
}
}
Para enviar a solicitação, expanda uma destas opções:
Você receberá uma resposta JSON semelhante a esta:
{
"name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"minLikelihood": "UNLIKELY",
"limits": {
"maxFindingsPerRequest": 100
},
"includeQuote": true
},
"actions": [
{
"publishFindingsToDataplexCatalog": {}
}
]
}
},
"result": {}
},
"createTime": "2025-09-09T00:29:55.951374Z",
"lastModified": "2025-09-09T00:29:58.022967Z"
}
Para saber como receber os resultados do job de inspeção usando a API DLP, consulte Receber um job.
Exemplo de consultas de pesquisa
Esta seção fornece exemplos de consultas de pesquisa que podem ser usadas no Knowledge Catalog para encontrar dados na sua organização ou projeto com valores de aspectos específicos.
Você só pode encontrar os dados a que tem acesso. O acesso aos dados é controlado por permissões do IAM. Para mais informações, consulte Funções e permissões para visualizar aspectos neste documento.
Você pode inserir essas consultas de exemplo no campo Pesquisar na página Pesquisar do Knowledge Catalog.
Para informações sobre como criar as consultas, consulte Sintaxe de pesquisa do Knowledge Catalog.
Encontrar as entradas de todas as tabelas que têm o aspecto de resultado do job da Proteção de Dados Sensíveis
aspect:sensitive-data-protection-job-result
Encontrar as entradas de tabelas inspecionadas que têm descobertas
aspect:sensitive-data-protection-job-result.hasFindings=True
Encontrar as entradas de tabelas inspecionadas que não têm descobertas
aspect:sensitive-data-protection-job-result.hasFindings=False
Encontrar as entradas de tabelas que foram totalmente inspecionadas
A consulta a seguir retorna as entradas de tabelas que a proteção de dados sensíveis inspecionou linha por linha.
aspect:sensitive-data-protection-job-result.isFullScan=True
Encontrar as entradas de tabelas que não foram totalmente inspecionadas
A consulta a seguir retorna as entradas de tabelas que a Proteção de Dados Sensíveis inspecionou por amostragem.
aspect:sensitive-data-protection-job-result.isFullScan=False
Migrar para a ação "Publicar no Dataplex Universal Catalog"
Para migrar um gatilho de job configurado para usar a ação Publicar no Data Catalog descontinuada, siga estas etapas:
- Edite o gatilho de job configurado para publicar os resultados da inspeção no Data Catalog. Para informações sobre como abrir e editar um gatilho de job, consulte Atualizar um gatilho de job.
- Na seção Ações, desative a opção Publicar no Data Catalog.
- Ative a opção Publicar no Dataplex Universal Catalog.
- Clique em Salvar.