Neste documento, descrevemos como inspecionar uma tabela do BigQuery em busca de dados sensíveis e enviar os resultados da inspeção para o Knowledge Catalog. Essa ação adiciona automaticamente um aspecto à entrada do Knowledge Catalog associada à tabela do BigQuery.
Este documento também fornece exemplos de consultas que podem ser usadas para encontrar dados na organização e em projetos com valores de aspecto específicos.
Esse recurso é útil se você quiser enriquecer os metadados no Knowledge Catalog com classificações de dados sensíveis de jobs de inspeção da Proteção de Dados Sensíveis.
Os aspectos gerados incluem os seguintes detalhes:
- O nome do job de inspeção
- Os tipos de informação (infoTypes) detectados na tabela
Sobre o Knowledge Catalog
O Knowledge Catalog oferece um inventário unificado de Google Cloud recursos.
O Knowledge Catalog permite usar aspectos para adicionar metadados comerciais e técnicos aos dados para capturar o contexto e o conhecimento sobre seus recursos. Em seguida, você pode pesquisar e descobrir dados na organização e ativar a governança de dados nos seus ativos de dados. Para mais informações, consulte Aspectos.
Como funciona
Para criar automaticamente aspectos do Knowledge Catalog com base nos resultados do job de inspeção, siga este fluxo de trabalho de alto nível:
Crie ou edite um job de inspeção que inspecione uma tabela do BigQuery. Para instruções, consulte Inspecionar uma tabela do BigQuery.
Na etapa Adicionar ações, ative Publicar no Knowledge Catalog.
A Proteção de Dados Sensíveis adiciona ou atualiza o
Sensitive Data Protection job result aspecto da entrada do
Knowledge Catalog associada à tabela do BigQuery. Em seguida, você pode pesquisar no Knowledge Catalog todos os dados da organização ou do projeto com valores de aspecto específicos. Para exemplos de consultas, consulte Exemplos de consultas de pesquisa neste documento.
O aspecto do Knowledge Catalog resultante é armazenado no mesmo projeto e região da tabela do BigQuery.
Campos de aspecto
O aspecto Sensitive Data Protection job result tem os seguintes campos:
- Nome do job
- O nome completo do recurso do job de inspeção, por exemplo,
projects/example-project/locations/us/dlpJobs/i-8992079400000000000. - Contagens de infoType
- Nomes de infoType que o job de inspeção pesquisou, conforme especificado na configuração de inspeção, e a contagem de descobertas para cada infoType.
Um infoType que não tem descobertas tem uma contagem de
0. - Horário de término
- A data e a hora em que o job de inspeção terminou.
- É uma verificação completa
- Indica se o job de inspeção verificou todas as linhas da tabela. Se a amostragem estiver ativada no job de inspeção, por exemplo, o valor desse campo será
False. - Tem descobertas
- Indica se o job de inspeção detectou algum dos infoTypes que ele verificou.
Ativar a API Dataplex
A API Dataplex precisa ser ativada em cada projeto que contém dados para os quais você quer adicionar aspectos. Esta seção descreve como ativar a API Dataplex em um único projeto ou em todos os projetos de uma organização ou pasta.
Ativar a API Dataplex em um único projeto
Selecione o projeto em que você quer ativar a API Dataplex.
-
Ative a API Dataplex, se ela ainda não estiver ativada.
Funções necessárias para ativar APIs
Para ativar as APIs, você precisa da permissão
serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pela função Proprietário (roles/owner). Caso contrário, você pode receber essa permissão pela função Administrador do uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder funções.
Ativar a API Dataplex em todos os projetos de uma organização ou pasta
Esta seção fornece um script que pesquisa todos os projetos em uma organização ou pasta e ativa a API Dataplex em cada um deles.
Para receber as permissões necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta, peça ao administrador para conceder a você as seguintes funções do IAM:
- Leitor de recursos do Cloud (
roles/cloudasset.viewer) na organização ou pasta - Usuário da DLP (
roles/dlp.user) em cada projeto em que você quer ativar a API Dataplex
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esses papéis predefinidos têm as permissões necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As permissões a seguir são necessárias para ativar a API Dataplex em todos os projetos de uma organização ou pasta:
-
Para pesquisar todos os projetos em uma organização ou pasta:
cloudasset.assets.searchAllResourcesna organização ou pasta -
Para ativar a API Dataplex:
serviceusage.services.useem cada projeto em que você quer ativar a API Dataplex
Também é possível receber essas permissões com papéis personalizados ou outros papéis predefinidos.
Para ativar a API Dataplex em todos os projetos de uma organização ou pasta, siga estas etapas:
-
No Google Cloud console, ative o Cloud Shell.
Na parte de baixo do Google Cloud console, uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a Google Cloud CLI já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
Execute o script a seguir:
#!/bin/bash RESOURCE_ID="RESOURCE_ID" gcloud asset search-all-resources \ --scope="RESOURCE_TYPE/$RESOURCE_ID" \ --asset-types="cloudresourcemanager.googleapis.com/Project" \ --format="value(name)" | while read project_name; do project_id=$(echo "$project_name" | sed 's|.*/||') gcloud services enable "dataplex.googleapis.com" --project="$project_id" doneSubstitua:
RESOURCE_ID: o número da organização ou da pasta do recurso que contém os projetosRESOURCE_TYPE: o tipo de recurso que contém os projetos:organizationsoufolders
Funções e permissões para visualizar aspectos
Para receber as permissões necessárias para pesquisar aspectos associados à tabela do BigQuery, peça ao administrador para conceder a você as seguintes funções do IAM na tabela:
- Leitor do catálogo do Dataplex (
roles/dataplex.catalogViewer) - Leitor de dados do BigQuery (
roles/bigquery.dataViewer)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esses papéis predefinidos têm as permissões necessárias para pesquisar aspectos associados à tabela do BigQuery. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As permissões a seguir são necessárias para pesquisar aspectos associados à tabela do BigQuery:
-
Visualizar entradas do Knowledge Catalog:
-
dataplex.entries.list -
dataplex.entries.get
-
-
Visualizar conjuntos de dados e tabelas do BigQuery:
-
bigquery.datasets.get -
bigquery.tables.get
-
Também é possível receber essas permissões com funções personalizadas ou outras funções predefinidas.
Para mais informações sobre as permissões necessárias para usar Knowledge Catalog, consulte Permissões do IAM do Knowledge Catalog.
Configurar e executar um job de inspeção da Proteção de Dados Sensíveis
É possível configurar e executar um job de inspeção da Proteção de Dados Sensíveis usando o Google Cloud console ou a API DLP.
Console
-
No Google Cloud console, acesse a página **Criar job ou gatilho de jobs**.
- Selecione o projeto.
- Insira os detalhes necessários do job de inspeção e os detalhes da tabela do BigQuery que você quer inspecionar. Para instruções, consulte Inspecionar uma tabela do BigQuery. Para uma lista completa dos tipos de informação que a Proteção de Dados Sensíveis pode inspecionar, consulte Referência de detectores de infoType.
- Em Adicionar ações, ative Publicar no Knowledge Catalog.
- Clique em Criar. O job é executado imediatamente.
REST
O exemplo a seguir envia uma
projects.locations.dlpJobs.create
solicitação para inspecionar uma tabela do BigQuery e enviar os resultados para o
Knowledge Catalog.
Antes de usar qualquer um dos dados da solicitação, faça as seguintes substituições:
-
PROJECT_ID: o ID do Google Cloud projeto do. Os IDs de projetos são strings alfanuméricas. -
LOCATION: a região ou multirregião em que você quer processar a solicitação, por exemplo,europe-west1ouus. Para locais disponíveis, consulte Locais da Proteção de Dados Sensíveis. -
BIGQUERY_DATASET_NAME: nome do conjunto de dados do BigQuery que contém a tabela a ser inspecionada -
BIGQUERY_TABLE_NAME: nome da tabela do BigQuery a ser inspecionada
Método HTTP e URL:
POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs
Corpo JSON da solicitação:
{
"inspectJob":
{
"storageConfig":
{
"bigQueryOptions":
{
"tableReference":
{
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig":
{
"infoTypes":
[
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"includeQuote": true,
"minLikelihood": "UNLIKELY",
"limits":
{
"maxFindingsPerRequest": 100
}
},
"actions":
[
{
"publishFindingsToDataplexCatalog": {}
}
]
}
}
Para enviar a solicitação, expanda uma destas opções:
Você receberá uma resposta JSON semelhante a esta:
{
"name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "PROJECT_ID",
"datasetId": "BIGQUERY_DATASET_NAME",
"tableId": "BIGQUERY_TABLE_NAME"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "EMAIL_ADDRESS"
},
{
"name": "PERSON_NAME"
},
{
"name": "US_SOCIAL_SECURITY_NUMBER"
},
{
"name": "PHONE_NUMBER"
}
],
"minLikelihood": "UNLIKELY",
"limits": {
"maxFindingsPerRequest": 100
},
"includeQuote": true
},
"actions": [
{
"publishFindingsToDataplexCatalog": {}
}
]
}
},
"result": {}
},
"createTime": "2025-09-09T00:29:55.951374Z",
"lastModified": "2025-09-09T00:29:58.022967Z"
}
Para informações sobre como receber os resultados do job de inspeção usando a API DLP, consulte Receber um job.
Exemplo de consultas de pesquisa
Esta seção fornece exemplos de consultas de pesquisa que podem ser usadas no Knowledge Catalog para encontrar dados na organização ou no projeto com valores de aspecto específicos.
Você só pode encontrar os dados a que tem acesso. O acesso aos dados é controlado por permissões do IAM. Para mais informações, consulte Funções e permissões para visualizar aspectos neste documento.
É possível inserir esses exemplos de consultas no campo Pesquisar na página Pesquisar do Knowledge Catalog.
Para informações sobre como formar as consultas, consulte Sintaxe de pesquisa do Knowledge Catalog.
Encontrar as entradas de todas as tabelas que têm o aspecto de resultado do job da Proteção de Dados Sensíveis
aspect:sensitive-data-protection-job-result
Encontrar as entradas de tabelas inspecionadas que têm descobertas
aspect:sensitive-data-protection-job-result.hasFindings=True
Encontrar as entradas de tabelas inspecionadas que não têm descobertas
aspect:sensitive-data-protection-job-result.hasFindings=False
Encontrar as entradas de tabelas que foram totalmente inspecionadas
A consulta a seguir retorna as entradas de tabelas que a Proteção de Dados Sensíveis inspecionou linha por linha.
aspect:sensitive-data-protection-job-result.isFullScan=True
Encontrar as entradas de tabelas que não foram totalmente inspecionadas
A consulta a seguir retorna as entradas de tabelas que a Proteção de Dados Sensíveis inspecionou por amostragem.
aspect:sensitive-data-protection-job-result.isFullScan=False
Migrar para a ação "Publicar no Knowledge Catalog"
Para migrar um gatilho de job configurado para usar a ação Publicar no Data Catalog descontinuada, siga estas etapas:
- Edite o gatilho de job configurado para publicar os resultados da inspeção no Data Catalog. Para informações sobre como abrir e editar um gatilho de job, consulte Atualizar um gatilho de job atual.
- Ative Publicar no Knowledge Catalog.
- Clique em Salvar.