Rastrear a linhagem de dados de uma tabela do BigQuery
A linhagem de dados permite rastrear de onde os dados vêm, como
são transformados e para onde são movidos nas tabelas do BigQuery ao longo
do tempo. Rastrear esses movimentos ajuda a manter a conformidade, resolver problemas de dados
e realizar análises de causa raiz. Neste guia de início rápido, você vai usar o
console doGoogle Cloud para copiar duas tabelas públicas do new_york_taxi_trips, combinar
as contagens de viagens em uma nova tabela do BigQuery e conferir o
gráfico de visualização de linhagem. Para interagir com a linhagem de dados
de forma programática, consulte as bibliotecas de cliente do Knowledge Catalog e
da linhagem de
dados.
Antes de começar
Configure o projeto:
- Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho sem custos financeiros.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Dataplex, BigQuery, and Data Lineage APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Dataplex, BigQuery, and Data Lineage APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
Funções exigidas
Para receber as permissões necessárias para visualizar gráficos de visualização de linhagem, peça ao seu administrador para conceder a você os seguintes papéis do IAM:
- Leitor do Dataplex Catalog (
roles/dataplex.catalogViewer) no projeto de recursos do Knowledge Catalog (antigo Dataplex Universal Catalog) - Leitor da linhagem de dados (
roles/datalineage.viewer) no projeto em que você executa jobs do BigQuery e no projeto em que você visualiza a linhagem - Visualizador de dados do BigQuery (
roles/bigquery.dataViewer) no projeto em que você armazena as tabelas do BigQuery
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Se você tiver as permissões necessárias para gerenciar o acesso do IAM no
projeto, poderá conceder esses papéis à sua conta de usuário executando os
seguintes comandos gcloud:
gcloud projects add-iam-policy-binding PROJECT_ID \
--member="user:USER_EMAIL" \
--role="roles/dataplex.catalogViewer"
gcloud projects add-iam-policy-binding PROJECT_ID \
--member="user:USER_EMAIL" \
--role="roles/datalineage.viewer"
gcloud projects add-iam-policy-binding PROJECT_ID \
--member="user:USER_EMAIL" \
--role="roles/bigquery.dataViewer"
Substitua:
PROJECT_ID: o ID do projeto Google Cloud . Se os jobs do BigQuery, as tabelas do BigQuery e os recursos do Knowledge Catalog estiverem em projetos diferentes, especifique o ID do projeto correspondente para cada papel:roles/dataplex.catalogViewer: use o ID do projeto em que o Knowledge Catalog está ativado e em que você pesquisa entradas.roles/datalineage.viewer: execute esse comando para o projeto em que você executa jobs do BigQuery e o projeto do Knowledge Catalog em que você visualiza a linhagem. Também é necessário ativar a API Data Lineage nos dois projetos.roles/bigquery.dataViewer: use o ID do projeto em que você armazena as tabelas do BigQuery.
USER_EMAIL: o endereço de e-mail da sua conta de usuário, comodana@example.com.
Para visualizar recursos do BigQuery no Knowledge Catalog quando eles estiverem em outro projeto, os dois projetos precisam pertencer à mesma organização. Por padrão, a pesquisa do Knowledge Catalog abrange sua organização e retorna todos os recursos para os quais você tem permissões de leitura no projeto de origem. Se os projetos usarem o VPC Service Controls, configure também as regras de entrada e saída necessárias para os perímetros de serviço.
Na página Pesquisa do Knowledge Catalog, clique em Filtros e verifique se o Escopo está definido como Organização atual. Para localizar tabelas em um
projeto de origem específico, selecione o projeto na lista Projetos ou adicione
projectid:SOURCE_PROJECT_ID à consulta. Substitua
SOURCE_PROJECT_ID pelo ID do projeto de origem.
Para mais informações, consulte Escopo da pesquisa, Pesquisar recursos de dados no Knowledge Catalog e Papéis e permissões para linhagem de dados.
Adicionar um conjunto de dados público ao projeto
No Google Cloud console, acesse a página BigQuery.
No painel à esquerda, clique em database Análise de dados.
Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.
No painel Dados, clique em Adicionar dados.
No painel Adicionar dados, selecione Conjuntos de dados públicos.
No painel Marketplace, pesquise
NYC TLC Tripse clique no resultado NYC TLC Trips.Clique em Ver conjunto de dados.
Isso adiciona o projeto do conjunto de dados público como uma referência que pode ser visualizada no painel Explorador. O painel de detalhes mostra as Informações do conjunto de dados, incluindo dados como ID do conjunto de dados, Local dos dados e data da Última modificação.
Criar um conjunto de dados no projeto
No painel à esquerda, clique em Explorer.
No painel Explorador, selecione o projeto em que você quer criar o conjunto de dados.
Clique em Ações e em Criar conjunto de dados.
Na página Criar conjunto de dados, no campo ID do conjunto de dados, insira:
data_lineage_demo. Não altere os valores padrão dos outros campos.Clique em Criar conjunto de dados.
No painel Explorer, clique em Conjuntos de dados e, em seguida, clique no
data_lineage_demorecém-adicionado.
O painel de detalhes mostra as Informações do conjunto de dados.
Copiar duas tabelas acessíveis publicamente para seu conjunto de dados
Abra um editor de consultas: no painel de detalhes, ao lado da guia chamada
data_lineage_demo, clique em Consulta SQL. Essa etapa cria uma guia chamadaUntitled.No editor de consultas, copie a primeira tabela inserindo a seguinte consulta. Substitua
PROJECT_IDpelo identificador do projeto.CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021` COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`Clique em Executar. Esta etapa cria a primeira tabela, chamada
nyc_green_trips_2021.No painel Resultados da consulta, clique em Ir para a tabela. Essa etapa exibe o conteúdo da primeira tabela.
No editor de consultas, copie a segunda tabela substituindo a consulta anterior pela consulta a seguir. Substitua
PROJECT_IDpelo identificador do projeto.CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022` COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`Clique em Executar. Esta etapa cria a segunda tabela, chamada
nyc_green_trips_2022.No painel Resultados da consulta, clique em Ir para a tabela. Esta etapa mostra o conteúdo da segunda tabela.
Agregue dados em uma nova tabela
No editor de consultas, insira a seguinte consulta. Substitua
PROJECT_IDpelo identificador do projeto.CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21` AS SELECT vendor_id, COUNT(*) AS number_of_trips FROM ( SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022` UNION ALL SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021` ) GROUP BY vendor_idClique em Executar. Essa etapa cria uma tabela combinada, chamada
total_green_trips_22_21.No painel Resultados da consulta, clique em Ir para a tabela. Essa etapa mostra a tabela combinada.
Ver o gráfico de linhagem no Knowledge Catalog
No console Google Cloud , acesse a página Pesquisa do Knowledge Catalog.
Na caixa Pesquisar, digite
total_green_trips_22_21e clique em Pesquisar.Na lista de resultados, clique em
total_green_trips_22_21. Nesta etapa, a guia Detalhes da tabela do BigQuery é exibida.Clique na guia Linhagem.
No gráfico de linhagem, cada nó retangular representa uma tabela, que pode ser original, copiada ou combinada. Faça o seguinte:
Para mostrar ou ocultar a origem de uma tabela, clique em + (Expandir) ou - (Recolher).
Para mostrar as informações da tabela, clique em um nó. Nesta etapa, é exibido um painel de Detalhes do nó.
Para mostrar informações do processo, clique em
.
Esta etapa exibe um painel de Detalhes do processo que mostra o job que
transformou uma tabela de origem em uma tabela de destino.
Limpar
Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.
Excluir o projeto
- No console Google Cloud , acesse a página Gerenciar recursos.
- Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
- Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.
Excluir o conjunto de dados
No console do Google Cloud , acesse a página BigQuery.
No painel à esquerda, clique em Explorer.
No painel Explorador, pesquise o conjunto de dados
data_lineage_demoque você criou.Clique no conjunto de dados e em Excluir.
Confirme a ação de exclusão.
A seguir
- Saiba mais sobre a linhagem de dados.
- Saiba como executar consultas do BigQuery.
- Saiba como usar a linhagem de dados.
- Saiba como usar as bibliotecas de cliente do Knowledge Catalog e da linhagem de dados.
- Saiba mais sobre os preços do Catálogo de Conhecimento.
- Confira os casos de uso do Knowledge Catalog.