A linhagem de dados ajuda a entender como os dados se movem pelos sistemas, rastreando as relações entre os recursos de dados e os processos que os transformam. É possível ver essas informações de linhagem como gráficos e listas no console do Google Cloud .
Neste documento, descrevemos a granularidade da linhagem de dados no nível da tabela e da coluna e fornecemos instruções para usar as visualizações em gráfico e em lista para explorar a linhagem de dados no console do Google Cloud .
Para detalhes sobre o modelo de dados subjacente, consulte o modelo de informações de linhagem de dados.
Diferenças entre a linhagem no nível da tabela e da coluna
A linhagem de dados permite rastrear a origem e o caminho de transformação dos dados nos níveis de tabela e coluna.
Quando usar a linhagem no nível da tabela
A linhagem no nível da tabela oferece uma visão geral de alto nível dos pipelines de dados, mostrando as relações entre tabelas inteiras. Use a linhagem no nível da tabela para tarefas de nível macro, como as seguintes:
Descoberta de dados. Um analista que está criando um novo painel pode usar a linhagem no nível da tabela para rastrear uma tabela de resumo até as fontes e confirmar se os dados são de um banco de dados confiável.
Planejamento de migração. Um administrador de banco de dados que planeja migrar um banco de dados principal pode usar a linhagem no nível da tabela para identificar todos os relatórios e painéis downstream que dependem dele.
Auditoria e governança. Um administrador de dados pode usar a linhagem no nível da tabela e da coluna para verificar como os dados de uma tabela que contém informações de identificação pessoal (PII) fluem por um pipeline.
Quando usar a linhagem no nível da coluna
A linhagem no nível da coluna oferece uma visualização mais granular ao rastrear o fluxo de dados entre colunas individuais. Nessa visualização, os links em um evento de linhagem representam a relação entre uma coluna de origem e uma de destino. Cada um desses links no nível da coluna tem um tipo de dependência que descreve a transformação:
Exact copy: os valores são copiados entre as colunas.Other: outros tipos de dependências entre colunas.
Use a linhagem no nível da coluna para tarefas como as seguintes:
Análise da causa raiz. Se um analista de dados encontrar um valor incorreto em uma coluna, ele poderá usar a linhagem no nível da coluna para rastreá-lo até as colunas de origem para encontrar a causa raiz.
Análise de impacto. Antes de um engenheiro de dados descontinuar uma coluna, ele pode usar a linhagem no nível da coluna para encontrar todas as colunas downstream que dependem dela.
Verificação da fonte de dados para métricas. Um analista de dados pode usar a linhagem no nível da coluna para identificar quais colunas de origem são usadas para calcular uma métrica sem decifrar uma consulta SQL complexa.
A linhagem no nível da coluna é coletada automaticamente para os seguintes tipos de jobs do BigQuery:
Para jobs do Serviço Gerenciado para Apache Spark, o suporte depende do tipo e da versão da dependência do Open Lineage usada pelo Serviço Gerenciado para Apache Spark. A versão mínima compatível é a 1.34. Confira a seguir as versões mínimas de imagem de cluster do Serviço Gerenciado para Apache Spark compatíveis:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
Confira a seguir as versões mínimas compatíveis do ambiente de execução do Serviço Gerenciado para Apache Spark:
- 3.0.3
- 2.3.20
Visualizações de linhagem no console do Google Cloud
A linhagem de dados no console do Google Cloud permite interagir com as informações de linhagem de duas maneiras: é possível analisar o gráfico de linhagem em várias regiões disponíveis ou usar o painel Análise de linhagem para ter uma visualização mais focada em uma região específica. Também é possível alternar entre as visualizações de Gráfico e Lista para analisar o fluxo de dados em diferentes níveis de detalhe.
As visualizações de linhagem estão disponíveis apenas para entradas do Knowledge Catalog (antigo Dataplex Universal Catalog), recursos do BigQuery e recursos da Vertex AI (modelos, conjuntos de dados, visualizações do Feature Store e grupos de recursos).
Para conferir as diferentes visualizações discutidas neste documento, consulte Usar a linhagem de dados com sistemas do Google Cloud .
Visualização do gráfico de linhagem
A visualização Gráfico mostra o fluxo de recursos de dados e as relações entre sistemas e regiões, ajudando você a entender a arquitetura de dados, rastrear origens e destinos e identificar padrões. Esses gráficos de linhagem, gerados pelo serviço da API Data Lineage para uma entrada específica do Knowledge Catalog, mostram como os dados são transformados ao longo do tempo, exibindo fluxos upstream, downstream ou ambos de uma entrada raiz selecionada.
A API Data Lineage recebe automaticamente informações de recursos de sistemas compatíveis e por chamadas de API para fontes personalizadas.
Os principais elementos do gráfico são os seguintes:
Nós. Os nós representam as entidades de dados. Em uma visualização no nível da tabela, um nó mostra o nome da tabela e as colunas dela. Em uma visualização no nível da coluna, cada nó representa uma tabela e uma coluna específicas.
Bordas. As arestas são as linhas que conectam os nós e representam os processos que ocorrem entre eles. A aparência de uma borda depende da visualização de linhagem:
- Na visualização no nível da tabela, as arestas têm ícones para indicar transformações de dados.
- Na visualização no nível da coluna, as bordas têm rótulos para indicar transformações de dados. Por exemplo, um rótulo de borda pode dizer
Exact copypara descrever como uma coluna de origem foi copiada para uma coluna de destino.
Ícones e rótulos de processo. Os ícones e rótulos de processo aparecem nas bordas para fornecer mais informações sobre a transformação.
- Ícones. Ícones que representam o processo de transformação. Quando você explora o gráfico manualmente, os ícones nas bordas representam o sistema de origem do processo (por exemplo, BigQuery ou Vertex AI). Se vários processos estiverem envolvidos, um ícone de "vários processos" será exibido. Se o sistema de origem do processo for desconhecido, um ícone de engrenagem será usado. Quando você aplica filtros, um ícone de engrenagem é usado para todos os processos.
- Rótulos. Na visualização de linhagem no nível da coluna, um rótulo descreve o tipo
de dependência entre as colunas:
Exact copyouOther.
Analisar o gráfico de linhagem
Ao abrir a guia Lineage, você verá a visualização padrão de Gráfico. A visualização padrão oferece uma visão geral de alto nível em sistemas e regiões, com expansão manual e incremental de gráficos que pode carregar cinco nós por vez. Os ícones de processo nas bordas representam o sistema de origem ou indicam vários processos.
Filtrar e destacar visualizações de linhagem de dados
Para gráficos de linhagem grandes e complexos, é possível aplicar filtros ou destaque para reduzir o ruído visual e se concentrar na exploração da linhagem em uma região específica. Use o painel Explorador de linhagem para definir seus critérios. Quando os filtros são aplicados, uma barra de filtro aparece na parte de cima das visualizações em Gráfico e Lista, mostrando os filtros ativos como ícones.
Para refinar a visualização da linhagem, escolha um dos seguintes modos:
Destaque: os nós correspondentes são enfatizados visualmente com cores e bordas, enquanto o gráfico completo permanece visível. Isso ajuda a localizar recursos específicos sem perder o contexto geral do gráfico de linhagem.
Filtrar: os nós que não correspondem são ocultados, e o gráfico é simplificado para mostrar apenas os nós correspondentes e os caminhos entre eles. Todos os recursos não correspondentes que fazem parte de um caminho entre nós correspondentes são agrupados em nós recolhidos. Esse modo é útil para reduzir a complexidade e se concentrar apenas nos recursos relevantes e nas relações diretas deles.
Para filtrar ou destacar a linhagem, use os seguintes critérios:
- Projeto: filtre pelo ID do projeto do Google Cloud .
- Sistema: filtre pelo sistema em que o recurso de dados está localizado (por exemplo, BigQuery ou Cloud Storage).
- Nome da entidade: filtre pelo nome do recurso. É possível usar
*para pesquisas com caracteres curinga (somente prefixo e sufixo, por exemplo,*tableoutest*). - Subtipo: filtre por subtipo de recurso (por exemplo,
dashboardoumodel). - Nome da coluna: filtre a linhagem por nome de coluna para ver detalhes no nível da coluna.
- Direção: mostra a linhagem upstream ou downstream, ou ambas.
- Período: filtre a linhagem com base em um horário de início ou término específico.
- Tipo de dependência: filtre a linhagem no nível da coluna com base no tipo de dependência.
Exemplos de opções disponíveis incluem
AllouExact copy.
Para reduzir ainda mais a desordem, selecione Ocultar tabelas temporárias do BigQuery para
ocultar recursos temporários criados pelo BigQuery, como tabelas em
conjuntos de dados com nomes que começam com _script.
A visualização em foco na guia Gráfico expande automaticamente o gráfico em até três níveis, carregando toda a linhagem que corresponde aos critérios de filtro. O explorador de linhagem busca até 10 níveis do gráfico de linhagem, mas apenas os três primeiros níveis são expandidos por padrão. Para expandir o gráfico e ver os níveis restantes, clique nas setas.
A visualização em foco é compatível com a linhagem no nível da tabela e da coluna, incluindo a visualização do caminho de qualquer nó selecionado de volta à raiz. Nessa visualização focada, um ícone de engrenagem genérico é usado para todos os processos.
Para conferir a linhagem no nível da coluna, use um dos seguintes métodos:
Em uma visualização de gráfico em foco, clique no ícone de coluna em uma tabela para alternar para a linhagem no nível da coluna.
Ícone de coluna Na visualização padrão ou em foco do Gráfico, aplique um nome de coluna no painel Análise de linhagem.
Para remover todos os filtros e voltar à visualização padrão, clique em Redefinir.
Para alternar entre os modos de destaque e filtro, consulte Refinar a visualização da linhagem.
Ver detalhes do nó de linhagem
Para ver os detalhes de um nó, clique nele. Um painel lateral é exibido com informações detalhadas sobre o recurso de dados selecionado. Por exemplo, em uma visualização de linhagem no nível da tabela, clicar em um nó mostra informações como o nome totalmente qualificado do recurso, o tipo e outros atributos relevantes.
Ver o histórico de execuções de linhagem
Um gráfico de linhagem completo é o resultado de execuções de muitos jobs diferentes. Cada job cria um link específico no gráfico. Várias execuções são registradas como novas execuções, mas não mudam a aparência estática do gráfico.
Para ver os detalhes dessas execuções individuais, clique em uma borda com um processo no gráfico. No painel Consulta que aparece, clique na guia Execuções.
Inspecionar a lógica de transformação de dados
Para entender a lógica de negócios de uma transformação sem pesquisar o código, é possível visualizar a consulta SQL exata que foi executada. Para ver o código SQL, clique em uma borda com um processo no gráfico. No painel lateral que aparece, clique na guia Detalhes.
Visualizar um caminho de linhagem de dados
A visualização do caminho de linhagem ajuda a rastrear o caminho de qualquer nó selecionado no gráfico até a entrada raiz. Quando você seleciona um nó e clica em Visualizar caminho, o gráfico destaca apenas os nós e processos que formam o caminho de linhagem direta para a entrada raiz.
Para ver a visualização do caminho de linhagem, no painel Explorador de linhagem, aplique um filtro para criar uma visualização de Gráfico focada. Em seguida, na visualização Gráfico em foco, selecione um nó. No painel de detalhes do nó selecionado, clique em Visualizar caminho.
A visualização do caminho de linhagem está disponível para linhagem no nível da tabela e da coluna. Também é possível usar a visualização do caminho de linhagem na visualização em lista.
Visualização em lista de linhagem
A visualização em lista oferece uma representação tabular e estruturada da linhagem, sincronizada com a visualização em gráfico. Ele ajuda a classificar, filtrar e fazer o download de recursos de dados. Essa visualização é ideal para analisar relações de origem-destino, detalhar os recursos envolvidos e exportar dados de linhagem.
A visualização em lista está disponível para linhagem no nível da tabela e da coluna. É possível alternar entre as seguintes visualizações em lista detalhadas e simplificadas:
Visualização simplificada em lista: essa visualização é útil para ter uma lista condensada e exclusiva de todos os recursos envolvidos na linhagem. As colunas como Sistema, Projeto, Entidade, FQN (nome totalmente qualificado), Direção e Profundidade ajudam você a ver todos os recursos de dados na linhagem, onde eles residem, a origem original e a distância do recurso central que está sendo analisado. É ideal para uma visão geral de alto nível de todas as entidades que participam do fluxo de dados. É a visualização padrão.
Visualização em lista detalhada: essa visualização foi projetada para analisar relações individuais de origem-destino. Ao fornecer colunas separadas para Origem e Destino, é possível ver cada link de transformação de dados específico. Essa visualização é ideal para tarefas que exigem uma compreensão profunda de como os dados se movem entre pares específicos de recursos, como auditoria de fluxos de dados individuais, compreensão de dependências entre tabelas ou exportação de registros de linhagem detalhados para cada conexão.
Visualização em lista da linhagem no nível da tabela
Essa visualização mostra as relações entre as tabelas como um todo. Use os filtros fornecidos para selecionar as colunas necessárias.
Abra as seções a seguir para conferir as colunas disponíveis nas visualizações em lista no nível da tabela.
Colunas disponíveis na visualização em lista simplificada no nível da tabela
- Sistema: o sistema em que o recurso de dados está localizado. Os exemplos incluem o [BigQuery](/bigquery/docs).
- Projeto: o ID do projeto do Google Cloud que contém o recurso de dados.
- Entidade: o nome do recurso de dados. Os exemplos incluem um nome de tabela.
- FQN: o nome totalmente qualificado (FQN, na sigla em inglês) da entidade ou coluna de origem original.
- Direção: indica se o recurso listado é upstream (origem) ou downstream (destino) no fluxo de linhagem.
- Profundidade: o número de etapas de linhagem do recurso central que está sendo analisado.
Colunas disponíveis na visualização em lista detalhada no nível da tabela
- Sistema de origem: o sistema em que o recurso de dados de origem está localizado. Os exemplos incluem o BigQuery.
- Projeto de origem: o ID do projeto do Google Cloud que contém o recurso de dados de origem.
- Origem: o nome do recurso de dados de origem. Os exemplos incluem um nome de tabela.
- FQN de origem: o FQN da entidade de origem.
- Sistema de destino: o sistema em que o ativo de dados de destino está localizado. Os exemplos incluem o BigQuery.
- Projeto de destino: o ID do projeto do Google Cloud que contém o recurso de dados de destino.
- Destino: o nome do recurso de dados de destino. Os exemplos incluem um nome de tabela.
- FQN de destino: o FQN da entidade de destino.
- Direção: indica se o recurso listado é upstream (origem) ou downstream (destino) no fluxo de linhagem.
- Profundidade: o número de etapas de linhagem do recurso central que está sendo analisado.
Visualização em lista da linhagem no nível da coluna
Essa visualização mostra as relações entre colunas individuais nas tabelas de origem e destino. Use os filtros fornecidos para selecionar as colunas necessárias.
Abra as seções a seguir para conferir as colunas disponíveis nas visualizações em lista no nível da coluna.
Colunas disponíveis na visualização em lista simplificada no nível da coluna
- Sistema: o sistema em que o recurso de dados está localizado. Os exemplos incluem o BigQuery.
- Projeto: o ID do projeto do Google Cloud que contém o recurso de dados.
- Entidade: o nome do recurso de dados. Os exemplos incluem um nome de tabela.
- Coluna: a coluna específica escolhida no painel Análise de linhagem na entidade.
- FQN: o nome totalmente qualificado (FQN, na sigla em inglês) da entidade ou coluna de origem original.
- Direção: indica se o recurso listado é upstream (origem) ou downstream (destino) no fluxo de linhagem.
- Profundidade: o número de etapas de linhagem do recurso central que está sendo analisado.
Colunas disponíveis na visualização em lista detalhada no nível da coluna
- Sistema de origem: o sistema em que o recurso de dados de origem está localizado.
- Projeto de origem: o ID do projeto do Google Cloud que contém o recurso de dados de origem.
- FQN de origem: o FQN da coluna de origem.
- Sistema de destino: o sistema em que o ativo de dados de destino está localizado.
- Projeto de destino: o ID do projeto do Google Cloud que contém o recurso de dados de destino.
- FQN do destino: o FQN da coluna de destino.
- Direção: indica se o fluxo de dados é upstream ou downstream.
- Tipos de dependência: descreve a natureza da relação entre as colunas.
- Profundidade: o número de etapas de linhagem do recurso central que está sendo analisado.
A seguir
Saiba mais sobre as fontes de linhagem.
Saiba como rastrear a linhagem de dados de uma cópia de tabela do BigQuery e de jobs de consulta.
Saiba como usar a linhagem de dados com sistemas do Google Cloud .