A linhagem de dados ajuda a entender como os dados se movem pelos sistemas, rastreando as relações entre os recursos de dados e os processos que os transformam. É possível conferir essas informações de linhagem como gráficos e listas no Google Cloud console.
Este documento descreve a granularidade da linhagem de dados no nível da tabela e da coluna e fornece instruções para usar as visualizações de gráfico e lista para analisar a linhagem de dados no Google Cloud console.
Para detalhes sobre o modelo de dados subjacente, consulte o modelo de informações de linhagem de dados.
Diferenças entre a linhagem no nível da tabela e da coluna
A linhagem de dados permite rastrear a origem e o caminho de transformação dos dados nos níveis da tabela e da coluna.
Quando usar a linhagem no nível da tabela
A linhagem no nível da tabela oferece uma visão geral dos pipelines de dados, mostrando as relações entre tabelas inteiras. Use a linhagem no nível da tabela para tarefas macro, como as seguintes:
Descoberta de dados. Um analista que está criando um novo painel pode usar a linhagem no nível da tabela para rastrear uma tabela de resumo até as origens e confirmar se os dados são de um banco de dados confiável.
Planejamento de migração. Um administrador de banco de dados que planeja migrar um banco de dados principal pode usar a linhagem no nível da tabela para identificar todos os relatórios e painéis downstream que dependem dele.
Auditoria e governança. Um administrador de dados pode usar a linhagem no nível da tabela e da coluna para verificar como os dados de uma tabela que contém informações de identificação pessoal (PII) fluem por um pipeline.
Quando usar a linhagem no nível da coluna
A linhagem no nível da coluna oferece uma visualização mais granular, rastreando o fluxo de dados entre colunas individuais. Nessa visualização, os links em um evento de linhagem representam a relação entre uma coluna de origem e uma coluna de destino. Cada um desses links no nível da coluna tem um tipo de dependência que descreve a transformação:
Exact copy: os valores são copiados entre colunas.Other: outros tipos de dependências entre colunas.
Use a linhagem no nível da coluna para tarefas como as seguintes:
Análise da causa raiz. Se um analista de dados encontrar um valor incorreto em uma coluna, ele poderá usar a linhagem no nível da coluna para rastreá-lo até as colunas de origem e encontrar a causa raiz.
Análise de impacto. Antes que um engenheiro de dados descontinue uma coluna, ele pode usar a linhagem no nível da coluna para encontrar todas as colunas downstream que dependem dela.
Verificação da fonte de dados para métricas. Um analista de dados pode usar a linhagem no nível da coluna para identificar quais colunas de origem são usadas para calcular uma métrica sem decifrar uma consulta SQL complexa.
A linhagem no nível da coluna é coletada automaticamente para os seguintes tipos de jobs do BigQuery:
Para jobs do Serviço Gerenciado para Apache Spark, o suporte depende do tipo e da versão da dependência do Open Lineage usada pelo Serviço Gerenciado para Apache Spark. A versão mínima com suporte é a 1.34. Confira a seguir as versões mínimas com suporte da imagem do cluster do Serviço Gerenciado para Apache Spark:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
Confira a seguir as versões mínimas com suporte do ambiente de execução do Serviço Gerenciado para Apache Spark:
- 3.0.3
- 2.3.20
Visualizações de linhagem no Google Cloud console
A linhagem de dados noconsole permite interagir com as informações de linhagem de duas maneiras: é possível analisar o gráfico de linhagem em várias regiões disponíveis ou usar o painhel Análise de linhagem para ter uma visualização mais focada em uma região específica. Google Cloud Também é possível alternar entre as visualizações Gráfico e Lista para analisar o fluxo de dados em diferentes níveis de detalhes.
As visualizações de linhagem estão disponíveis apenas para entradas do Knowledge Catalog (antigo Dataplex Universal Catalog), BigQuery e recursos da Vertex AI (modelos, conjuntos de dados, visualizações do Feature Store e grupos de recursos).
Para conferir as diferentes visualizações discutidas neste documento, consulte Usar a linhagem de dados com Google Cloud sistemas.
Visualização em gráfico de linhagem
A visualização Gráfico mostra o fluxo e as relações de recursos de dados em sistemas e regiões, ajudando a entender a arquitetura de dados, rastrear origens e destinos e identificar padrões. Esses gráficos de linhagem, gerados pelo serviço da API Data Lineage para uma entrada específica do Knowledge Catalog, mostram como os dados são transformados ao longo do tempo, exibindo fluxos upstream, downstream ou ambos de uma entrada raiz selecionada.
A API Data Lineage recebe automaticamente informações de recursos de sistemas compatíveis e por chamadas de API para fontes personalizadas.
Os principais elementos do gráfico são os seguintes:
Nós. Os nós representam as entidades de dados. Em uma visualização no nível da tabela, um nó mostra o nome da tabela e as colunas. Em uma visualização no nível da coluna, cada nó representa uma tabela e uma coluna específicas.
Bordas. As bordas são as linhas que conectam os nós e representam os processos que ocorrem entre eles. A aparência de uma borda depende da visualização de linhagem:
- Na visualização no nível da tabela, as bordas têm ícones para indicar transformações de dados.
- Na visualização no nível da coluna, as bordas têm rótulos para indicar transformações de dados. Por exemplo, um rótulo de borda pode dizer
Exact copypara descrever como uma coluna de origem foi copiada para uma coluna de destino.
Ícones e rótulos de processo. Os ícones e rótulos de processo aparecem nas bordas para fornecer mais informações sobre a transformação.
- Ícones. Os ícones representam o processo de transformação. Ao analisar o gráfico manualmente, os ícones nas bordas representam o sistema de origem do processo (por exemplo, BigQuery ou Vertex AI). Se vários processos estiverem envolvidos, um ícone de "vários processos" será mostrado. Se o sistema de origem do processo for desconhecido, um ícone de engrenagem será usado. Ao aplicar filtros, um ícone de engrenagem será usado para todos os processos.
- Rótulos. Na visualização de linhagem no nível da coluna, um rótulo descreve o tipo de dependência entre colunas:
Exact copyouOther.
Analisar o gráfico de linhagem
Ao abrir a guia Linhagem, você verá a visualização Gráfico padrão. A visualização padrão oferece uma visão geral de alto nível em sistemas e regiões, com expansão manual e incremental do gráfico que pode carregar cinco nós por vez. Os ícones de processo nas bordas representam o sistema de origem ou indicam vários processos.
Filtrar e destacar visualizações de linhagem de dados
Para gráficos de linhagem grandes e complexos, é possível aplicar filtros ou destaques para reduzir o ruído visual e se concentrar na análise da linhagem em uma região específica. Use o painel Análise de linhagem para definir os critérios. Quando os filtros são aplicados, uma barra de filtros aparece na parte de cima das visualizações Gráfico e Lista, mostrando os filtros ativos como ícones.
Para refinar a visualização de linhagem, é possível escolher um dos seguintes modos:
Destacar: os nós correspondentes são enfatizados visualmente com cores e bordas, enquanto o gráfico completo permanece visível. Isso ajuda a localizar recursos específicos sem perder o contexto geral do gráfico de linhagem.
Filtrar: os nós não correspondentes são ocultos, e o gráfico é simplificado para mostrar apenas os nós correspondentes e os caminhos entre eles. Todos os recursos não correspondentes que fazem parte de um caminho entre nós correspondentes são agrupados em nós recolhidos. Esse modo é útil para reduzir a complexidade e se concentrar apenas nos recursos relevantes e nas relações diretas deles.
Para filtrar ou destacar a linhagem, use os seguintes critérios:
- Projeto: filtre por Google Cloud ID do projeto.
- Sistema: filtre pelo sistema em que o recurso de dados está localizado (por exemplo, BigQuery ou Cloud Storage).
- Nome da entidade: filtre pelo nome do recurso. É possível usar
*para pesquisas com caracteres curinga (somente prefixo e sufixo, por exemplo,*tableoutest*). - Subtipo: filtre pelo subtipo do recurso (por exemplo,
dashboardoumodel). - Nome da coluna: filtre a linhagem pelo nome da coluna para conferir detalhes no nível da coluna.
- Direção: mostre a linhagem upstream ou downstream, ou ambas.
- Intervalo de tempo: filtre a linhagem com base em um horário de início ou término específico.
- Tipo de dependência: filtre a linhagem no nível da coluna com base no tipo de dependência.
Exemplos de opções disponíveis incluem
AllouExact copy.
Para reduzir ainda mais a confusão, é possível selecionar Ocultar tabelas temporárias do BigQuery para ocultar recursos temporários criados pelo BigQuery, como tabelas em conjuntos de dados com nomes que começam com _script.
A visualização focada na guia Gráfico expande automaticamente o gráfico em até três níveis, carregando toda a linhagem que corresponde aos critérios de filtro. A Análise de linhagem busca até 10 níveis do gráfico de linhagem, mas apenas os três primeiros níveis são expandidos por padrão. É possível expandir o gráfico para conferir os níveis restantes clicando nas setas.
A visualização focada oferece suporte à linhagem no nível da tabela e da coluna, incluindo a visualização do caminho de qualquer nó selecionado de volta à raiz. Nessa visualização focada, um ícone de engrenagem genérico é usado para todos os processos.
Para conferir a linhagem no nível da coluna, use um dos seguintes métodos:
Em uma visualização Gráfico focada, clique no ícone de coluna em uma tabela para alternar para a linhagem no nível da coluna.
Ícone de coluna Na visualização Gráfico padrão ou focada Gráfico, aplique um nome de coluna no painel Análise de linhagem.
Para remover todos os filtros e voltar à visualização padrão, clique em Redefinir.
Para alternar entre os modos de destaque e filtro, consulte Refinar a visualização de linhagem.
Conferir detalhes do nó de linhagem
Para conferir os detalhes de um nó, clique nele. Um painel lateral aparece e mostra informações detalhadas sobre o recurso de dados selecionado. Por exemplo, em uma visualização de linhagem no nível da tabela, clicar em um nó mostra informações como o nome totalmente qualificado, o tipo e outros atributos relevantes do recurso.
Conferir o histórico de execuções de linhagem
Um gráfico de linhagem completo é o resultado de execuções de muitos jobs diferentes. Cada job cria um link específico no gráfico. Várias execuções são registradas como novas execuções, mas não mudam a aparência estática do gráfico.
Para conferir os detalhes dessas execuções individuais, clique em uma borda com um processo no gráfico. No painel Consulta que aparece, clique na guia Execuções.
Inspecionar a lógica de transformação de dados
Para entender a lógica de negócios de uma transformação sem pesquisar o código, é possível conferir a consulta SQL exata que foi executada. Para conferir o código SQL, clique em uma borda com um processo no gráfico. No painel lateral que aparece, clique na guia Detalhes.
Visualizar um caminho de linhagem de dados
A visualização do caminho de linhagem ajuda a rastrear o caminho de qualquer nó selecionado no gráfico de volta à entrada raiz. Quando você seleciona um nó e clica em Visualizar caminho, o gráfico destaca apenas os nós e processos que formam o caminho de linhagem direta para a entrada raiz.
Para conferir a visualização do caminho de linhagem, no painel Análise de linhagem, aplique um filtro para criar uma visualização Gráfico focada. Em seguida, na visualização Gráfico focada, selecione um nó. No painel de detalhes do nó selecionado, clique em Visualizar caminho.
A visualização do caminho de linhagem está disponível para linhagem no nível da tabela e da coluna. Também é possível usar a visualização do caminho de linhagem na visualização Lista.
Visualização em lista de linhagem
A visualização Lista oferece uma representação tabular e estruturada da linhagem, sincronizada com a visualização Gráfico. Ela ajuda a classificar, filtrar e fazer o download de recursos de dados. Essa visualização é ideal para analisar relações de origem-destino, detalhar os recursos envolvidos e exportar dados de linhagem.
A visualização Lista está disponível para linhagem no nível da tabela e da coluna. É possível alternar entre as seguintes visualizações de lista detalhada e simplificada:
Visualização simplificada em lista: essa visualização é útil para ter uma lista condensada, exclusiva de todos os recursos envolvidos na linhagem. As colunas, como Sistema, Projeto, Entidade, FQN (nome totalmente qualificado), Direção e Profundidade, ajudam a conferir todos os recursos de dados na linhagem, onde eles estão localizados, a origem e a distância do recurso central que está sendo analisado. Ela é ideal para uma visão geral de alto nível de todas as entidades que participam do fluxo de dados. Essa é a visualização padrão.
Visualização de lista detalhada: essa visualização foi projetada para analisar relações de origem-destino individuais. Ao fornecer colunas separadas para Origem e Destino, é possível conferir cada link de transformação de dados específico. Essa visualização é ideal para tarefas que exigem um entendimento profundo de como os dados se movem entre pares específicos de recursos, como auditar fluxos de dados individuais, entender dependências entre tabelas ou exportar registros de linhagem detalhados para cada conexão.
Visualização em lista de linhagem no nível da tabela
Essa visualização mostra as relações entre tabelas como um todo. Use os filtros fornecidos para selecionar as colunas necessárias.
Expanda as seções a seguir para conferir as colunas disponíveis nas visualizações de lista no nível da tabela.
Colunas disponíveis na visualização simplificada em lista no nível da tabela
- Sistema: o sistema em que o recurso de dados está localizado. Os exemplos incluem [BigQuery](/bigquery/docs).
- Projeto: o Google Cloud ID do projeto que contém o recurso de dados.
- Entidade: o nome do recurso de dados. Os exemplos incluem um nome de tabela.
- FQN: o nome totalmente qualificado (FQN) da entidade ou coluna de origem.
- Direção: indica se o recurso listado é upstream (origem) ou downstream (destino) no fluxo de linhagem.
- Profundidade: o número de etapas de linhagem do recurso central que está sendo analisado.
Colunas disponíveis na visualização detalhada em lista no nível da tabela
- Sistema de origem: o sistema em que o recurso de dados de origem está localizado. Os exemplos incluem o BigQuery.
- Projeto de origem: o Google Cloud ID do projeto que contém o recurso de dados de origem.
- Origem: o nome do recurso de dados de origem. Os exemplos incluem um nome de tabela.
- FQN da fonte: o FQN da entidade de origem.
- Sistema de destino: o sistema em que o recurso de dados de destino está localizado. Os exemplos incluem o BigQuery.
- Projeto de destino: o Google Cloud ID do projeto que contém o recurso de dados de destino.
- Destino: o nome do recurso de dados de destino. Os exemplos incluem um nome de tabela.
- FQN do destino: o FQN da entidade de destino.
- Direção: indica se o recurso listado é upstream (origem) ou downstream (destino) no fluxo de linhagem.
- Profundidade: o número de etapas de linhagem do recurso central que está sendo analisado.
Visualização em lista de linhagem no nível da coluna
Essa visualização mostra as relações entre colunas individuais nas tabelas de origem e de destino. Use os filtros fornecidos para selecionar as colunas necessárias.
Expanda as seções a seguir para conferir as colunas disponíveis nas visualizações de lista no nível da coluna.
Colunas disponíveis na visualização simplificada em lista no nível da coluna
- Sistema: o sistema em que o recurso de dados está localizado. Os exemplos incluem BigQuery.
- Projeto: o Google Cloud ID do projeto que contém o recurso de dados.
- Entidade: o nome do recurso de dados. Os exemplos incluem um nome de tabela.
- Coluna: a coluna específica escolhida no painel Análise de linhagem na entidade.
- FQN: o nome totalmente qualificado (FQN) da entidade de origem ou coluna.
- Direção: indica se o recurso listado é upstream (origem) ou downstream (destino) no fluxo de linhagem.
- Profundidade: o número de etapas de linhagem do recurso central que está sendo analisado.
Colunas disponíveis na visualização detalhada em lista no nível da coluna
- Sistema de origem: o sistema em que o recurso de dados de origem está localizado.
- Projeto de origem: o Google Cloud ID do projeto que contém o recurso de dados de origem.
- FQN da fonte: o FQN da coluna de origem.
- Sistema de destino: o sistema em que o recurso de dados de destino está localizado.
- Projeto de destino: o Google Cloud ID do projeto que contém o recurso de dados de destino.
- FQN do destino: o FQN da coluna de destino.
- Direção: indica se o fluxo de dados é upstream ou downstream.
- Tipos de dependência: descreve a natureza da relação entre as colunas.
- Profundidade: o número de etapas de linhagem do recurso central que está sendo analisado.
A seguir
Saiba mais sobre as fontes de linhagem.
Saiba como rastrear a linhagem de dados de uma cópia de tabela do BigQuery e consultar jobs.
Saiba como usar a linhagem de dados com Google Cloud sistemas.