Use a linhagem de dados com os sistemas Google Cloud

A linhagem de dados apresenta as relações entre os recursos do seu projeto e os processos que os criaram.

Pode ver os detalhes da linhagem de dados na Google Cloud consola ou obtê-los através da API Data Lineage.

Consoante o volume de dados que estão a ser processados, a linhagem de dados demora algum tempo a apresentar um gráfico. A maioria das tarefas demora 3 horas e algumas podem demorar até 24 horas.

A linhagem é capturada em todos os projetos. Quando vê a linhagem gerada a partir de vários projetos, pode ver as informações de linhagem agregadas em qualquer um dos projetos relevantes.

Funções e permissões

Para ver a linhagem de dados, precisa de autorizações específicas de gestão de identidade e de acesso (IAM). As informações de linhagem são capturadas em todos os projetos, pelo que precisa de autorizações em vários projetos.

  • Quando vê a linhagem no Dataplex Universal Catalog, no BigQuery ou no Vertex AI: precisa de autorizações para ver informações de linhagem no projeto onde as está a ver.

  • Quando visualiza a linhagem registada noutros projetos: precisa de autorizações para ver informações de linhagem nesses projetos onde foi registada.

Para ver a linhagem de dados, precisa das seguintes funções ou autorizações. Conceda estas funções ao principal (por exemplo, o utilizador ou a conta de serviço) nos recursos relevantes (por exemplo, projetos ou tabelas do BigQuery).

  • Visualizador de linhagem de dados (roles/datalineage.viewer): concede autorização para ver a linhagem na consola Google Cloud e usar a API Data Lineage. Tem de aplicar esta função em projetos onde a linhagem é registada e em projetos onde a linhagem é vista. Para mais informações, consulte os tipos de projetos.

  • Visualizador do Dataplex Universal Catalog (roles/dataplex.catalogViewer): concede autorização para ver metadados de recursos catalogados no Dataplex Universal Catalog. Conceda esta função em projetos onde as entradas do catálogo estão armazenadas para permitir que os utilizadores vejam os detalhes das entradas no gráfico de linhagem. Em alternativa, pode conceder uma função de leitor no sistema de origem. Para mais informações, consulte o artigo Pesquise recursos de dados com o catálogo universal do Dataplex.

  • Outras autorizações do BigQuery:

    • Para ver detalhes dos recursos do BigQuery no gráfico de linhagem, como definições de tabelas ou consultas de visualização, conceda a função Visualizador de dados do BigQuery (roles/bigquery.dataViewer).
    • Para ver a consulta SQL de uma tarefa do BigQuery que gerou a linhagem, conceda a autorização bigquery.jobs.get. Esta autorização está incluída em funções como a função de administrador do BigQuery (roles/bigquery.admin) e a função de visualizador de recursos do BigQuery (roles/bigquery.resourceViewer).

A linhagem de dados acompanha automaticamente as informações de linhagem quando ativa a API Data Lineage. Não precisa de funções de administrador nem de editor para capturar a linhagem dos seus recursos de dados.

Para mais informações sobre a atribuição de funções, consulte o artigo Gerir acesso. Pode atribuir uma função a um nível de pasta ou organização superior. Para mais informações, consulte o artigo Conceda ou revogue uma única função.

Tipos de vistas de linhagem de dados

Pode ver informações de linhagem como um gráfico ou uma lista. Por predefinição, o gráfico de linhagem apresenta a linhagem ao nível da tabela. Para tarefas do BigQuery, pode ver a linhagem ao nível da coluna nas vistas de gráfico e de lista.

Estão disponíveis os seguintes tipos de visualização:

  • Vista de gráfico: apresenta a linhagem como um gráfico interativo, o que lhe permite explorar as relações entre recursos de dados e colunas expandindo nós.

  • Vista de lista: apresenta a linhagem num formato tabular, oferecendo representações simplificadas e detalhadas da linhagem ao nível da tabela e da coluna. Pode personalizar colunas e exportar dados de linhagem a partir desta vista.

Os elementos principais no gráfico são descritos da seguinte forma:

  • Nós: representam as entidades de dados. Na vista ao nível da tabela, um nó mostra o nome da tabela e as respetivas colunas. Na vista ao nível da coluna, cada nó representa uma tabela específica e as respetivas colunas que têm linhagem.

  • Arestas: as linhas que ligam os nós e representam os processos que ocorrem entre eles. As arestas podem apresentar ícones ou etiquetas para fornecer mais informações sobre a transformação:

    • Icons: na vista ao nível da tabela, os ícones aparecem nas extremidades para representar o processo de transformação. Quando explora manualmente o gráfico, os ícones nas arestas representam o sistema de origem do processo (por exemplo, BigQuery ou Vertex AI). Se estiverem envolvidos vários processos, é apresentado um ícone de "vários processos". Se o sistema de origem do processo for desconhecido, é usado um ícone de engrenagem. Quando aplica filtros, é usado um ícone de roda dentada para todos os processos.
    • Etiquetas: na vista ao nível da coluna, as arestas são etiquetadas para descrever o tipo de dependência entre colunas, como Exact copy ou Other.

Ative a linhagem de dados

Ative a linhagem de dados para começar a acompanhar automaticamente as informações de linhagem para sistemas suportados. Tem de ativar a API Data Lineage no projeto onde vê a linhagem e nos projetos em que a linhagem é registada. Para mais informações, consulte o artigo Tipos de projetos.

  1. Para capturar informações de linhagem, conclua os seguintes passos:

    1. Na Google Cloud consola, na página Selecionador de projetos, selecione o projeto no qual quer registar a linhagem.

      Aceder ao seletor de projetos

    2. Ative a API Data Lineage.

      Ative a API Data Lineage

    3. Repita os passos anteriores para cada projeto no qual quer registar a linhagem.

  2. No projeto onde vê a linhagem, ative a API Data Lineage e a API Dataplex.

    Ative as APIs

Veja a linhagem no Dataplex Universal Catalog

Pode ver informações de linhagem de dados na interface Web do Dataplex Universal Catalog.

Para ver a linhagem, siga estas instruções:

  1. Na Google Cloud consola, aceda à página Pesquisa do Dataplex Universal Catalog.

    Aceda à pesquisa

  2. Selecione Dataplex Universal Catalog como modo de pesquisa.

  3. Pesquise a entrada que quer ver e, em seguida, clique nela. Para mais informações, consulte o artigo Pesquise recursos no Dataplex Universal Catalog.

  4. Clique no separador Linha de descendência.

    A vista Gráfico predefinida é aberta, mostrando a linhagem ao nível da tabela em todos os sistemas e regiões. Para mais informações, consulte o artigo Vista de gráfico de linhagem.

  5. Para explorar manualmente o gráfico de linhagem, clique em Expandir junto a um nó para carregar mais cinco nós de cada vez.

    Para mais informações, consulte o artigo Explore manualmente o gráfico de linhagem.

  6. Clique num nó na vista Gráfico.

    O painel Detalhes é aberto com informações sobre o recurso, como o nome totalmente qualificado e o tipo. Para mais informações, consulte o artigo Detalhes do nó.

  7. Clique numa aresta com um ícone de processo na vista Gráfico.

    É aberto o painel Consulta. Para mais informações, consulte os artigos Inspeção da lógica de transformação e Auditoria e histórico de execuções.

    • Para inspecionar a lógica de transformação, clique no separador Detalhes.

    • Para ver a auditoria e o histórico de execuções, clique no separador Execuções.

  8. No painel Explorador de linhagem, selecione os critérios de filtro, por exemplo, Direção, Tipo de dependência ou Intervalo de tempo e, de seguida, clique em Aplicar.

    É aberta uma vista focada numa região específica (pré-visualização). Esta vista expande automaticamente o gráfico até três níveis de nós. Para mais informações, consulte o artigo Aplique filtros para uma vista de linhagem focada.

  9. Na vista Gráfico focada, selecione um nó e, em seguida, no painel de detalhes do nó, clique em Visualizar caminho para visualizar o caminho de linhagem do nó selecionado até à entrada raiz (apenas na vista focada).

    Para mais informações, consulte o artigo Visualização do caminho de linhagem.

  10. Para ver a linhagem ao nível da coluna (apenas para tarefas do BigQuery), faça uma das seguintes ações:

    • Numa vista de gráfico focada, clique no ícone de coluna numa tabela.
      Ícone usado para mudar para a linhagem ao nível da coluna.
      Ícone de coluna
    • No painel Explorador de linhagem, filtre por nome da coluna e clique em Aplicar.

    Para mais informações, consulte o artigo Linha de descendência ao nível da coluna.

  11. Clique em Repor.

    Esta ação remove todos os filtros aplicados e leva-o ao início da vista de gráfico.

  12. Clique em Lista para mudar para a vista de lista.

    A vista Lista oferece representações tabulares simplificadas e detalhadas da linhagem para a linhagem ao nível da tabela e da coluna, sincronizadas com a vista Gráfico. Por predefinição, é apresentada a vista de lista simplificada, e pode alternar para a vista de lista detalhada para analisar as relações de origem-destino individuais. Pode configurar as colunas apresentadas e exportar dados de linhagem. Para mais informações, consulte o artigo Vista de lista de linhagem.

Veja a linhagem no BigQuery

Pode ver informações de linhagem de dados na interface Web do BigQuery.

Para ver a linhagem, siga estas instruções:

  1. Na Google Cloud consola, aceda à página BigQuery.

    Abra a página do BigQuery

  2. Abra a tabela para a qual quer ver a linhagem de dados.

  3. Clique no separador Linha de descendência.

    A vista Gráfico predefinida é aberta, mostrando a linhagem ao nível da tabela em todos os sistemas e regiões. Para mais informações, consulte o artigo Vista de gráfico de linhagem.

  4. Para explorar manualmente o gráfico de linhagem, clique em Expandir junto a um nó para carregar mais cinco nós de cada vez.

    Para mais informações, consulte o artigo Explore manualmente o gráfico de linhagem.

  5. Clique num nó na vista Gráfico.

    O painel Detalhes é aberto com informações sobre o recurso, como o nome totalmente qualificado e o tipo. Para mais informações, consulte o artigo Detalhes do nó.

  6. Clique numa aresta com um ícone de processo na vista Gráfico.

    É aberto o painel Consulta. Para mais informações, consulte os artigos Inspeção da lógica de transformação e Auditoria e histórico de execuções.

    • Para inspecionar a lógica de transformação, clique no separador Detalhes.

    • Para ver a auditoria e o histórico de execuções, clique no separador Execuções.

  7. No painel Explorador de linhagem, selecione os critérios de filtro, por exemplo, Direção, Tipo de dependência ou Intervalo de tempo e, de seguida, clique em Aplicar.

    É aberta uma vista focada numa região específica (pré-visualização). Esta vista expande automaticamente o gráfico até três níveis de nós. Para mais informações, consulte o artigo Aplique filtros para uma vista de linhagem focada.

  8. Na vista Gráfico focada, selecione um nó e, em seguida, no painel de detalhes do nó, clique em Visualizar caminho para visualizar o caminho de linhagem do nó selecionado até à entrada raiz (apenas na vista focada).

    Para mais informações, consulte o artigo Visualização do caminho de linhagem.

  9. Para ver a linhagem ao nível da coluna (apenas para tarefas do BigQuery), faça uma das seguintes ações:

    • Numa vista de gráfico focada, clique no ícone de coluna numa tabela.
      Ícone usado para mudar para a linhagem ao nível da coluna.
      Ícone de coluna
    • No painel Explorador de linhagem, filtre por nome da coluna e clique em Aplicar.

    Para mais informações, consulte o artigo Linha de descendência ao nível da coluna.

  10. Clique em Repor.

    Esta ação remove todos os filtros aplicados e leva-o ao início da vista de gráfico.

  11. Clique em Lista para mudar para a vista de lista.

    A vista Lista oferece representações tabulares simplificadas e detalhadas da linhagem para a linhagem ao nível da tabela e da coluna, sincronizadas com a vista Gráfico. Por predefinição, é apresentada a vista de lista simplificada, e pode alternar para a vista de lista detalhada para analisar as relações de origem-destino individuais. Pode configurar as colunas apresentadas e exportar dados de linhagem. Para mais informações, consulte o artigo Vista de lista de linhagem.

Veja a linhagem no Vertex AI

Os sistemas como o Vertex AI Pipelines geram dados de linhagem para modelos e conjuntos de dados do Vertex AI. Pode ver informações de linhagem de dados na interface Web do Vertex AI.

Veja a linhagem de um conjunto de dados gerido no Vertex AI

Para ver a linhagem de um conjunto de dados, siga estas instruções:

  1. Na Google Cloud consola, aceda à página Conjuntos de dados.

    Abra a página Conjuntos de dados

  2. Clique no conjunto de dados para o qual quer ver a linhagem de dados.

  3. Clique no separador Linha de descendência.

    A vista Gráfico predefinida é aberta, mostrando a linhagem ao nível da tabela em todos os sistemas e regiões. Para mais informações, consulte o artigo Vista de gráfico de linhagem.

  4. Para explorar manualmente o gráfico de linhagem, clique em Expandir junto a um nó para carregar mais cinco nós de cada vez.

    Para mais informações, consulte o artigo Explore manualmente o gráfico de linhagem.

  5. Clique num nó na vista Gráfico.

    O painel Detalhes é aberto com informações sobre o recurso, como o nome totalmente qualificado e o tipo. Para mais informações, consulte o artigo Detalhes do nó.

  6. Clique numa aresta com um ícone de processo na vista Gráfico.

    É aberto o painel Consulta. Para mais informações, consulte os artigos Inspeção da lógica de transformação e Auditoria e histórico de execuções.

    • Para inspecionar a lógica de transformação, clique no separador Detalhes.

    • Para ver a auditoria e o histórico de execuções, clique no separador Execuções.

  7. No painel Explorador de linhagem, selecione os critérios de filtro, por exemplo, Direção, Tipo de dependência ou Intervalo de tempo e, de seguida, clique em Aplicar.

    É aberta uma vista focada numa região específica (pré-visualização). Esta vista expande automaticamente o gráfico até três níveis de nós. Para mais informações, consulte o artigo Aplique filtros para uma vista de linhagem focada.

  8. Na vista Gráfico focada, selecione um nó e, em seguida, no painel de detalhes do nó, clique em Visualizar caminho para visualizar o caminho de linhagem do nó selecionado até à entrada raiz (apenas na vista focada).

    Para mais informações, consulte o artigo Visualização do caminho de linhagem.

  9. Para ver a linhagem ao nível da coluna (apenas para tarefas do BigQuery), faça uma das seguintes ações:

    • Numa vista de gráfico focada, clique no ícone de coluna numa tabela.
      Ícone usado para mudar para a linhagem ao nível da coluna.
      Ícone de coluna
    • No painel Explorador de linhagem, filtre por nome da coluna e clique em Aplicar.

    Para mais informações, consulte o artigo Linha de descendência ao nível da coluna.

  10. Clique em Repor.

    Esta ação remove todos os filtros aplicados e leva-o ao início da vista de gráfico.

  11. Clique em Lista para mudar para a vista de lista.

    A vista Lista oferece representações tabulares simplificadas e detalhadas da linhagem para a linhagem ao nível da tabela e da coluna, sincronizadas com a vista Gráfico. Por predefinição, é apresentada a vista de lista simplificada, e pode alternar para a vista de lista detalhada para analisar as relações de origem-destino individuais. Pode configurar as colunas apresentadas e exportar dados de linhagem. Para mais informações, consulte o artigo Vista de lista de linhagem.

Veja a linhagem de um modelo no Vertex AI

Para ver a linhagem de um modelo, siga estas instruções:

  1. Na Google Cloud consola, aceda à página Model Registry.

    Abra a página do registo de modelos

  2. Clique no modelo para o qual quer ver a linhagem de dados.

  3. Clique no separador Linha de descendência.

    A vista Gráfico predefinida é aberta, mostrando a linhagem ao nível da tabela em todos os sistemas e regiões. Para mais informações, consulte o artigo Vista de gráfico de linhagem.

  4. Para explorar manualmente o gráfico de linhagem, clique em Expandir junto a um nó para carregar mais cinco nós de cada vez.

    Para mais informações, consulte o artigo Explore manualmente o gráfico de linhagem.

  5. Clique num nó na vista Gráfico.

    O painel Detalhes é aberto com informações sobre o recurso, como o nome totalmente qualificado e o tipo. Para mais informações, consulte o artigo Detalhes do nó.

  6. Clique numa aresta com um ícone de processo na vista Gráfico.

    É aberto o painel Consulta. Para mais informações, consulte os artigos Inspeção da lógica de transformação e Auditoria e histórico de execuções.

    • Para inspecionar a lógica de transformação, clique no separador Detalhes.

    • Para ver a auditoria e o histórico de execuções, clique no separador Execuções.

  7. No painel Explorador de linhagem, selecione os critérios de filtro, por exemplo, Direção, Tipo de dependência ou Intervalo de tempo e, de seguida, clique em Aplicar.

    É aberta uma vista focada numa região específica (pré-visualização). Esta vista expande automaticamente o gráfico até três níveis de nós. Para mais informações, consulte o artigo Aplique filtros para uma vista de linhagem focada.

  8. Na vista Gráfico focada, selecione um nó e, em seguida, no painel de detalhes do nó, clique em Visualizar caminho para visualizar o caminho de linhagem do nó selecionado até à entrada raiz (apenas na vista focada).

    Para mais informações, consulte o artigo Visualização do caminho de linhagem.

  9. Para ver a linhagem ao nível da coluna (apenas para tarefas do BigQuery), faça uma das seguintes ações:

    • Numa vista de gráfico focada, clique no ícone de coluna numa tabela.
      Ícone usado para mudar para a linhagem ao nível da coluna.
      Ícone de coluna
    • No painel Explorador de linhagem, filtre por nome da coluna e clique em Aplicar.

    Para mais informações, consulte o artigo Linha de descendência ao nível da coluna.

  10. Clique em Repor.

    Esta ação remove todos os filtros aplicados e leva-o ao início da vista de gráfico.

  11. Clique em Lista para mudar para a vista de lista.

    A vista Lista oferece representações tabulares simplificadas e detalhadas da linhagem para a linhagem ao nível da tabela e da coluna, sincronizadas com a vista Gráfico. Por predefinição, é apresentada a vista de lista simplificada, e pode alternar para a vista de lista detalhada para analisar as relações de origem-destino individuais. Pode configurar as colunas apresentadas e exportar dados de linhagem. Para mais informações, consulte o artigo Vista de lista de linhagem.

O que se segue?