Rastrear a linhagem de dados com o Catálogo de Conhecimento

Visualizar

Este produto ou recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os produtos e recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Nesta página, explicamos como rastrear a linhagem de dados da sua instância do Looker (Google Cloud Core) usando o Knowledge Catalog.

A linhagem de dados é o processo de rastrear como os dados fluem pelos seus sistemas. Ao integrar o Looker (Google Cloud Core) ao Knowledge Catalog, é possível visualizar a jornada de ponta a ponta dos seus dados, desde a origem no BigQuery, passando pela camada semântica do Looker (visualizações e análises do LookML), até o consumo downstream em painéis, Looks e agentes de IA ou de dados.

Essa visibilidade fornece rastreamento de linhagem bidirecional para governança de dados, análise de impacto e fluxos de trabalho de auditoria:

• Análise de impacto downstream:preveja quais painéis, análises e consumidores downstream serão afetados antes de fazer mudanças no esquema ou no modelo. Por exemplo, antes de remover uma coluna em uma tabela do BigQuery, verifique o gráfico de linhagem para saber quais painéis do Looker podem ser corrompidos.
• Auditoria de dados upstream:rastreie a origem, as transformações e a cadeia de custódia das métricas mostradas nos Looks e painéis executivos.

Antes de começar

Para usar a linhagem de dados com o Looker (Google Cloud Core), é preciso atender aos seguintes pré-requisitos:

1. Looker (Google Cloud Core): a linhagem de dados é compatível com todos os tipos de edição de instâncias do Looker (Google Cloud Core). As instâncias do Looker (original) não se integram ao Knowledge Catalog.

2. Permissões necessárias:para visualizar gráficos de linhagem, você precisa dos seguintes papéis do IAM:

   • Visualizador de esquemas do Looker (roles/looker.schemaViewer) no projeto que hospeda a instância do Looker (Google Cloud Core). Esse papel é necessário para visualizar os metadados específicos do Looker (Google Cloud Core) que preenchem o painel lateral ao visualizar um gráfico de linhagem.

     Observação: só é possível adicionar o papel de Leitor de Esquemas do Looker usando a Google Cloud CLI.

     gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
     --member=PRINCIPAL_TYPE:PRINCIPAL_ID
     --role=roles/looker.schemaViewer

     Para mais informações, consulte a documentação do add-iam-policy-binding.

   • Leitor do Dataplex Catalog (roles/dataplex.catalogViewer) ou permissões equivalentes para visualizar recursos do Knowledge Catalog

   • Leitor da linhagem de dados (roles/datalineage.viewer) para ler dados de linhagem

Atenção :as referências de tabela SQL no LookML precisam corresponder exatamente às letras maiúsculas e minúsculas das tabelas correspondentes do BigQuery. Por exemplo, se o nome de uma tabela do BigQuery estiver em letras minúsculas, a referência do LookML também precisará estar em letras minúsculas. As discrepâncias de maiúsculas e minúsculas impedem que a linhagem downstream seja preenchida no gráfico de linhagem.

Ativar a linhagem de dados

Para ativar a linhagem de dados, siga estas etapas:

1. Ativar a integração do Knowledge Catalog para o Looker (Google Cloud Core): a integração entre sua instância do Looker (Google Cloud Core) e o Knowledge Catalog é ativada por padrão no console do Google Cloud . Se a integração tiver sido desativada, será necessário ativá-la novamente. Consulte Ativar a integração para ver as instruções.
2. Ative o recurso em fase de pré-lançamento Linhagem do Knowledge Catalog no Looker:o recurso em fase de pré-lançamento Linhagem do Knowledge Catalog está desativado por padrão na página Recursos em fase de pré-lançamento do painel de admin Administrador na instância do Looker (Google Cloud Core).
3. Ativar a API Data Lineage:é necessário ativar a API Data Lineage (datalineage.googleapis.com) em todos os projetos do Google Cloud que hospedam sua instância do Looker (Google Cloud Core) e seus dados do BigQuery.

   Ativar a API Data Lineage

4. Ativar a ingestão de linhagem no nível do serviço:Ensure se a integração no nível do serviço da linhagem e do Looker (Google Cloud Core) está ativada. A linhagem no nível do serviço segue os seguintes estados padrão:
   • Para evitar implicações futuras de preços, a ingestão de linhagem no nível de serviço do Looker (Google Cloud Core) está desativada por padrão para projetos que, na data de lançamento da prévia desse recurso, tinham a API Data Lineage ativada e hospedavam pelo menos uma instância do Looker (Google Cloud Core).
   • A ingestão de linhagem no nível do serviço é ativada por padrão para instâncias do Looker (Google Cloud Core) criadas após a data de lançamento da versão de pré-lançamento desse recurso em projetos com a API Data Lineage ativada.

Para ver a configuração de linhagem de um projeto do Google Cloud , consulte a documentação Obter configuração atual. Se a integração com o Looker (Google Cloud Core) estiver desativada, o comando vai retornar uma saída semelhante a esta:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

O ID do projeto na resposta vai refletir o ID na solicitação. O campo etag é um checksum gerado pelo servidor e baseado no valor atual da configuração.

Ver linhagem de dados

Depois que a integração for ativada e a sincronização inicial for concluída (o que pode levar até 24 horas), será possível conferir a linhagem no console do Knowledge Catalog.

1. No console do Google Cloud , acesse a página Knowledge Catalog.

   Acessar o Knowledge Catalog

2. Clique em Pesquisar no painel de navegação à esquerda.
3. Pesquise uma tabela do BigQuery ou um recurso do Looker (Google Cloud Core), como um painel ou uma Análise.
   • Use o painel Filtros para filtrar por Sistema > Looker.
4. Clique no nome do recurso para abrir a página de detalhes.
5. Clique na guia Linhagem.

O gráfico de linhagem mostra o recurso como um nó central, com as fontes upstream à esquerda e os consumidores downstream à direita. Esse layout bidirecional permite avaliar os impactos downstream à direita ou rastrear a proveniência upstream e as tabelas de origem à esquerda.

Interpretar o gráfico de linhagem

O gráfico de linhagem consiste em nós e links:

• Nós:representam recursos de dados. Os recursos compatíveis do Looker (Google Cloud Core) incluem:
  • Painel do Looker
  • Elemento do dashboard do Looker (bloco)
  • Look do Looker
  • Análise do LookML
  • Visualização do LookML
• Links:representam o fluxo de dados. Por exemplo, um link de uma tabela do BigQuery para uma visualização do LookML indica que a visualização seleciona dados dessa tabela.

Identificar proprietários de recursos

Para descobrir quem é o proprietário de um recurso downstream que pode ser afetado por uma mudança, siga estas etapas:

1. No gráfico de linhagem, clique no nó do recurso (por exemplo, um painel do Looker).
2. Um painel de informações será aberto no lado direito da tela.
3. Procure a seção Aspectos para encontrar o Proprietário (endereço de e-mail).

Filtrar a lista de linhagem

Na visualização em lista da linhagem, é possível filtrar entidades por nome ou valor de propriedade. Por exemplo, modelos complexos do LookML podem gerar gráficos de linhagem grandes com muitas entidades intermediárias. Para focar no impacto nos negócios, filtre por tipo de entidade seguindo estas etapas:

1. Na guia Linhagem, alterne para a visualização em Lista.
2. Localize as opções de Filtro na barra de ferramentas.
3. No filtro Entidade, insira Painel do Looker e Look do Looker para filtrar tipos intermediários, como Visualização do LookML e Análise do Looker.

A lista de entidades é atualizada para mostrar apenas os tipos de recursos selecionados, facilitando a identificação do conteúdo voltado ao usuário.

Limitações

A integração de linhagem do Looker (Google Cloud Core) tem as seguintes limitações durante a versão de pré-lançamento:

• Fontes de dados:no pré-lançamento, a linhagem é compatível apenas com fontes de dados do BigQuery.
• Granularidade:a linhagem é fornecida no nível do objeto (tabela, visualização, análise, painel). A linhagem no nível da coluna não é compatível.
• Latência:os dados de linhagem não são em tempo real. O processo de sincronização geralmente leva quatro horas. No entanto, a sincronização pode levar até oito horas, dependendo do momento das exportações de metadados do Looker e do consumo de dados de linhagem. As mudanças feitas no Looker ou no BigQuery podem levar algum tempo para aparecer no gráfico de linhagem.
• SQL complexo:o LookML definido com SQL personalizado complexo (por exemplo, modelos Liquid, tabelas derivadas com mesclagens complexas) pode não ser totalmente analisado, o que pode resultar em nós desconectados.

Preços

Durante a versão de pré-lançamento, não há cobrança pelos recursos de linhagem de dados usados com essa integração.

Quando a linhagem de dados estiver em disponibilidade geral, os preços serão cobrados. Para evitar implicações futuras de preços, a ingestão de linhagem do Looker (Google Cloud Core) está desativada por padrão para projetos que, na data de lançamento da prévia desse recurso, tinham a API Data Lineage ativada e hospedavam pelo menos uma instância do Looker (Google Cloud Core).

Para mais informações, consulte a página de preços do Knowledge Catalog.

A seguir

• Gerenciar recursos de metadados com o Knowledge Catalog
• Saiba mais sobre a linhagem de dados