Rastrear a linhagem de dados com o Catálogo de Conhecimento

Nesta página, explicamos como rastrear a linhagem de dados da sua instância do Looker (Google Cloud Core) usando o Knowledge Catalog.

A linhagem de dados é o processo de rastrear como os dados fluem pelos seus sistemas. Ao integrar o Looker (Google Cloud Core) ao Knowledge Catalog, é possível visualizar a jornada completa dos seus dados, desde a origem no BigQuery até o consumo downstream em painéis do Looker, Looks, dashboards do LookML e agentes de análise de conversas, passando pela camada semântica do Looker (visualizações e análises do LookML).

Essa visibilidade fornece rastreamento de linhagem bidirecional para governança de dados, análise de impacto e fluxos de trabalho de auditoria:

  • Análise de impacto downstream:preveja quais painéis, análises e consumidores downstream serão afetados antes de fazer mudanças no esquema ou no modelo. Por exemplo, antes de remover uma coluna em uma tabela do BigQuery, verifique o gráfico de linhagem para saber quais painéis do Looker podem ser corrompidos.
  • Auditoria de dados upstream:rastreie a origem, as transformações e a cadeia de custódia das métricas mostradas nos Looks e painéis executivos.

Antes de começar

Para usar a linhagem de dados com o Looker (Google Cloud Core), é preciso atender aos seguintes pré-requisitos:

  1. Looker (Google Cloud Core): a linhagem de dados é compatível com todos os tipos de edição de instâncias do Looker (Google Cloud Core). As instâncias do Looker (original) não se integram ao Knowledge Catalog.
  2. Fonte de dados: a linhagem de dados só é compatível com fontes de dados do BigQuery.

  3. Permissões necessárias:para visualizar gráficos de linhagem, você precisa dos seguintes papéis do IAM:

    • Visualizador de esquemas do Looker (roles/looker.schemaViewer) no projeto que hospeda a instância do Looker (Google Cloud Core). Esse papel é necessário para visualizar os metadados específicos do Looker (Google Cloud Core) que preenchem o painel lateral de um gráfico de linhagem.

    • Leitor do Dataplex Catalog (roles/dataplex.catalogViewer) ou permissões equivalentes para visualizar recursos do Knowledge Catalog

    • Leitor da linhagem de dados (roles/datalineage.viewer) para ler dados de linhagem

Ativar a linhagem de dados

Para ativar a linhagem de dados, siga estas etapas no console do Google Cloud :

  1. Ativar a API Data Lineage:é necessário ativar a API Data Lineage (datalineage.googleapis.com) em todos os projetos do Google Cloud que hospedam sua instância do Looker (Google Cloud Core) e seus dados do BigQuery.

    Ativar a API Data Lineage

  2. Verifique se a ingestão de linhagem no nível do serviço está ativada: confirme se a integração da linhagem no nível do serviço do Looker (Google Cloud Core) está ativada. A ingestão de linhagem é ativada por padrão para instâncias do Looker (Google Cloud Core) em projetos em que a API Data Lineage está ativada.

Para ver a configuração de linhagem de um projeto do Google Cloud , consulte a documentação Obter configuração atual. Se a integração com o Looker (Google Cloud Core) estiver desativada, o comando vai retornar uma saída semelhante a esta:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

O ID do projeto na resposta vai refletir o ID na solicitação. O campo etag é um checksum gerado pelo servidor e baseado no valor atual da configuração.

Ver linhagem de dados

Depois que a integração for ativada e a sincronização inicial for concluída (o que pode levar até 24 horas), será possível conferir a linhagem no console do Knowledge Catalog.

  1. No console do Google Cloud , acesse a página Knowledge Catalog.

    Acessar o Knowledge Catalog

  2. Clique em Pesquisar no painel de navegação à esquerda.
  3. Pesquise uma tabela do BigQuery ou um recurso do Looker (Google Cloud Core), como um painel ou uma Análise.
    • Use o painel Filtros para filtrar por Sistemas > Looker.
  4. Clique no nome do recurso para abrir a página de detalhes.
  5. Clique na guia Linhagem.

O gráfico de linhagem mostra o recurso como um nó central, com as fontes upstream à esquerda e os consumidores downstream à direita. Esse layout bidirecional permite avaliar os impactos downstream à direita ou rastrear a proveniência upstream e as tabelas de origem à esquerda.

Interpretar o gráfico de linhagem

O gráfico de linhagem consiste em nós e links:

  • Nós:representam recursos de dados. Os recursos compatíveis do Looker (Google Cloud Core) incluem:
    • Painel do Looker
    • Elemento do dashboard do Looker (bloco)
    • Look do Looker
    • Dashboard do LookML
    • Agente do Looker (agente de análise de conversação)
    • Análise do LookML
    • Visualização do LookML
  • Links:representam o fluxo de dados. Por exemplo, um link de uma tabela do BigQuery para uma visualização do LookML indica que a visualização seleciona dados dessa tabela.

Identificar proprietários de recursos

Para descobrir quem é o proprietário de um recurso downstream que pode ser afetado por uma mudança, siga estas etapas:

  1. No gráfico de linhagem, clique no nó do recurso (por exemplo, um painel do Looker).
  2. Um painel de informações será aberto no lado direito da tela.
  3. Procure a seção Aspectos para encontrar o Proprietário (endereço de e-mail).

Filtrar a lista de linhagem

Na visualização em lista da linhagem, é possível filtrar entidades por nome ou valor de propriedade. Por exemplo, modelos complexos do LookML podem gerar gráficos de linhagem grandes com muitas entidades intermediárias. Para focar no impacto nos negócios, filtre por tipo de entidade seguindo estas etapas:

  1. Na guia Linhagem, alterne para a visualização em Lista.
  2. Localize as opções de Filtro na barra de ferramentas.
  3. No filtro Entidade, insira Dashboard do Looker, Dashboard do LookML e Look do Looker para filtrar tipos intermediários, como Visualização do LookML e Análise do LookML.

A lista de entidades é atualizada para mostrar apenas os tipos de recursos selecionados, facilitando a identificação do conteúdo voltado ao usuário.

Limitações

A integração de linhagem do Looker (Google Cloud Core) tem as seguintes limitações:

  • Tipos de instância: a linhagem só é compatível com instâncias do Looker (Google Cloud Core). As instâncias do Looker (original) não são compatíveis com a linhagem.
  • Fontes de dados: a linhagem é compatível apenas com fontes de dados do BigQuery.
  • Granularidade: a linhagem é fornecida no nível do objeto (tabela, visualização, Análise, painel do Looker, painel do LookML e agente da Análise Conversacional). A linhagem no nível da coluna não é compatível.
  • Latência:os dados de linhagem não são em tempo real. O processo de sincronização geralmente leva quatro horas. No entanto, a sincronização pode levar até oito horas, dependendo do momento das exportações de metadados do Looker e do consumo de dados de linhagem. As mudanças feitas no Looker ou no BigQuery podem levar algum tempo para aparecer no gráfico de linhagem. A sincronização inicial após a ativação da integração pode levar até 24 horas.
  • SQL complexo:o LookML definido com SQL personalizado complexo (por exemplo, modelos Liquid, tabelas derivadas com mesclagens complexas) pode não ser totalmente analisado, o que pode resultar em nós desconectados.

Preços

A linhagem de dados do Looker (Google Cloud Core) está em disponibilidade geral. Os preços vão começar em uma data futura, com aviso prévio fornecido por um aviso obrigatório de serviço (MSA).

Para mais informações, consulte a página de preços do Knowledge Catalog.

A seguir