Gerenciar recursos do Looker (Google Cloud Core) com o Knowledge Catalog

Nesta página, explicamos como pesquisar e gerenciar os recursos de metadados do Looker (Google Cloud core) usando o Knowledge Catalog.

O Knowledge Catalog é uma plataforma que armazena, gerencia e fornece acesso aos seus metadados. Ele funciona como uma ferramenta de catalogação que indexa metadados de produção do LookML, do projeto do LookML e do painel do Looker (Google Cloud core). Essa integração oferece uma visão unificada e abrangente dos recursos de dados e dos relacionamentos deles, incluindo a linhagem de dados.

O Knowledge Catalog captura vários níveis de entidades do Looker, que incluem o seguinte:

  • Instância do Looker
  • Painel
  • Elemento do dashboard
  • Look
  • projeto do LookML
  • Modelo
  • Explorar
  • Visualização (que contém dimensões e medidas)

Como a integração funciona

A integração do Looker e do Knowledge Catalog usa um conector próprio para ingestão de metadados. O Looker (Google Cloud core) publica metadados do LookML em repositórios regionais do Cloud Storage para que o Knowledge Catalog consuma por meio de um processo de sincronização em lote.

A transmissão de dados do Looker (Google Cloud core) para o Knowledge Catalog é automática por padrão e não exige mudanças de configuração. O Looker (Google Cloud core) usa serviços internos para realizar a sincronização. O processo de sincronização em lote interno é executado aproximadamente a cada quatro horas, e os dados do Looker são atualizados aproximadamente a cada hora no Knowledge Catalog.

Quando você atualiza os modelos do LookML e os envia para produção, o sistema sincroniza automaticamente os principais metadados com o Knowledge Catalog. Esses metadados incluem detalhes de visualização e análise, definições de campo e informações do modelo. Da mesma forma, os metadados do painel, incluindo títulos, propriedade e estatísticas de uso, aparecem no catálogo.

Quando usar o Knowledge Catalog com o Looker

Use o Knowledge Catalog para descobrir e entender os metadados do Looker. O catálogo ajuda nas seguintes atividades:

  • Análise de impacto: use a linhagem de dados para visualizar como os dados fluem do BigQuery para os painéis do Looker.
  • Descoberta:pesquise painéis, análises e visualizações em toda a organização.
  • Gestão da mudança:entenda as dependências antes de fazer mudanças.
  • Pipelines de movimentação de dados:rastreie a linhagem de dados.

Com o Knowledge Catalog, também é possível selecionar metadados anexando aspectos às entradas de metadados do Looker. Ao anexar aspectos aos recursos do Looker, você pode adicionar metadados comerciais aos recursos e pesquisar recursos por esses metadados.

Permissões necessárias

Para receber as permissões necessárias para usar a integração do Knowledge Catalog e do Looker (Google Cloud Core), peça ao administrador para conceder a você os seguintes papéis do IAM no projeto em que a instância do Looker (Google Cloud Core) reside:

  • Para visualizar os recursos do Knowledge Catalog: Leitor do Dataplex (roles/dataplex.viewer)
  • Para acessar os metadados do Looker (Google Cloud Core) no Knowledge Catalog: Leitor de esquema do Looker (roles/looker.schemaViewer)
    • O papel predefinido Leitor de esquema do Looker contém a permissão looker.schemas.view, que é necessária para acessar os metadados do Looker (Google Cloud Core) no Knowledge Catalog.
  • Para desativar ou ativar a integração entre o Knowledge Catalog e o Looker (Google Cloud Core): administrador do Looker (roles/looker.admin)
  • Para visualizar gráficos de linhagem de dados: Leitor da linhagem de dados (roles/datalineage.viewer)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Ativar a integração do Knowledge Catalog e da instância do Looker (Google Cloud Core)

O Knowledge Catalog é ativado nas instâncias do Looker (Google Cloud Core) por padrão. Para desativar a integração, consulte a seção Desativar a integração do Knowledge Catalog e da instância do Looker (Google Cloud Core) desta página de documentação.

Se a integração estiver desativada na sua instância e você quiser ativá-la, siga estas etapas:

Console

  1. Ativar a API Dataplex Para visualizar os metadados que estão sendo ingeridos, é necessário ativar a API Cloud Dataplex (dataplex.googleapis.com) no Google Cloud projeto que hospeda a instância do Looker (Google Cloud Core).

    Ativar a API Dataplex

  2. Na guia Detalhes da página Instância da instância, clique em Editar.
  3. Expanda a seção Integração do catálogo universal.
  4. Desmarque a caixa de seleção Desativar a integração do Dataplex Catalog.
    • Observação:ativar essa configuração permite a ingestão de metadados e a linhagem de dados (se a API Data Lineage estiver ativada).
  5. Clique em Salvar.

gcloud

Verifique se a API Dataplex está ativada no Google Cloud projeto que hospeda a instância do Looker (Google Cloud Core).

Use o comando gcloud looker instances update com a flag --catalog-integration-enabled para ativar a integração:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Substitua INSTANCE_NAME pelo nome da instância do Looker (Google Cloud Core).

Depois que a integração for ativada, os dados do Looker vão levar até um dia para ficar disponíveis no Knowledge Catalog.

Pesquisar recursos do Looker

Para visualizar os dados do Looker (Google Cloud core) no Knowledge Catalog, primeiro ative a API Dataplex. Para receber a permissão necessária para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin).

Ativar a API Dataplex

Use a página Pesquisa do Knowledge Catalog no Google Cloud console para pesquisar recursos do Looker (Google Cloud core).

Acessar a pesquisa

No painel Filtros, é possível filtrar os recursos do Looker (Google Cloud core) usando as seções Projeto, Sistema e Aliases de tipo. Na seção Sistema, é possível filtrar por Looker. Em Aliases de tipo, é possível filtrar os resultados da pesquisa para um tipo específico de recurso do Looker selecionando um ou mais dos seguintes:

  • Painel
  • Elemento do dashboard
  • Explorar
  • projeto do LookML
  • Modelo
  • Instância
  • Visualizar
  • Outro

Também é possível usar o campo de pesquisa para realizar consultas de pesquisa. É possível realizar uma pesquisa por palavra-chave ou linguagem natural. Por exemplo, para visualizar todos os recursos do Looker por pesquisa de palavras-chave, insira system=Looker. Para visualizar todos os painéis do Looker, insira a consulta system=Looker AND type=DASHBOARD. Os recursos a seguir estão disponíveis para pesquisa com a palavra-chave type:

  • painel
  • dashboard_element
  • explorar
  • instância
  • Look
  • lookml_project
  • modelo
  • visualizar

Para saber mais sobre como pesquisar recursos, consulte a página de documentação Pesquisar recursos no Knowledge Catalog. Para saber mais sobre as expressões que podem ser usadas no campo de pesquisa, consulte a página de documentação Sintaxe de pesquisa do Knowledge Catalog.

Desativar a integração do Knowledge Catalog e da instância do Looker (Google Cloud Core)

Para desativar a integração do Knowledge Catalog e da instância do Looker (Google Cloud Core), siga estas etapas.

Console

  1. Na guia Detalhes da página Instância da instância, clique em Editar.
  2. Expanda a seção Integração do catálogo universal.
  3. Marque a caixa de seleção Desativar a integração do Dataplex Catalog.
    • Observação: desativar essa configuração desativa a ingestão de metadados e a linhagem de dados (se a API Data Lineage estiver ativada).
  4. Clique em Salvar.

gcloud

Use o gcloud looker instances update comando com a flag --no-catalog-integration-enabled para ativar a integração:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Substitua INSTANCE_NAME pelo nome da instância do Looker (Google Cloud Core).

Quando a integração é desativada depois de ter sido ativada, os metadados do Looker que já estão no Knowledge Catalog permanecem nele, mas não são atualizados com novos metadados.

VPC Service Controls

A integração entre o Looker (Google Cloud Core) e o Knowledge Catalog oferece suporte ao VPC Service Controls.

Se a instância do Looker (Google Cloud Core) ou os recursos do Knowledge Catalog estiverem dentro de um perímetro de serviço do VPC Service Controls, verifique se os serviços necessários para a exportação de metadados estão acessíveis.

  • Verifique se a API Dataplex (dataplex.googleapis.com) está configurada como um serviço restrito no perímetro.
  • A integração usa buckets internos do Cloud Storage para transferir metadados. Verifique se o perímetro de serviço permite o acesso aos recursos necessários do Cloud Storage. Entre em contato com sua Google Cloud equipe de contas ou suporte se encontrar PERMISSION_DENIED erros relacionados à exportação de metadados.

Preços

Não há custos para armazenar metadados técnicos do Looker (Google Cloud core) no Knowledge Catalog. Os preços padrão do Knowledge Catalog se aplicam a chamadas de API e ao aprimoramento de outros metadados comerciais. Para mais informações, consulte a página de preços do Knowledge Catalog.

Limitações

Esta seção lista as limitações de uso do Looker (Google Cloud core) e do Knowledge Catalog:

  • Os metadados do Looker não ficam disponíveis instantaneamente no catálogo. O processo de sincronização em lote é executado em um intervalo definido, e a atualização de dados ocorre aproximadamente a cada hora.
  • Não há API pública exposta para essa integração.
  • Para limitações de linhagem de dados, consulte a página Rastrear a linhagem de dados com o Knowledge Catalog.

A seguir