Gerenciar recursos do Looker (Google Cloud Core) com o Knowledge Catalog

Nesta página, explicamos como pesquisar e gerenciar os recursos de metadados do Looker (Google Cloud core) usando o Knowledge Catalog.

O Catálogo de Conhecimento é uma plataforma que armazena, gerencia e fornece acesso aos seus metadados. Ele funciona como uma ferramenta de catalogação que indexa metadados de produção do LookML, do projeto do LookML e do painel do Looker (Google Cloud core). Essa integração oferece uma visão unificada e abrangente dos recursos de dados e das relações entre eles, incluindo linhagem de dados.

O Catálogo de dados captura vários níveis de entidade do Looker, incluindo:

  • Instância do Looker
  • Painel
  • Elemento do dashboard
  • Look
  • projeto do LookML
  • Modelo
  • Explorar
  • Visualização (que contém dimensões e medidas)

Como a integração funciona

A integração do Looker e do Knowledge Catalog usa um conector próprio para ingestão de metadados. O Looker (Google Cloud core) publica metadados da LookML em repositórios regionais do Cloud Storage para que o Knowledge Catalog consuma por um processo de sincronização em lote.

A transmissão de dados do Looker (Google Cloud core) para o catálogo de dados é automática por padrão e não requer mudanças de configuração. O Looker (Google Cloud core) usa serviços internos para realizar a sincronização. O processo interno de sincronização em lote é executado aproximadamente a cada quatro horas, e os dados do Looker são atualizados aproximadamente a cada hora no Knowledge Catalog.

Quando você atualiza os modelos do LookML e os envia para produção, o sistema sincroniza automaticamente os principais metadados com o Knowledge Catalog. Esses metadados incluem detalhes de visualização e análise, definições de campo e informações do modelo. Da mesma forma, os metadados do painel, incluindo títulos, propriedade e estatísticas de uso, aparecem no catálogo.

Quando usar o Catálogo de conhecimento com o Looker

Use o Knowledge Catalog para descobrir e entender seus metadados do Looker. O catálogo ajuda nas seguintes atividades:

  • Análise de impacto:use a linhagem de dados para visualizar como os dados fluem do BigQuery para os dashboards do Looker.
  • Descoberta:pesquise painéis, análises detalhadas e visualizações em toda a organização.
  • Gestão da mudança:entenda as dependências antes de fazer mudanças.
  • Pipelines de movimentação de dados:rastreiam a origem dos dados.

Com o Knowledge Catalog, também é possível selecionar metadados anexando aspectos às entradas de metadados do Looker. Ao anexar aspectos aos recursos do Looker, você pode adicionar metadados comerciais a eles e pesquisar por esses metadados.

Permissões necessárias

Para receber as permissões necessárias para usar a integração do Knowledge Catalog e do Looker (Google Cloud Core), peça ao administrador para conceder a você os seguintes papéis do IAM no projeto em que sua instância do Looker (Google Cloud Core) está localizada:

  • Para acessar os recursos do Knowledge Catalog: Leitor do Dataplex (roles/dataplex.viewer)
  • Para acessar os metadados do Looker (Google Cloud Core) no Knowledge Catalog: Visualizador de esquema do Looker (roles/looker.schemaViewer)
    • O papel predefinido "Visualizador de esquema do Looker" contém a permissão looker.schemas.view, que é necessária para acessar os metadados do Looker (Google Cloud Core) no Knowledge Catalog.
  • Para desativar ou ativar a integração entre o Knowledge Catalog e o Looker (Google Cloud Core): Administrador do Looker (roles/looker.admin)
  • Para conferir gráficos de linhagem de dados: Leitor da linhagem de dados (roles/datalineage.viewer)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Ativar a integração do catálogo de conhecimento e da sua instância do Looker (Google Cloud Core)

O catálogo de conhecimento é ativado por padrão nas instâncias do Looker (Google Cloud Core). Para desativar a integração, consulte a seção Desativar a integração do Knowledge Catalog e da instância do Looker (Google Cloud Core) nesta página de documentação.

Se a integração estiver desativada na sua instância e você quiser ativá-la, siga estas etapas:

Console

  1. Ativar a API Dataplex Para ver os metadados ingeridos, ative a API Cloud Dataplex (dataplex.googleapis.com) no projeto Google Cloud que hospeda sua instância do Looker (Google Cloud Core).

    Ativar a API Dataplex

  2. Na guia Detalhes da página Instância, clique em Editar.
  3. Expanda a seção Integração do catálogo universal.
  4. Desmarque a caixa de seleção Desativar a integração do Dataplex Catalog.
    • Observação:ao ativar essa configuração, você habilita a ingestão de metadados e a linhagem de dados (se a API Data Lineage estiver ativada).
  5. Clique em Salvar.

gcloud

Verifique se a API Dataplex está ativada no projeto Google Cloud que hospeda sua instância do Looker (Google Cloud Core).

Use o comando gcloud looker instances update com a flag --catalog-integration-enabled para ativar a integração:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Substitua INSTANCE_NAME pelo nome da instância do Looker (Google Cloud Core).

Depois que a integração for ativada, os dados do Looker vão levar até um dia para ficar disponíveis no catálogo de conhecimento.

Pesquisar recursos do Looker

Para ver os dados do Looker (Google Cloud core) no Knowledge Catalog, primeiro ative a API Dataplex. Para receber a permissão necessária para ativar as APIs, você precisa ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin).

Ativar a API Dataplex

Use a página Pesquisar do Knowledge Catalog no console Google Cloud para procurar recursos do Looker (Google Cloud core).

Acesse Pesquisar

No painel Filtros, é possível filtrar recursos do Looker (Google Cloud core) usando as seções Projeto, Sistema e Pseudônimos de tipo. Na seção Sistema, filtre por Looker. Em Aliases de tipo, é possível filtrar os resultados da pesquisa para um tipo específico de recurso do Looker selecionando um ou mais dos seguintes itens:

  • Painel
  • Elemento do dashboard
  • Explorar
  • projeto do LookML
  • Modelo
  • Instância
  • Ver
  • Outro

Também é possível usar o campo de pesquisa para realizar consultas. Você pode fazer uma pesquisa por palavras-chave ou linguagem natural. Por exemplo, para ver todos os recursos do Looker por pesquisa de palavra-chave, digite system=Looker. Para ver todos os painéis do Looker, insira a consulta system=Looker AND type=DASHBOARD. Os seguintes recursos estão disponíveis para pesquisa com a palavra-chave type:

  • painel
  • dashboard_element
  • explore
  • instância
  • Look
  • lookml_project
  • modelo
  • visualizar

Para saber mais sobre como pesquisar recursos, consulte a página de documentação Pesquisar recursos no Knowledge Catalog. Para saber mais sobre as expressões que podem ser usadas no campo de pesquisa, consulte a página de documentação Sintaxe de pesquisa do Knowledge Catalog.

Desativar a integração do catálogo de conhecimento e da instância do Looker (Google Cloud Core)

Para desativar a integração do Knowledge Catalog e da sua instância do Looker (Google Cloud Core), siga estas etapas.

Console

  1. Na guia Detalhes da página Instância, clique em Editar.
  2. Expanda a seção Integração do catálogo universal.
  3. Marque a caixa de seleção Desativar a integração do Dataplex Catalog.
    • Observação:desativar essa configuração desativa a ingestão de metadados e a linhagem de dados (se a API Data Lineage estiver ativada).
  4. Clique em Salvar.

gcloud

Use o comando gcloud looker instances update com a flag --no-catalog-integration-enabled para ativar a integração:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Substitua INSTANCE_NAME pelo nome da instância do Looker (Google Cloud Core).

Quando a integração é desativada depois de ter sido ativada, os metadados do Looker que já estão no catálogo de conhecimento permanecem lá, mas não são atualizados com novos metadados.

VPC Service Controls

A integração entre o Looker (Google Cloud Core) e o Catálogo de dados do Google Cloud é compatível com o VPC Service Controls.

Se a instância do Looker (Google Cloud Core) ou os recursos do Knowledge Catalog estiverem dentro de um perímetro de serviço do VPC Service Controls, verifique se os serviços necessários para a exportação de metadados estão acessíveis.

  • Verifique se a API Dataplex (dataplex.googleapis.com) está configurada como um serviço restrito no seu perímetro.
  • A integração usa buckets internos do Cloud Storage para transferir metadados. Verifique se o perímetro de serviço permite o acesso aos recursos necessários do Cloud Storage. Entre em contato com sua equipe de conta ou suporte do Google Cloud se encontrar erros de PERMISSION_DENIED relacionados à exportação de metadados.

Preços

Não há custos para armazenar metadados técnicos do Looker (Google Cloud core) no Knowledge Catalog. Os preços padrão do Knowledge Catalog se aplicam a chamadas de API e ao aprimoramento de outros metadados comerciais. Para mais informações, consulte a página de preços do catálogo de dados.

Limitações

Nesta seção, listamos as limitações de uso do Looker (Google Cloud core) e do Knowledge Catalog:

  • Os metadados do Looker não ficam disponíveis instantaneamente no catálogo. O processo de sincronização em lote é executado em um intervalo definido, e a atualização de dados ocorre aproximadamente a cada hora.
  • Não há uma API pública exposta para essa integração.
  • Para limitações da linhagem de dados, consulte a página Rastrear a linhagem de dados com o catálogo de conhecimento.

A seguir