Gerenciar recursos do Looker (Google Cloud Core) com o Knowledge Catalog

É possível gerenciar metadados das instâncias do Looker (Google Cloud Core) usando o Knowledge Catalog. O gerenciamento de metadados ajuda a controlar os dados e tomar decisões fundamentadas.

O Knowledge Catalog é uma plataforma de catalogação de dados que armazena, gerencia e fornece acesso aos seus metadados. Ele indexa o LookML de produção, o projeto do LookML e os metadados do painel do Looker (Google Cloud Core).

Essa integração oferece uma visualização única dos seus recursos de dados e das relações entre eles, incluindo a linhagem de dados. Ao usar o Knowledge Catalog, você pode realizar análises de impacto, descoberta de dados e gerenciamento de mudanças, o que ajuda a integrar dados em fluxos de trabalho operacionais e encontrar novos usos para eles.

O Knowledge Catalog captura vários níveis de entidade do Looker, que incluem:

• Instância do Looker: incluindo ID da instância, URL e dashboards relacionados
• Agente: incluindo criador, descrição e fonte de dados
• Painel: incluindo nome, layout, filtros e elementos do dashboard relacionados
• Elemento do dashboard: incluindo tipo, consulta, modelo e Análises
• Análise: incluindo rótulo, consultas padrão, chave externa, condições de mesclagem (sql_on, relationship e type), filtros (always_filter, conditionally_filter, access_filter, sql_always_where e sql_always_having), esquema com definições de dimensão e medida e sinônimos
• Look: incluindo projeto do criador, Análise, modelo e campos
• Dashboard do LookML: incluindo descrição, nome do dashboard, layout, filtros e elementos relacionados do dashboard do LookML
• Elemento do dashboard do LookML: incluindo descrição, consultas e consultas mescladas
• Projeto do LookML: incluindo descrição e modelos relacionados
• Modelo: incluindo caminho, URL do projeto, conexão e visualizações, Análises e dashboards do LookML relacionados
• Visualização: incluindo tabela derivada, chaves de cluster, chave primária e esquema com definições de dimensão e medida

A integração do Knowledge Catalog com o Looker (Google Cloud Core) também representa relações definidas, incluindo:

• Links de entrada reference que representam relações entre objetos do Looker
• Links de entrada schema-join que representam associações de chave primária e chave externa

Como a integração funciona

A integração do Looker com o Knowledge Catalog usa um conector próprio para ingestão de metadados. O Looker (Google Cloud core) publica metadados do LookML em repositórios regionais do Cloud Storage para que o Knowledge Catalog os consuma por um processo de sincronização em tempo real.

A transmissão de dados do Looker (Google Cloud core) para o Knowledge Catalog é automática por padrão e não requer mudanças na configuração. O Looker (Google Cloud core) usa serviços internos para realizar a sincronização em tempo real.

Quando você atualiza seus modelos do LookML e os envia para produção, o sistema sincroniza automaticamente os metadados principais com o Knowledge Catalog. Esses metadados incluem detalhes de visualização e análise, definições de campo e informações do modelo. Da mesma forma, os metadados do painel, incluindo títulos, propriedade e estatísticas de uso, aparecem no catálogo.

Quando usar o Knowledge Catalog com o Looker

Use o Knowledge Catalog para descobrir e entender os metadados do Looker. O catálogo ajuda nas seguintes atividades:

• Precisão do agente de IA e de dados:use modelos, análises e visualizações do LookML indexados como definições semânticas. A geração de consultas com base nas entradas do Looker no Knowledge Catalog garante que os agentes de IA sigam a lógica de negócios oficial (medidas, dimensões e caminhos de mesclagem válidos certificados).
• Linhagem de ponta a ponta (análise de impacto e proveniência): use a linhagem de dados para visualizar como os dados fluem entre as fontes de dados (como o BigQuery) e os recursos do Looker em ambas as direções:
  • Análise de impacto downstream:preveja quais painéis e análises serão afetados antes de fazer mudanças no esquema ou no modelo.
  • Auditoria de dados upstream:audite a origem, as transformações e a cadeia de custódia das métricas exibidas em painéis executivos e Looks.
• Descoberta e consolidação de recursos:pesquise painéis, análises e visualizações certificados em toda a organização para evitar relatórios duplicados e modelagem de dados redundante.

Com o Knowledge Catalog, também é possível selecionar metadados anexando aspectos às entradas de metadados do Looker. Ao anexar aspectos aos recursos do Looker, você pode adicionar metadados comerciais a eles e pesquisar recursos por esses metadados.

Permissões necessárias

Para receber as permissões necessárias para usar a integração do Knowledge Catalog e do Looker (Google Cloud Core), peça ao administrador para conceder a você os seguintes papéis do IAM no projeto em que sua instância do Looker (Google Cloud Core) reside:

• Para acessar os recursos do Knowledge Catalog: Leitor do Dataplex Catalog (roles/dataplex.catalogViewer)

• Para acessar os metadados do Looker (Google Cloud Core) no Knowledge Catalog: Leitor de Esquema do Looker (roles/looker.schemaViewer)

  • O papel predefinido Leitor de Esquemas do Looker contém a permissão looker.schemas.view, que é necessária para acessar os metadados do Looker (Google Cloud Core) no Knowledge Catalog.
  Observação: só é possível adicionar o papel de Leitor de Esquemas do Looker usando a Google Cloud CLI.

  gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
  --member=PRINCIPAL_TYPE:PRINCIPAL_ID
  --role=roles/looker.schemaViewer

  Para mais informações, consulte a documentação do add-iam-policy-binding.

• Para desativar ou ativar a integração entre o Knowledge Catalog e o Looker (Google Cloud Core): Administrador do Looker (roles/looker.admin)

• Para visualizar gráficos de linhagem de dados: Leitor da linhagem de dados (roles/datalineage.viewer)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Atenção: é preciso conceder o papel de Leitor de Esquemas do Looker ou a permissão looker.schema.view no nível do projeto. Usuários com essa permissão podem acessar os metadados de todas as instâncias do Looker (Google Cloud Core) no projeto que têm a integração ativada.

Ativar a integração do Knowledge Catalog e da instância do Looker (Google Cloud Core)

O Knowledge Catalog é ativado por padrão nas instâncias do Looker (Google Cloud Core). Para desativar a integração, consulte a seção Desativar a integração do Knowledge Catalog e da sua instância do Looker (Google Cloud Core) desta página de documentação.

Se a integração estiver desativada na sua instância e você quiser ativá-la, siga estas etapas:

Console

1. Ativar a API Dataplex. Para conferir os metadados que estão sendo ingeridos, ative a API Cloud Dataplex (dataplex.googleapis.com) no projeto do Google Cloud que hospeda sua instância do Looker (Google Cloud Core).

   Ativar a API Dataplex

2. Na guia Detalhes da página Instância, clique em Editar.
3. Abra a seção Integração do Knowledge Catalog.
4. Desmarque a caixa de seleção Desativar a integração do Knowledge Catalog.
   • Observação:ao ativar essa configuração, você ativa a ingestão de metadados e a linhagem de dados (se a API Data Lineage estiver ativada).
5. Clique em Salvar.

gcloud

Verifique se a API Dataplex está ativada no projeto do Google Cloud que hospeda sua instância do Looker (Google Cloud Core).

Use o comando gcloud looker instances update com a flag --catalog-integration-enabled para ativar a integração:

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Substitua INSTANCE_NAME pelo nome da instância do Looker (Google Cloud Core).

Depois que a integração for ativada, vai levar até um dia para que os dados do Looker fiquem disponíveis no Knowledge Catalog.

Pesquisar recursos do Looker

Para conferir os dados do Looker (Google Cloud core) no Knowledge Catalog, primeiro é necessário ativar a API Dataplex. Para receber a permissão necessária para ativar as APIs, você precisa ter o papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin) do IAM.

Ativar a API Dataplex

Use a página Pesquisa do Knowledge Catalog no console do Google Cloud para pesquisar recursos do Looker (Google Cloud core).

Acesse Pesquisar

No painel Filtros, é possível filtrar os recursos do Looker (Google Cloud core) usando as seções Projeto, Sistemas e Aliases de tipo. Na seção Sistemas, é possível filtrar por Looker. Em Aliases de tipo, é possível filtrar os resultados da pesquisa para um tipo específico de recurso.

Se você tiver definido o filtro Sistemas como Looker, poderá filtrar um tipo específico de recurso do Looker selecionando uma ou mais das seguintes opções na seção Aliases de tipo:

• Agente
• Painel
• Elemento do dashboard
• Explorar
• Instância
• Look
• projeto do LookML
• Modelo
• Ver
• Outro

Observação: a filtragem por Dashboard retorna dashboards definidos pelo usuário e do LookML. A filtragem por Elemento do dashboard retorna elementos de dashboards definidos pelo usuário e dashboards do LookML.

Também é possível inserir consultas de pesquisa diretamente no campo de pesquisa usando palavras-chave ou sintaxe de linguagem natural. Por exemplo, para ver todos os recursos do Looker, digite system=Looker. Para ver todos os painéis do Looker, digite system=Looker AND type=dashboard.

Dica: o qualificador type e os aliases de tipo não são específicos de um sistema. Por exemplo, filtrar apenas por type=view (ou selecionar apenas Visualização em Aliases de tipo) retorna as visualizações do Looker e do BigQuery. Para filtrar especificamente as visualizações do Looker, filtre por sistema e tipo: selecione Looker em Sistemas e Visualização em Aliases de tipo ou insira system=Looker AND type=view no campo de pesquisa.

É possível usar os seguintes valores com o qualificador type:

• agent
• dashboard
• dashboard_element
• explore
• instance
• look
• lookml_project
• model
• view

Observação: a pesquisa usando dashboard retorna dashboards definidos pelo usuário e do LookML. A pesquisa usando dashboard_element retorna elementos de dashboards definidos pelo usuário e de dashboards do LookML.

Também é possível pesquisar entradas do BigQuery relacionadas ao Looker usando o método lookupEntryLinks. O link de entrada reference representa o link das entradas da tabela do BigQuery para as entradas da visualização do Looker.

Para saber mais sobre como pesquisar recursos, consulte Pesquisar recursos no Knowledge Catalog. Para saber mais sobre as expressões que você pode usar no campo de pesquisa, consulte Sintaxe de pesquisa para o Knowledge Catalog.

Desativar a integração do Knowledge Catalog com a instância do Looker (Google Cloud Core)

Para desativar a integração do Knowledge Catalog com sua instância do Looker (Google Cloud Core), siga estas etapas.

Console

1. Na guia Detalhes da página Instância, clique em Editar.
2. Abra a seção Integração do Knowledge Catalog.
3. Marque a caixa de seleção Desativar a integração do Knowledge Catalog.
   • Observação:desativar essa configuração desativa a ingestão de metadados e a linhagem de dados (se a API Data Lineage estiver ativada).
4. Clique em Salvar.

gcloud

Use o comando gcloud looker instances update com a flag --no-catalog-integration-enabled para ativar a integração:

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Substitua INSTANCE_NAME pelo nome da instância do Looker (Google Cloud Core).

Quando a integração é desativada depois de ter sido ativada, os metadados do Looker que já estão no Knowledge Catalog permanecem lá, mas não são atualizados com novos metadados.

VPC Service Controls

A integração entre o Looker (Google Cloud Core) e o Knowledge Catalog é compatível com o VPC Service Controls.

Se a instância do Looker (Google Cloud Core) ou os recursos do Knowledge Catalog estiverem em um perímetro de serviço do VPC Service Controls, verifique se a API Dataplex (dataplex.googleapis.com) está configurada como um serviço restrito no perímetro.

Preços

Não há custos para armazenar metadados técnicos do Looker (Google Cloud core) no Knowledge Catalog. Os preços padrão do Knowledge Catalog se aplicam a chamadas de API e ao aprimoramento de outros metadados comerciais. Para mais informações, consulte a página de preços do Knowledge Catalog.

A seguir

• Rastreie a linhagem de dados com o Knowledge Catalog.
• Aprenda mais sobre o gerenciamento de metadados no Knowledge Catalog.
• Saiba como pesquisar recursos no Knowledge Catalog.
• Saiba como gerenciar aspectos e enriquecer metadados.