Gerenciar recursos de dados usando o Knowledge Catalog

O Knowledge Catalog cataloga automaticamente os metadados sobre recursos do Bigtable. Esse recurso ajuda você a pesquisar e gerenciar seus recursos de dados do Bigtable.

Os metadados são sincronizados automaticamente do Bigtable para o Knowledge Catalog para os seguintes recursos do Bigtable:

  • Instâncias
  • Clusters
  • Tabelas, incluindo detalhes do grupo de colunas

O Knowledge Catalog é um serviço de gerenciamento de metadados totalmente gerenciado. Ele oferece mecanismos unificados de visualização e inclusão de tags para metadados técnicos e comerciais. Para saber mais sobre o Knowledge Catalog e por que usá-lo, consulte Visão geral do Knowledge Catalog.

Benefícios de usar o Knowledge Catalog com o Bigtable

As informações do Knowledge Catalog sobre seus dados facilitam a análise, a reutilização dos dados, o desenvolvimento de aplicativos e o gerenciamento de dados.

É possível pesquisar entradas no Knowledge Catalog por detalhes, como nome do recurso. Por exemplo, você pode pesquisar um nome de instância para encontrar a entrada de uma instância ou um grupo de colunas para encontrar a entrada de uma tabela. Você também pode usar uma pesquisa de atributo, aplicando filtros para restringir a pesquisa. Para mais informações, consulte Pesquisar recursos no Knowledge Catalog.

A inclusão de tags em recursos de dados pode ajudar você a entender e catalogar os dados disponíveis nas tabelas do Bigtable para torná-los mais detectáveis e pesquisáveis por usuários do Knowledge Catalog e como parte do seu conjunto de dados maior. É possível usar aspectos para adicionar seus próprios metadados aos metadados catalogados e, em seguida, usar esses aspectos para realizar pesquisas.

Começar a usar o Catálogo de Conhecimento

Para começar a usar o Knowledge Catalog para gerenciar seus recursos de dados do Bigtable, conclua as seguintes tarefas:

  1. Ative a API Dataplex.

  2. Conceda papéis do IAM aos principais que exigem acesso às entradas do Bigtable no Knowledge Catalog.

  3. Saiba como pesquisar recursos de dados.

  4. Consulte a sintaxe de pesquisa do Knowledge Catalog para entender como encontrar os metadados.

  5. Leia os conceitos sobre a inclusão de tags nas entradas do Knowledge Catalog. Para mais informações, consulte Sobre o gerenciamento de metadados no Knowledge Catalog.

Maneiras de pesquisar metadados do Bigtable

É possível pesquisar metadados sincronizados do Bigtable usando o Knowledge Catalog.

Além dos predicados qualificados, é possível pesquisar recursos do Bigtable com os seguintes campos de metadados:

  • Instância

    • Nome da instância do Bigtable
    • ID da instância do Bigtable
    • Local do cluster
    • ID do cluster

  • Tabela

    • ID da tabela
    • Nome do grupo de colunas
    • Nome da instância do Bigtable
    • ID da instância do Bigtable

Funções exigidas

A visualização, inclusão de tags e pesquisa de recursos do Bigtable no Knowledge Catalog têm diferentes requisitos de permissão. Em geral, conceda aos principais da organização o papel mínimo necessário para realizar uma tarefa.

Permissão para visualizar aspectos públicos e privados

Para ter as permissões necessárias para visualizar aspectos públicos e privados nos recursos do Bigtable, peça ao administrador para conceder a você os seguintes papéis do IAM:

Esses papéis predefinidos têm as permissões necessárias para visualizar aspectos públicos e privados. As permissões exatas necessárias são as seguintes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

Permissão para pesquisar recursos do Bigtable

Para receber as permissões necessárias para pesquisar recursos do Bigtable no Knowledge Catalog, peça ao administrador para conceder a você os seguintes papéis do IAM:

Esses papéis predefinidos contêm as permissões necessárias para pesquisar os recursos do Bigtable. As permissões exatas necessárias são as seguintes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Permissão para anexar aspectos aos recursos do Bigtable

Para receber as permissões necessárias para anexar aspectos aos recursos do Bigtable no Knowledge Catalog, peça ao administrador para conceder a você os seguintes papéis do IAM:

Esses papéis predefinidos têm as permissões necessárias para adicionar aspectos públicos e privados. As permissões exatas necessárias são as seguintes:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

Opcional: criar uma função personalizada

É possível criar uma função personalizada para conceder a usuários que precisem de acesso completo a todos os metadados do Bigtable no Knowledge Catalog em todo o projeto ou organização. Em seguida, crie qualquer conta de serviço ou usuário que precise acessar um principal da função personalizada. Para saber mais sobre papéis personalizados, consulte Papéis e permissões.

Escolha um nome significativo para o papel, como Editor do Dataplex do Bigtable, e atribua apenas os principais que precisam de acesso a ele. Para instruções de configuração, consulte Criar e gerenciar papéis personalizados.

Conceda as seguintes permissões ao papel personalizado:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

Para mais informações, consulte Permissões do IAM do Knowledge Catalog. Para ver descrições de permissões do Bigtable, consulte Permissões.

Limitações

A seção a seguir lista restrições que você precisa considerar antes de usar o Knowledge Catalog para gerenciar os metadados do Bigtable.

Restrições de local

Se a organização tiver configurado restrições de local, as entradas de metadados dos recursos do Bigtable poderão não ser sincronizadas com o Knowledge Catalog. Todas as entradas criadas antes da aplicação das restrições de local são retidas pelo Knowledge Catalog.

Para permitir que o Knowledge Catalog carregue recursos, recomendamos adicionar a multirregião global à política de local.

Exceção de nome do grupo de colunas

A API Dataplex rejeita solicitações em que o nome do grupo de colunas inclui um ponto (.). Por exemplo, quando o nome do grupo de colunas é personal.info.

A seguir