Gerenciar metadados de repositórios do Dataform com o catálogo de conhecimento

Este documento descreve como usar o Knowledge Catalog para visualizar metadados de repositórios do Dataform e fazer anotações neles com aspectos.

O Knowledge Catalog permite armazenar e gerenciar seus metadados. Os repositórios do Dataform estão disponíveis no Knowledge Catalog por padrão, sem nenhuma configuração adicional. O Knowledge Catalog recupera automaticamente os seguintes metadados dos repositórios do Dataform:

  • Nome do recurso de dados
  • Pai do recurso de dados
  • Local do recurso de dados
  • Tipo de recurso de dados
  • Projeto correspondente Google Cloud
  • Origem do repositório de terceiros
  • Conta de serviço

Antes de começar

  1. No Google Cloud console do, na página do seletor de projetos, escolha ou crie um Google Cloud projeto do.

    Funções necessárias para selecionar ou criar um projeto

    • Selecionar um projeto: a seleção de um projeto não exige um papel específico do IAM. Você pode selecionar qualquer projeto em que tenha recebido um papel.
    • Criar um projeto: para criar um projeto, é necessário ter o papel de criador de projetos (roles/resourcemanager.projectCreator), que contém a resourcemanager.projects.create permissão. Saiba como conceder papéis.

    Acessar o seletor de projetos

  2. Ativar a API Dataplex

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

    Ativar a API

  3. Verifique se você tem as permissões necessárias do Identity and Access Management (IAM).

Funções exigidas

Para gerenciar repositórios do Dataform no Knowledge Catalog, você precisa dos papéis predefinidos do Dataform que dão acesso aos recursos do Dataform e dos papéis necessários do Knowledge Catalog.

Gerenciar metadados no Knowledge Catalog

O Knowledge Catalog registra repositórios do Dataform como entradas com os seguintes valores:

Grupo de entradas do sistema
O grupo de entradas do sistema para repositórios do Dataform é @dataform. Para visualizar detalhes das entradas do repositório no Knowledge Catalog, é necessário visualizar o grupo de entradas do sistema dataform. Para instruções sobre como visualizar uma lista de todas as entradas em um grupo de entradas, consulte Visualizar detalhes de um grupo de entradas na documentação do Knowledge Catalog.
Tipo de entrada do sistema
O tipo de entrada do sistema para repositórios do Dataform é dataform-repository. Para visualizar detalhes dos repositórios do Dataform, é necessário visualizar o tipo de entrada do sistema dataform-repository. Para instruções sobre como visualizar detalhes de um tipo de entrada selecionado, consulte Visualizar detalhes de um tipo de entrada na documentação do Knowledge Catalog. Para instruções sobre como visualizar detalhes de uma entrada selecionada, consulte Visualizar detalhes de uma entrada na documentação do Knowledge Catalog.

Pesquisar recursos

Para instruções sobre como pesquisar recursos de dados no Knowledge Catalog, consulte Pesquisar recursos de dados no Knowledge Catalog na documentação do Knowledge Catalog.

Anotar repositórios

Para fornecer mais contexto aos repositórios do Dataform em Knowledge Catalog, é possível anotar entradas do Dataform com aspectos.

O tipo de aspecto do sistema para repositórios do Dataform é dataform-repository.

Para instruções sobre como anotar entradas com aspectos, consulte Gerenciar aspectos e enriquecer metadados na documentação do Knowledge Catalog.

Limitações

O gerenciamento de repositórios do Dataform no Knowledge Catalog está disponível com as seguintes limitações:

  • Não é possível visualizar ou gerenciar recursos do Dataform no nível do arquivo no Knowledge Catalog, por exemplo, tabelas ou visualizações.

Locais

É possível usar o Knowledge Catalog para gerenciar repositórios do Dataform em todos os locais do Dataform.

Cotas

O gerenciamento de repositórios do Dataform no Knowledge Catalog está sujeito a cotas e limites do Knowledge Catalog.

Preços

O gerenciamento de repositórios do Dataform no Knowledge Catalog está sujeito a preços do Knowledge Catalog.

A seguir