Gerenciar metadados de repositórios do Dataform com o catálogo de conhecimento

Este documento descreve como usar o Knowledge Catalog para visualizar metadados de repositórios do Dataform e anotar aspectos neles.

O Knowledge Catalog permite armazenar e gerenciar seus metadados. Os repositórios do Dataform estão disponíveis no Knowledge Catalog por padrão, sem configuração adicional. O Knowledge Catalog recupera automaticamente os seguintes metadados dos repositórios do Dataform:

  • Nome do recurso de dados
  • Recurso de dados principal
  • Local do recurso de dados
  • Tipo de recurso de dados
  • Projeto Google Cloud correspondente
  • Origem do repositório de terceiros
  • Conta de serviço

Antes de começar

  1. No console do Google Cloud , na página do seletor de projetos, selecione ou crie um projeto do Google Cloud .

    Funções necessárias para selecionar ou criar um projeto

    • Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
    • Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.

    Acessar o seletor de projetos

  2. Ative a API Dataplex, se ela ainda não estiver ativada.

    Funções necessárias para ativar APIs

    Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão com o papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão com o papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

    Ativar a API

  3. Verifique se você tem as permissões necessárias do Identity and Access Management (IAM).

Funções exigidas

Para gerenciar repositórios do Dataform no Knowledge Catalog, você precisa dos papéis predefinidos do Dataform que dão acesso aos recursos do Dataform e dos papéis do Knowledge Catalog necessários.

Gerenciar metadados no Knowledge Catalog

O Knowledge Catalog registra os repositórios do Dataform como entradas com os seguintes valores de entrada:

Grupo de entradas do sistema
O grupo de entrada do sistema para repositórios do Dataform é @dataform. Para conferir os detalhes das entradas de repositório no Knowledge Catalog, acesse o grupo de entradas do sistema dataform. Para instruções sobre como ver uma lista de todas as entradas em um grupo de entradas, consulte Ver detalhes de um grupo de entradas na documentação do Knowledge Catalog.
Tipo de entrada do sistema
O tipo de entrada do sistema para repositórios do Dataform é dataform-repository. Para conferir detalhes dos repositórios do Dataform, é necessário acessar o tipo de entrada do sistema dataform-repository. Para instruções sobre como ver detalhes de um tipo de entrada selecionado, consulte Ver detalhes de um tipo de entrada na documentação do Knowledge Catalog. Para instruções sobre como ver os detalhes de uma entrada selecionada, consulte Ver detalhes de uma entrada na documentação do Knowledge Catalog.

Pesquisar recursos

Para instruções sobre como pesquisar recursos de dados no Knowledge Catalog, consulte Pesquisar recursos de dados no Knowledge Catalog na documentação do Knowledge Catalog.

Anotar repositórios

Para fornecer mais contexto aos repositórios do Dataform no Knowledge Catalog, é possível anotar entradas do Dataform com aspectos.

O tipo de aspecto do sistema para repositórios do Dataform é dataform-repository.

Para instruções sobre como anotar entradas com aspectos, consulte Gerenciar aspectos e enriquecer metadados na documentação do Knowledge Catalog.

Limitações

O gerenciamento de repositórios do Dataform no Knowledge Catalog está disponível com as seguintes limitações:

  • Não é possível ver nem gerenciar recursos no nível do arquivo do Dataform no Knowledge Catalog, como tabelas ou visualizações.

Locais

Use o Knowledge Catalog para gerenciar repositórios do Dataform em todos os locais do Dataform.

Cotas

O gerenciamento de repositórios do Dataform no Knowledge Catalog está sujeito às cotas e limites do Knowledge Catalog.

Preços

O gerenciamento de repositórios do Dataform no Knowledge Catalog está sujeito aos preços do Knowledge Catalog.

A seguir