O Knowledge Catalog (antigo Dataplex Universal Catalog) permite ingerir e manter automaticamente metadados atualizados de fontes de dados Google Cloud compatíveis. Para usar o Knowledge Catalog no seu projeto do Google Cloud , é necessário ativar as APIs Dataplex, API Dataproc e Dataproc Metastore.
Antes de começar
Crie um projeto do Google Cloud e ative o faturamento. Como a ativação de APIs pode gerar faturamento, sua organização pode restringir quem pode ativar serviços.
Para ativar e desativar a API Dataplex, é necessário ter o papel de Proprietário (
roles/owner), Editor (roles/editor) ou Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Para mais informações, consulte Gerenciar o acesso com o IAM e Ativar e desativar serviços.
Ativar o Knowledge Catalog
É possível usar um projeto atual com o Knowledge Catalog ou criar um novo. Recomendamos que você crie um novo projeto. Se você estiver usando um novo projeto do Google Cloud ou um projeto em que a API BigQuery está ativada, a API Dataplex será ativada por padrão. No entanto, ainda é necessário ativar a API Dataproc e Dataproc Metastore.
Para manter os recursos criados pelo lake no seu projeto separados uns dos outros, crie um projeto por instância de lake.
Para criar um projeto e ativar o Knowledge Catalog, siga estas etapas:
- No console do Google Cloud , selecione ou crie um projeto.
- Verifique se o faturamento foi ativado para o projeto.
-
Ative as APIs Dataplex, Serviço Gerenciado para Apache Spark e Dataproc Metastore, se ainda não estiverem ativadas.
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão
serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.
Desativar o Knowledge Catalog
Se você usa o Knowledge Catalog em um projeto que também usa o BigQuery, esteja ciente dos efeitos no comportamento do BigQuery ao desativar o Knowledge Catalog.
Para evitar cobranças extras, siga estas etapas antes de desativar o Knowledge Catalog:
No console do Google Cloud , exclua cada instância de lake no projeto. Para excluir um lake, primeiro é preciso excluir os recursos e as zonas individuais. Para mais informações, consulte
projects.locations.lakes.delete.No console do Google Cloud , exclua todos os grupos de entrada personalizados do projeto. A exclusão de um grupo de entradas remove todas as entradas que pertencem a ele. Para mais informações, consulte Excluir um grupo de entradas.
Selecione o projeto em que você quer desativar a API Dataplex.
Acesse a página APIs e serviços ativados.
Clique em API Cloud Dataplex.
Clique em Desativar API. Confirme quando solicitado.
Se você também ativou a API Data Lineage, repita as etapas para desativá-la. Desativar a API Dataplex não desativa a API Data Lineage nem interrompe as cobranças de processamento Premium. Para mais informações, consulte Desativar a linhagem de dados.
A seguir
- Saiba como pesquisar recursos.
- Saiba como medir a qualidade de dados.
- Saiba mais sobre os metadados no Knowledge Catalog.
- Siga um guia de início rápido: Rastrear a linhagem de dados de uma tabela do BigQuery.
- Confira os casos de uso do Knowledge Catalog.