Criar uma malha de dados

É possível usar o Knowledge Catalog (antigo Dataplex Universal Catalog) para criar uma arquitetura de malha de dados. Neste guia de início rápido, você vai aprender a usar os recursos do Knowledge Catalog, como um lake, zonas e recursos, para criar uma malha de dados.

Uma malha de dados é uma abordagem organizacional e técnica que descentraliza a propriedade dos dados entre os proprietários de dados do domínio. Esses proprietários fornecem os dados como um produto de maneira padrão e facilitam a comunicação entre diferentes partes da organização para distribuir conjuntos de dados em diferentes locais. Saiba mais sobre as arquiteturas de malha de dados.

Objetivos

Neste guia, você vai usar as entidades do Knowledge Catalog para criar uma arquitetura de malha de dados:

• Crie um lake do Knowledge Catalog que funcione como o domínio da sua malha de dados.
• Adicione zonas ao lake que representam equipes individuais em cada domínio e forneça contratos de dados gerenciados.
• Anexe recursos que mapeiam dados armazenados no Cloud Storage.

Custos

Neste documento, você vai usar os seguintes componentes faturáveis do Google Cloud:

• Knowledge Catalog
• Cloud Storage

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.

Novos usuários do Google Cloud podem estar qualificados para um teste sem custo financeiro.

Ao concluir as tarefas descritas neste documento, é possível evitar o faturamento contínuo excluindo os recursos criados. Para mais informações, consulte Limpeza.

Antes de começar

1. No console do Google Cloud , na página do seletor de projetos, selecione ou crie um projeto do Google Cloud .

   Funções necessárias para selecionar ou criar um projeto

   • Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
   • Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.
   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

2. Verifique se o faturamento está ativado para o projeto do Google Cloud .

3. Ativar a API Dataplex.

   Funções necessárias para ativar APIs

   Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão com o papel de Proprietário (roles/owner). Caso contrário, é possível receber essa permissão com o papel de Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

   Ativar a API

4. Crie um serviço Metastore do Dataproc.

   Observação: é possível anexar cada metastore do Dataproc a apenas um lake do Knowledge Catalog. Ative o gRPC para seu metastore.

Criar um bucket do Cloud Storage

Você precisa de um bucket do Cloud Storage para armazenar os recursos de dados da sua malha de dados.

Para criar um bucket do Cloud Storage, siga as instruções em criar um bucket do Cloud Storage. Ao fazer isso, observe o seguinte:

• Nomeie o bucket.
• Em Tipo de local, escolha Região e selecione us-central1 (Iowa) no menu.

Criar um domínio

1. No console Google Cloud , acesse a página Lakes do Knowledge Catalog.

   Acessar os lakes

2. Clique em Criar para criar um novo lake, que funciona como sua malha de dados.

3. No campo Nome de exibição, insira My data mesh.

   Observação: o Knowledge Catalog gera automaticamente um ID de lake.

4. Em Região, selecione us-central1.

   Observação: a região selecionada para sua malha de dados determina a localização dos dados (não incluindo ativos anexados) gerenciados pelo Knowledge Catalog. A mesma região é usada quando o Knowledge Catalog cria recursos em outros serviços, mas não para dados contidos em recursos.

5. Selecione o serviço do metastore do Dataproc que você criou e configurou anteriormente como o metastore associado.

6. Clique em Criar.

Criar zonas no lake

Depois de criar um domínio com um lake do Knowledge Catalog, é possível hospedar contratos de dados gerenciados e equipes individuais no domínio usando zonas. Há dois tipos de zonas:

• As zonas brutas são usadas normalmente para armazenar dados em qualquer formato de fontes externas no Cloud Storage. As zonas brutas são úteis para dados que exigem mais processamento antes de ficarem prontos para consumo.

• As zonas selecionadas são usadas para dados estruturados no Cloud Storage que precisam estar em conformidade com determinados formatos de arquivo e são organizados em um layout de diretório compatível com o Hive. Eles são mais úteis para dados prontos para consumo e análise.

Cada domínio (por exemplo, sales, customers, products) precisa ter pelo menos uma zona de originais e uma zona de curadoria.

Outras zonas são usadas para gerenciar contratos de dados entre equipes ou para fornecer um detalhamento mais granular para equipes em um determinado domínio. Por exemplo, gerenciamento de inventário no domínio do produto. Os proprietários de dados podem gerenciar e acessar os dados no próprio domínio.

1. No console Google Cloud , acesse a visualização Gerenciar do Knowledge Catalog.

2. Clique no nome do lake (My data mesh) a que você quer adicionar uma zona.

3. Na guia Zonas, clique em Adicionar zona.

4. No campo Nome de exibição, insira My sub domain. O Knowledge Catalog gera automaticamente um ID para sua zona.

   Observação: o nome da zona se torna o nome de um conjunto de dados do BigQuery. Portanto, todas as zonas hospedadas no mesmo projeto Google Cloud precisam ter um ID exclusivo, mesmo que estejam em lagos diferentes.

5. Em Tipo, selecione Zona de originais.

6. Clique em Criar.

Anexar recursos às suas zonas

Anexe recursos de dados à sua zona. Um recurso de dados, os recursos de armazenamento que contêm seus dados, pode ser um bucket do Cloud Storage ou um conjunto de dados do BigQuery. Esta é a etapa final da criação da arquitetura de malha de dados.

1. Na visualização Gerenciar do Knowledge Catalog, clique no lake que você criou (My data mesh).

2. Na guia Zonas, clique na zona (My sub domain) em que você quer adicionar o recurso.

3. Na guia Recursos, clique em Adicionar recursos.

4. Clique em Adicionar um recurso.

5. Em Tipo, selecione Bucket do Cloud Storage.

6. No campo Nome de exibição , insira Data mesh asset. O Knowledge Catalog gera automaticamente um código do recurso para você.

7. No campo Bucket, clique em Procurar.

   1. Selecione o bucket na lista.
   2. Clique em Selecionar.

8. Clique em Concluído e em Continuar.

9. Clique em Continuar para aceitar as Configurações avançadas padrão.

10. Clique em Enviar.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Excluir o projeto

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. No console Google Cloud , acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Excluir sua arquitetura de malha de dados

1. No console Google Cloud , acesse a visualização Gerenciar do Knowledge Catalog.

2. No lake que você quer excluir, clique em Ver mais e em Excluir.

3. Para confirmar a ação, digite delete e clique em Excluir lake.

A seguir

• Saiba mais sobre tarefas de tratamento de dados.
• Saiba mais sobre como descobrir dados
• Saiba como usar tarefas de qualidade de dados