Adicionar metadados a uma tabela do BigQuery

Adicionar metadados a uma tabela do BigQuery

Saiba como usar o gerenciamento de metadados no Dataplex Universal Catalog.

Este guia de início rápido mostra como adicionar metadados a uma tabela do BigQuery. Neste guia de início rápido, você fará o seguinte:

1. Crie um conjunto de dados e uma tabela do BigQuery com base em um conjunto de dados público.

2. Crie um modelo que defina um conjunto de campos de metadados relacionados.

   O modelo é chamado de tipo de aspecto. O conjunto de campos de metadados relacionados, que descrevem os metadados comerciais e técnicos dos seus recursos de dados, é chamado de aspecto.

3. Adicione metadados à tabela.

   No Dataplex Universal Catalog, cada recurso de dados é representado como uma entrada. Para anexar metadados a um recurso de dados, adicione aspectos à entrada.

Antes de começar

Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Funções exigidas

Para receber as permissões necessárias para adicionar metadados a uma tabela do BigQuery, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

• Administrador do catálogo do Dataplex (roles/dataplex.catalogAdmin)
• Proprietário de dados do BigQuery (roles/bigquery.dataOwner)
• Usuário de jobs do BigQuery (roles/bigquery.jobUser)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

Criar um conjunto de dados e uma tabela

1. No console do Google Cloud , acesse a página BigQuery Studio.

   Acessar o BigQuery Studio

2. Crie um conjunto de dados:

   1. No painel à esquerda, clique em Explorer:

      

      Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.

   2. No painel Explorador, encontre seu projeto. Clique em Acessar ações e depois em Criar conjunto de dados.

   3. No campo ID do conjunto de dados, digite catalog_demo_dataset.

      Mantenha os valores padrão dos outros campos.

   4. Clique em Criar conjunto de dados.

3. Copie uma tabela pública para seu conjunto de dados:

   1. No painel Explorador, pesquise a tabela chamada bigquery-public-data.new_york_citibike.citibike_stations. Talvez seja necessário definir o escopo da pesquisa para incluir o projeto bigquery-public-data.

      Essa tabela faz parte do conjunto de dados de passeios da Citi Bike de Nova York, um conjunto de dados público que contém informações sobre um programa de compartilhamento de bicicletas.

   2. Selecione a tabela citibike_stations.

   3. Clique em Copiar. Digite as seguintes informações:

      • Projeto: selecione seu projeto
      • Conjunto de dados: selecione catalog_demo_dataset.
      • Tabela: insira bike_stations.

   4. Clique em Copiar.

4. No painel Explorador , localize o conjunto de dados catalog_demo_dataset e confirme se a tabela bike_stations está listada nele.

Definir um modelo de metadados: criar um tipo de aspecto

1. No Google Cloud console, acesse a página Catálogo do Dataplex Universal Catalog.

   Acessar o catálogo

2. Clique na guia Tipos de aspectos e modelos de tag e, em seguida, na guia Personalizado.

3. Clique em Criar tipo de aspecto.

4. No campo ID do tipo de aspecto, insira data-governance-demo.

5. Em Local, selecione global.

6. Na seção Modelo, clique em Adicionar campo. Use as informações da tabela a seguir para adicionar vários campos ao tipo de aspecto:

   Nome	Tipo	Obrigatório	Descrição
   source-of-data-asset	Texto	Não	-
   retention-date	Data e hora	Não	-
   data-classification	Enum Adicione os valores Public, Sensitive, e Confidential.	Sim	-
   has-pii	Booleano	Sim	Whether the data asset has personally identifiable information

7. Clique em Salvar.

Adicionar metadados à tabela: adicione um aspecto à entrada

1. No Google Cloud console, acesse a página Pesquisa do Dataplex Universal Catalog.

   Acesse Pesquisar

2. Na caixa de pesquisa, digite catalog_demo_dataset.

3. Selecione a tabela bike_stations.

4. Adicione um aspecto personalizado à entrada:

   1. Na seção Tags e aspectos, ao lado de Tags e aspectos opcionais, clique em Adicionar.

   2. Selecione o tipo de aspecto data-governance-demo.

      Isso cria um aspecto que usa seu tipo de aspecto como modelo.

   3. Digite os seguintes valores:

      • Fonte do recurso de dados: Copied from NYC Citi Bike Trips public dataset
      • Data de retenção: insira uma data.
      • Classificação de dados: Public
      • Tem PII: False

   4. Clique em Salvar.

5. Para conferir os valores de metadados adicionados, na seção Tags e aspectos, selecione o aspecto data-governance-demo.

Liberar espaço

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

Excluir o projeto

A maneira mais fácil de interromper o faturamento é excluir o projeto que você criou para este guia de início rápido.

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. No Google Cloud console, acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
3. Na caixa de diálogo, digite o ID do projeto e clique em Desligar para excluir o projeto.

Excluir recursos individuais

Se você quiser reutilizar o projeto, exclua os recursos criados.

1. Exclua o conjunto de dados:

   1. No console do Google Cloud , acesse a página BigQuery Studio.

      Acessar o BigQuery Studio

   2. No painel à esquerda, clique em Explorer:

      

   3. No painel Explorador, pesquise o conjunto de dados catalog_demo_dataset.

   4. Clique em Consultar ações e em Excluir. Confirme quando solicitado.

2. Exclua o tipo de aspecto:

   1. No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.

      Acessar o catálogo

   2. Clique na guia Tipos de aspectos e modelos de tag e, em seguida, na guia Personalizado.

   3. Clique no tipo de aspecto data-governance-demo.

   4. Clique em Excluir. Confirme quando solicitado.

A seguir

• Saiba mais sobre o gerenciamento de metadados.
• Saiba como pesquisar recursos.
• Saiba como trabalhar com aspectos e tipos de aspectos.