Adicionar metadados a uma tabela do BigQuery

Adicionar metadados a uma tabela do BigQuery

Saiba como usar o gerenciamento de metadados no Dataplex Universal Catalog.

Este guia de início rápido mostra como adicionar metadados a uma tabela do BigQuery. Neste guia de início rápido, você vai fazer o seguinte:

1. Crie um conjunto de dados e uma tabela do BigQuery com base em um conjunto de dados público.

2. Crie um modelo que defina um conjunto de campos de metadados relacionados.

   O modelo é chamado de tipo de aspecto. O conjunto de campos de metadados relacionados, que descrevem os metadados comerciais e técnicos dos seus recursos de dados, é chamado de aspecto.

3. Adicione metadados à tabela.

   No Dataplex Universal Catalog, cada recurso de dados é representado como uma entrada. Para anexar metadados a um recurso de dados, adicione aspectos à entrada.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Enable the Dataplex and BigQuery APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
Enable the APIs
Make sure that you have the following role or roles on the project: Dataplex Catalog Admin, BigQuery Data Owner, BigQuery Job User
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Acessar o IAM
2. Selecione o projeto.
3. Clique em Conceder acesso.

4. No campo Novos principais, digite seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.

5. Na lista Selecionar papel, escolha um.
6. Para conceder outros papéis, adicione-os clicando em Adicionar outro papel.
7. Clique em Salvar.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Make sure that you have the following role or roles on the project: Dataplex Catalog Admin, BigQuery Data Owner, BigQuery Job User

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Acessar o IAM
2. Selecione o projeto.
3. Clique em Conceder acesso.

4. No campo Novos principais, digite seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.

5. Na lista Selecionar papel, escolha um.
6. Para conceder outros papéis, adicione-os clicando em Adicionar outro papel.
7. Clique em Salvar.

Criar um conjunto de dados e uma tabela

1. No console do Google Cloud , acesse a página BigQuery Studio.

   Acessar o BigQuery Studio

2. Crie um conjunto de dados:

   1. No painel Explorador, encontre seu projeto. Clique em Acessar ações e depois em Criar conjunto de dados.

   2. No campo ID do conjunto de dados, digite catalog_demo_dataset.

      Mantenha os valores padrão dos outros campos.

   3. Clique em Criar conjunto de dados.

3. Copie uma tabela pública para seu conjunto de dados:

   1. No painel Explorador, pesquise a tabela chamada bigquery-public-data.new_york_citibike.citibike_stations. Talvez seja necessário definir o escopo da pesquisa para incluir o projeto bigquery-public-data.

      Essa tabela faz parte do conjunto de dados de passeios da Citi Bike de Nova York, um conjunto de dados público que contém informações sobre um programa de compartilhamento de bicicletas.

   2. Selecione a tabela citibike_stations.

   3. Clique em Copiar. Digite as seguintes informações:

      • Projeto: selecione seu projeto
      • Conjunto de dados: selecione catalog_demo_dataset.
      • Tabela: insira bike_stations.

   4. Clique em Copiar.

4. No painel Explorador, localize o conjunto de dados catalog_demo_dataset e confirme se a tabela bike_stations está listada nele.

Definir um modelo de metadados: criar um tipo de aspecto

1. No console do Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.

   Acessar o catálogo

2. Clique na guia Tipos de aspectos e modelos de tag e, em seguida, na guia Personalizado.

3. Clique em Criar tipo de aspecto.

4. No campo ID do tipo de aspecto, insira data-governance-demo.

5. Em Local, selecione global.

6. Na seção Modelo, clique em Adicionar campo. Use as informações na tabela a seguir para adicionar vários campos ao tipo de aspecto:

   Nome	Tipo	É obrigatório	Descrição
   source-of-data-asset	Texto	Não	-
   retention-date	Data e hora	Não	-
   data-classification	Enum Adicione os valores Public, Sensitive e Confidential.	Sim	-
   has-pii	Booleano	Sim	Whether the data asset has personally identifiable information

7. Clique em Salvar.

Adicionar metadados à tabela: adicione um aspecto à entrada

1. No console Google Cloud , acesse a página Pesquisa do Dataplex Universal Catalog.

   Acesse Pesquisar

2. Na caixa de pesquisa, digite catalog_demo_dataset.

3. Selecione a tabela bike_stations.

4. Adicione um aspecto personalizado à entrada:

   1. Na seção Tags e aspectos, ao lado de Tags e aspectos opcionais, clique em Adicionar.

   2. Selecione o tipo de aspecto data-governance-demo.

      Isso cria um aspecto que usa seu tipo de aspecto como modelo.

   3. Digite os seguintes valores:

      • Fonte do recurso de dados: Copied from NYC Citi Bike Trips public dataset
      • Data de retenção: insira uma data.
      • Classificação de dados: Public
      • Tem PII: False

   4. Clique em Salvar.

5. Para conferir os valores de metadados adicionados, na seção Tags e aspectos, selecione o aspecto data-governance-demo.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

Excluir o projeto

A maneira mais fácil de evitar cobranças é excluir o projeto criado para este guia de início rápido.

Cuidado: a exclusão de um projeto pode gerar os efeitos a seguir.

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Excluir recursos individuais

Se você quiser reutilizar o projeto, exclua os recursos criados.

1. Exclua o conjunto de dados:

   1. No console do Google Cloud , acesse a página BigQuery Studio.

      Acessar o BigQuery Studio

   2. No painel Explorador, pesquise o conjunto de dados catalog_demo_dataset.

   3. Clique em Consultar ações e em Excluir. Confirme quando solicitado.

2. Exclua o tipo de aspecto:

   1. No console Google Cloud , acesse a página Catálogo do Dataplex Universal Catalog.

      Acessar o catálogo

   2. Clique na guia Tipos de aspectos e modelos de tag e, em seguida, na guia Personalizado.

   3. Clique no tipo de aspecto data-governance-demo.

   4. Clique em Excluir. Confirme quando solicitado.

A seguir

• Saiba mais sobre o gerenciamento de metadados.
• Saiba como pesquisar recursos.
• Saiba como trabalhar com aspectos e tipos de aspectos.