Adicione metadados a uma tabela do BigQuery

Adicione metadados a uma tabela do BigQuery

Saiba como começar a usar a gestão de metadados no Dataplex Universal Catalog.

Este início rápido mostra como adicionar metadados a uma tabela do BigQuery. Neste início rápido, faz o seguinte:

1. Crie um conjunto de dados e uma tabela do BigQuery com base num conjunto de dados público.

2. Crie um modelo que defina um conjunto de campos de metadados relacionados.

   O modelo denomina-se tipo de aspeto. O conjunto de campos de metadados relacionados, que descrevem os metadados empresariais e técnicos dos seus recursos de dados, é denominado aspeto.

3. Adicione metadados à tabela.

   No Dataplex Universal Catalog, cada recurso de dados é representado como uma entrada. Para anexar metadados a um recurso de dados, adicione aspetos à entrada.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Enable the Dataplex and BigQuery APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
Enable the APIs
Make sure that you have the following role or roles on the project: Dataplex Catalog Admin, BigQuery Data Owner, BigQuery Job User
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Aceder ao IAM
2. Selecione o projeto.
3. Clique em Conceder acesso.

4. No campo Novos responsáveis, introduza o identificador do utilizador. Normalmente, este é o endereço de email de uma Conta Google.

5. Na lista Selecionar uma função, selecione uma função.
6. Para conceder funções adicionais, clique em Adicionar outra função e adicione cada função adicional.
7. Clique em Guardar.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Make sure that you have the following role or roles on the project: Dataplex Catalog Admin, BigQuery Data Owner, BigQuery Job User

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Aceder ao IAM
2. Selecione o projeto.
3. Clique em Conceder acesso.

4. No campo Novos responsáveis, introduza o identificador do utilizador. Normalmente, este é o endereço de email de uma Conta Google.

5. Na lista Selecionar uma função, selecione uma função.
6. Para conceder funções adicionais, clique em Adicionar outra função e adicione cada função adicional.
7. Clique em Guardar.

Crie um conjunto de dados e uma tabela

1. Na Google Cloud consola, aceda à página BigQuery Studio.

   Aceda ao BigQuery Studio

2. Crie um conjunto de dados:

   1. No painel Explorador, localize o seu projeto. Clique em Ver ações, e, de seguida, clique em Criar conjunto de dados.

   2. No campo ID do conjunto de dados, introduza catalog_demo_dataset.

      Mantenha os valores predefinidos para os outros campos.

   3. Clique em Criar conjunto de dados.

3. Copie uma tabela pública para o seu conjunto de dados:

   1. No painel Explorador, pesquise a tabela com o nome bigquery-public-data.new_york_citibike.citibike_stations. Pode ter de definir o âmbito da pesquisa para incluir o bigquery-public-dataprojeto.

      Esta tabela faz parte do conjunto de dados NYC Citi Bike Trips, um conjunto de dados público que contém dados sobre um programa de partilha de bicicletas.

   2. Selecione a tabela citibike_stations.

   3. Clique em Copiar. Introduza as seguintes informações:

      • Projeto: selecione o seu projeto.
      • Conjunto de dados: selecione catalog_demo_dataset.
      • Tabela: introduza bike_stations.

   4. Clique em Copiar.

4. No painel Explorador, localize o conjunto de dados catalog_demo_dataset e confirme que a tabela bike_stations está listada no conjunto de dados.

Defina um modelo de metadados: crie um tipo de aspeto

1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

   Aceder ao catálogo

2. Clique no separador Tipos de aspetos e modelos de etiquetas e, de seguida, no separador Personalizado.

3. Clique em Criar tipo de aspeto.

4. No campo ID do tipo de aspeto, introduza data-governance-demo.

5. Para Localização, selecione global.

6. Na secção Modelo, clique em Adicionar campo. Use as informações na tabela seguinte para adicionar vários campos ao tipo de aspeto:

   Nome	Tipo	É obrigatório	Descrição
   source-of-data-asset	Texto	Não	-
   retention-date	Data e hora	Não	-
   data-classification	Enum Adicione os valores Public, Sensitive e Confidential.	Sim	-
   has-pii	Booleano	Sim	Whether the data asset has personally identifiable information

7. Clique em Guardar.

Adicione metadados à tabela: adicione um aspeto à entrada

1. Na Google Cloud consola, aceda à página Pesquisa do Dataplex Universal Catalog.

   Aceda à pesquisa

2. Na caixa de pesquisa, introduza catalog_demo_dataset.

3. Selecione a tabela bike_stations.

4. Adicione um aspeto personalizado à entrada:

   1. Na secção Etiquetas e aspetos, junto a Etiquetas e aspetos opcionais, clique em Adicionar.

   2. Selecione o data-governance-demotipo de formato.

      Esta ação cria um aspeto que usa o seu tipo de aspeto como modelo.

   3. Introduza os seguintes valores:

      • Origem do recurso de dados: Copied from NYC Citi Bike Trips public dataset
      • Data de retenção: introduza uma data.
      • Classificação de dados: Public
      • Tem PII: False

   4. Clique em Guardar.

5. Para ver os valores de metadados que adicionou, na secção Etiquetas e aspetos, selecione o aspeto data-governance-demo.

Limpar

Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

Elimine o projeto

A forma mais fácil de parar a faturação é eliminar o projeto que criou para este início rápido.

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Elimine recursos individuais

Se quiser reutilizar o seu projeto, elimine os recursos que criou.

1. Elimine o conjunto de dados:

   1. Na Google Cloud consola, aceda à página BigQuery Studio.

      Aceda ao BigQuery Studio

   2. No painel Explorador, pesquise o conjunto de dados catalog_demo_dataset.

   3. Clique em Ver ações e, de seguida, em Eliminar. Confirme quando lhe for pedido.

2. Elimine o tipo de aspeto:

   1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

      Aceder ao catálogo

   2. Clique no separador Tipos de aspetos e modelos de etiquetas e, de seguida, clique no separador Personalizado.

   3. Clique no tipo de aspeto data-governance-demo.

   4. Clique em Eliminar. Confirme quando lhe for pedido.

O que se segue?

• Saiba mais sobre a gestão de metadados.
• Saiba como pesquisar recursos.
• Saiba como trabalhar com aspetos e tipos de aspetos.