Faça a gestão de recursos através do catálogo de dados

Esta página explica como pode pesquisar e gerir os seus recursos do Spanner através do Data Catalog.

Aviso: o Data Catalog está obsoleto em favor do Catálogo universal do Dataplex. O catálogo universal do Dataplex também está integrado com o Spanner, oferecendo capacidades semelhantes. Pode usar o Dataplex Universal Catalog para enriquecer os seus dados com aspetos, que são o equivalente às etiquetas do Data Catalog. Para mais informações, consulte o artigo Faça a gestão dos aspetos e enriqueça os metadados.

O Data Catalog é um serviço de gestão de metadados escalável e totalmente gerido no Dataplex Universal Catalog. Cataloga automaticamente os seguintes metadados sobre instâncias, bases de dados, tabelas, colunas e vistas do Spanner:

• Nome e nome totalmente qualificado
• Localização (região)
• Data de criação e data da última modificação
• Esquema (para tabelas e vistas)
• Descrição

Os metadados do Spanner são sincronizados automaticamente com o Data Catalog a intervalos regulares, normalmente, a cada poucas horas. Pode usar o catálogo de dados para descobrir e compreender os metadados do Spanner. Use o Catálogo de dados para ajudar nas seguintes atividades:

• Análise, incluindo dependências e adequação para um exemplo de utilização
• Gestão da mudança
• Movimento de dados (pipelines)
• Evolução do esquema

Com o catálogo de dados, pode organizar metadados anexando etiquetas a entradas de metadados do Spanner. Cada etiqueta pode ter vários campos de metadados e pode basear-se num modelo de etiqueta predefinido ou personalizado.

Por exemplo, pode anexar a seguinte etiqueta a uma coluna que contenha um número de identificação da segurança social, que são informações de identificação pessoal (IIP):

pii:true
pii_type:SSN

Quando move uma instância que usa etiquetas, estas não são movidas automaticamente para a instância de destino. Em vez disso, tem de exportar as etiquetas da instância de origem antes de mover a instância e importar as etiquetas para a instância de destino. Para mais informações, consulte o artigo Exporte e importe etiquetas.

Para saber mais sobre o catálogo de dados, consulte o artigo O que é o catálogo de dados.

Nota: o Data Catalog refere-se aos recursos no Spanner e noutros Google Cloud serviços como recursos. Nesta página, referimo-nos aos recursos do Spanner (instâncias, bases de dados, tabelas e vistas) como recursos do Spanner. Também usamos o termo recursos para nos referirmos aos recursos e aos metadados do Data Catalog para os recursos.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Ative a API Data Catalog para o projeto.

   Ative a API Data Catalog

2. Verifique as autorizações.

   Precisa de determinadas funções e autorizações da gestão de identidade e de acesso (IAM) para pesquisar e anexar etiquetas a recursos do Spanner. Para ver detalhes, consulte o artigo Funções e autorizações de IAM necessárias para o Data Catalog.

Crie modelos de etiquetas

Os modelos de etiquetas são estruturas reutilizáveis que pode usar para criar rapidamente novas etiquetas. Os modelos ajudam a evitar a duplicação de trabalho e as etiquetas incompletas. Crie todos os modelos de etiquetas de que precisa.

Para saber mais, consulte o artigo Etiquetas e modelos de etiquetas.

Anexe etiquetas a recursos do Spanner

A associação de etiquetas a recursos do Spanner permite-lhe fazer o seguinte:

• Adicione metadados da empresa aos recursos.
• Pesquise recursos por metadados da empresa e outros metadados personalizados.

Para saber mais, consulte o artigo Etiquetas e modelos de etiquetas.

Pesquise recursos do Spanner

Use a página de pesquisa do catálogo universal do Dataplex na Google Cloud consola para pesquisar recursos do Spanner.

1. Aceda à página de pesquisa do catálogo universal do Dataplex.

   Aceda à pesquisa

2. No painel Filtros, em Sistemas, selecione Spanner.

   O catálogo universal do Dataplex apresenta todos os recursos conhecidos do Spanner.

3. Opcional: faça uma das seguintes ações para restringir a pesquisa:

   • Use a pesquisa detalhada na página Pesquisa. Selecione as caixas de verificação em Tipos de dados, Projetos e Etiquetas.

   • No campo de pesquisa, anexe um parâmetro de pesquisa após system=cloud_spanner. Separe os parâmetros por espaços.

   Por exemplo, para ver apenas bases de dados, introduza o seguinte texto no campo de pesquisa e, de seguida, prima Enter.

    system=cloud_spanner type=database
   

   Nota: para pesquisar instâncias do Spanner, use type=service. Para pesquisar uma configuração de instância, use instance_config=configuration-name.

   Também pode usar parênteses e os operadores lógicos and e or para expressões complexas. Para saber mais sobre as expressões que pode usar no campo de pesquisa, consulte a sintaxe de pesquisa do Data Catalog.

4. Na tabela de resultados, clique no nome de um recurso para ver os metadados desse recurso.

5. Opcional: faça qualquer uma das seguintes ações:

   • Clique em ADICIONAR VISTA GERAL para adicionar uma descrição de texto formatado do recurso.
   • Clique em ANEXAR ETIQUETAS para adicionar uma etiqueta ao recurso.
   • Para uma tabela, clique no separador SCHEMA para ver as colunas da tabela.
   • Para uma instância (SERVICE), para ver bases de dados de membros, clique no separador LISTA DE ENTRADAS e, de seguida, clique em VER ENTRADAS SECUNDÁRIAS NA PESQUISA. (Se o separador LISTA DE ENTRADAS não for apresentado, significa que a instância não tem bases de dados.)

Exemplo de fluxo de trabalho: detalhe a partir da instância até às colunas

Neste fluxo de trabalho de exemplo, começa por pesquisar uma instância do Spanner, vê uma base de dados de membros, vê uma tabela nessa base de dados e, em seguida, vê as colunas na tabela.

1. Aceda à página de pesquisa do catálogo universal do Dataplex.

   Aceda à pesquisa

2. No painel Filtros, em Sistemas, selecione Spanner.

3. Para ver todas as instâncias do Spanner no Data Catalog, selecione a caixa de verificação Serviço em Tipos de dados ou introduza o seguinte texto no campo de pesquisa e prima Enter.

   system=cloud_spanner type=service
   

4. Selecione um nome de instância.

5. Na página Detalhes do serviço Spanner, clique no separador LISTA DE ENTRADAS e, de seguida, clique em VER ENTRADAS SECUNDÁRIAS NA PESQUISA.

   O catálogo universal do Dataplex apresenta as bases de dados na instância.

   Nota: se não existir um separador LISTA DE ENTRADAS, regresse à página Pesquisa e escolha outra instância.

6. Na página Detalhes da base de dados do Spanner, clique no separador LISTA DE ENTRADAS e, de seguida, em VER ENTRADAS SECUNDÁRIAS NA PESQUISA.

   O catálogo universal do Dataplex apresenta as tabelas na base de dados.

7. Selecione um nome de tabela e, de seguida, na página Detalhes da tabela do Spanner, clique em ESQUEMA para ver as colunas da tabela.

8. Opcional: para adicionar uma etiqueta a uma coluna, clique no sinal de mais em Etiquetas de colunas.

Nota: este fluxo de trabalho demonstra como detalhar a partir de uma instância até uma tabela. Pode aceder diretamente a uma lista de tabelas através do painel Filtros ou introduzindo system=cloud_spanner,type=table no campo de pesquisa.

Exporte e importe etiquetas

Quando move uma instância do Spanner, o processo de movimentação elimina as etiquetas de instância que criou no Data Catalog. Para preservar as etiquetas, tem de fazer o seguinte:

• Consultar as etiquetas associadas à instância.
• Copie os detalhes das etiquetas.
• Crie as etiquetas na instância movida.

O Spanner sincroniza os dados a cada 6 horas. As alterações de metadados feitas em recursos do Spanner, como instâncias, bases de dados, tabelas, visualizações ou colunas, podem demorar aproximadamente 6 horas a propagarem-se ao Data Catalog.

Exporte etiquetas da configuração da instância de origem

Para apresentar uma lista das etiquetas de uma instância (entrada ou grupo de entradas), use o comando da CLI Google Cloud gcloud data-catalog tags list da seguinte forma:

curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

Substitua o seguinte:

• PROJECT: projeto que contém as etiquetas.
• LOCATION: localização das etiquetas.
• API_KEY: uma string exclusiva que lhe permite aceder a uma API.
• ACCESS_TOKEN: o token de acesso que a sua aplicação usa para se autenticar no serviço.

Importe etiquetas para a configuração do destino

Antes de concluir este procedimento, faça o seguinte:

• Mova a instância.
• Atualize o catálogo de dados com metadados.

Para copiar uma etiqueta, crie as etiquetas na instância movida através do comando gcloud data-catalog tags create da seguinte forma:

curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

Substitua o seguinte:

• FQN: Nome totalmente qualificado (FQN) do recurso. Os FQNs têm dois formatos:

  Para recursos não regionalizados: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Para recursos regionalizados: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Exemplo de uma tabela DPMS:

  dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

• LOCATION: localização onde a pesquisa é realizada.

• PROJECT: projeto onde a pesquisa é realizada.

• API_KEY: uma string exclusiva que lhe permite aceder a uma API.

• ACCESS_TOKEN: o token de acesso que a sua aplicação usa para se autenticar no serviço.

Funções e autorizações de IAM necessárias para o Data Catalog

A tabela seguinte mostra as funções e as autorizações da IAM necessárias para as várias operações do catálogo de dados.

Nota: o catálogo de dados não suporta o controlo de acesso detalhado do Spanner.

Operação do catálogo de dados	Recurso do Spanner	Funções ou autorizações necessárias
Crie um modelo de etiqueta	N/A	roles/datacatalog.tagTemplateCreator
Pesquise recursos do Spanner	Instância	spanner.instances.get
	Bases de dados	spanner.databases.get
	Tabela	spanner.databases.get
	Visualizações	spanner.databases.get
Veja etiquetas públicas	Instância	spanner.instances.get
	Bases de dados	spanner.databases.get
	Tabela	spanner.databases.get
	Visualizações	spanner.databases.get
Veja etiquetas privadas	Instâncias	datacatalog.tagTemplates.getTag + spanner.instances.get
	Bases de dados	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tabelas	datacatalog.tagTemplates.getTag + spanner.databases.get
	Visualizações	datacatalog.tagTemplates.getTag + spanner.databases.get
Associe uma etiqueta a um recurso do Spanner através de um modelo de etiqueta	Instâncias	datacatalog.tagTemplates.use + spanner.instances.updateTag
	Bases de dados	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tabelas	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Visualizações	datacatalog.tagTemplates.use + spanner.databases.updateTag

A autorização spanner.instances.UpdateTag está incluída na seguinte função:

• roles/spanner.admin

A autorização spanner.databases.UpdateTag está incluída nas seguintes funções:

• roles/spanner.admin
• roles/spanner.databaseAdmin
• roles/spanner.databaseUser

Para mais informações, consulte o artigo Funções predefinidas.

O que se segue?

• O que é o catálogo de dados
• Funções para pesquisar Google Cloud recursos
• Acerca do controlo de acesso detalhado