Esta página explica como adicionar, atualizar e remover contentores do Cloud Storage e conjuntos de dados do BigQuery como recursos em zonas do catálogo universal do Dataplex existentes.
Vista geral
Um recurso é mapeado para dados armazenados no Cloud Storage ou no BigQuery. Pode mapear dados armazenados em Google Cloud projetos separados como recursos numa única zona num lake. Pode anexar contentores do Cloud Storage ou conjuntos de dados do BigQuery existentes para serem geridos a partir do lake.
Antes de começar
Se ainda não o fez, crie um lago e uma zona nesse lago.
A maioria dos comandos do
gcloud lakesrequer uma localização. Pode especificar a localização através da flag--location.
Funções e autorizações necessárias
Para gerir recursos no Dataplex Universal Catalog, são necessárias autorizações para que os utilizadores realizem ações de gestão e para que a conta de serviço do Dataplex Universal Catalog aceda aos recursos subjacentes.
Para adicionar ou remover recursos, os utilizadores têm de ter funções de IAM concedidas que contenham as autorizações necessárias (como dataplex.assets.create e dataplex.assets.delete). As funções predefinidas Dataplex Admin (roles/dataplex.admin) e Dataplex Editor (roles/dataplex.editor) ou as funções antigas Owner (roles/owner) e Editor (roles/editor) incluem estas autorizações.
Quando anexa um recurso (contentor do Cloud Storage ou conjunto de dados do BigQuery) a um lake, o Dataplex Universal Catalog usa a respetiva conta de serviço para interagir com esse recurso.
- Se o recurso estiver no mesmo projeto que o lake, as autorizações são concedidas implicitamente à conta de serviço.
- Se o recurso estiver num projeto diferente do lago, tem de conceder explicitamente autorizações à conta de serviço para aceder a esse recurso, conforme descrito nas secções seguintes.
Para mais informações, consulte o artigo IAM e controlo de acesso do catálogo universal do Dataplex.
Conceda funções para contentores do Cloud Storage
Para anexar um contentor do Cloud Storage de outro projeto, conceda as autorizações da
conta de serviço do Dataplex Universal Catalog
(service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com)
de uma das seguintes formas:
Autorizações ao nível do projeto: conceda a função
roles/dataplex.serviceAgentà conta de serviço no projeto que contém o contentor. Isto fornece ao Dataplex Universal Catalog autorizações de administrador em todos os contentores no projeto, o que lhe permite gerir autorizações em contentores anexados.Autorizações ao nível do contentor: para um controlo mais detalhado, use o comando
gcloud dataplex lakes authorizepara conceder à conta de serviço as autorizações necessárias apenas num contentor específico.
Conceda funções para conjuntos de dados do BigQuery
Para anexar um conjunto de dados do BigQuery de outro projeto,
conceda à
conta de serviço do catálogo universal do Dataplex
a função de administrador do BigQuery (roles/bigquery.admin) no conjunto de dados.
Considerações sobre os VPC Service Controls
O Dataplex Universal Catalog não viola os perímetros dos VPC Service Controls. Antes de adicionar um recurso ao lake, certifique-se de que o contentor ou o conjunto de dados subjacente está na mesma rede dos VPC Service Controls que o lake.
Para mais informações, consulte o artigo VPC Service Controls com o catálogo universal do Dataplex.
Adicione um recurso
Se não existir sobreposição entre a região do lago do catálogo universal do Dataplex e a região de um dos contentores do Cloud Storage, não pode adicionar o contentor a uma zona no seu lago.
Para saber mais acerca da localização da região de um recurso do Cloud Storage e como o catálogo universal do Dataplex processa a localização de um contentor quando cria o conjunto de dados de publicação, consulte Recursos regionais.
Para adicionar um recurso, siga estes passos:
Consola
Na Google Cloud consola, aceda à página Lakes do Dataplex Universal Catalog.
Clique no lago ao qual quer adicionar um contentor do Cloud Storage ou um conjunto de dados do BigQuery. É apresentada a página do lago.
No separador Zonas, clique no nome da zona de dados à qual quer adicionar o recurso. A página da zona de dados dessa zona de dados é aberta.
No separador Recursos, clique em + Adicionar recursos. A página Adicionar recursos é aberta.
Clique em Adicionar um recurso.
No campo Tipo, selecione Conjunto de dados do BigQuery ou Bucket do Cloud Storage.
No campo Nome a apresentar, introduza um nome para o novo recurso.
No campo ID, introduza um ID exclusivo para o recurso.
Opcional: introduza uma Descrição.
No campo Conjunto de dados ou Contentor (com base no tipo do seu recurso), clique em Procurar para encontrar e selecionar o seu contentor do Cloud Storage ou conjunto de dados do BigQuery.
Opcional: se o tipo de recurso for contentor do Cloud Storage e quiser que o catálogo universal do Dataplex faça a gestão do recurso, selecione a caixa de verificação Atualizar para gerido. Se escolher esta opção, não tem de atualizar o recurso em separado. Esta opção não está disponível para conjuntos de dados do BigQuery.
Clique em Continuar.
Escolha os restantes valores dos parâmetros. Para mais informações sobre as definições de segurança, consulte o artigo Segurança do Lake.
Clique em Enviar.
Confirme se regressou à página da zona de dados e se o novo recurso aparece na lista de recursos.
REST
Para adicionar um recurso, use o método lakes.zones.assets.create.
Quando a adição é bem-sucedida, a zona de dados entra automaticamente no estado ativo. Se falhar, a zona de dados é revertida para o estado anterior.
Atualize um recurso de contentor do Cloud Storage
Quando adiciona um recurso do tipo contentor do Cloud Storage, o Dataplex Universal Catalog publica automaticamente tabelas externas do BigQuery para as tabelas alojadas no recurso.
Quando atualiza um recurso de contentor do Cloud Storage, o catálogo universal do Dataplex remove as tabelas externas anexadas e cria tabelas do BigLake. As tabelas do BigLake suportam uma segurança mais detalhada, incluindo a nível da linha, da coluna e a ocultação dinâmica de dados.
Para atualizar um recurso de contentor do Cloud Storage, siga estes passos:
Consola
Na Google Cloud consola, aceda à página Lakes do Dataplex Universal Catalog.
Clique no nome do lago. É apresentada a página do lago.
No separador Zonas, clique no nome da zona de dados. É aberta a página da zona de dados.
No separador Recursos, clique no nome do recurso que quer atualizar.
Clique em Atualizar para gerido.
REST
Para atualizar um recurso de contentor, use o método lakes.zones.assets.patch.
Mude um recurso de contentor do Cloud Storage para uma versão anterior
Quando rebaixa um recurso de contentor do Cloud Storage, o catálogo universal do Dataplex remove as tabelas do BigLake anexadas e cria tabelas externas.
Consola
Na Google Cloud consola, aceda à página Lakes do Dataplex Universal Catalog.
Clique no nome do lago. É apresentada a página do lago.
No separador Zonas, clique no nome da zona de dados. É aberta a página da zona de dados.
No separador Recursos, clique no nome do recurso que quer atualizar.
Clique em Mudar para não gerido.
REST
Para reverter um recurso de contentor, use o método
lakes.zones.assets.patch. Certifique-se de que define o campo readAccessMode como DIRECT em
ResourceSpec.
Remova um recurso
Remova o recurso da zona de dados ou do repositório antes de o anexar a uma zona de dados ou a um repositório diferente.
Para remover um recurso, siga estes passos:
Consola
Na Google Cloud consola, aceda à página Lakes do Dataplex Universal Catalog.
Clique no lago do qual quer remover um contentor do Cloud Storage ou um conjunto de dados do BigQuery. É aberta a página do lago em questão.
No separador Zonas, clique no nome da zona de dados da qual quer remover o contentor do Cloud Storage ou o conjunto de dados do BigQuery. A página Zona de dados dessa zona de dados é aberta.
No separador Recursos, selecione o recurso selecionando a caixa à esquerda do nome do recurso.
Clique em Eliminar recurso.
Na caixa de diálogo de confirmação, clique em Eliminar.
REST
Para remover um contentor, use o método lakes.zones,assets.delete.
O que se segue?
- Saiba mais sobre como descobrir dados.
- Saiba como criar um lago.
- Saiba mais sobre os registos de auditoria do Cloud.