Este documento é destinado a proprietários de produtos de dados que querem atualizar, excluir e conceder acesso a produtos de dados no Knowledge Catalog (antigo Dataplex Universal Catalog).
Para mais informações sobre a arquitetura e os conceitos principais dos produtos de dados, consulte Sobre produtos de dados.
Antes de começar
-
Ative as APIs Dataplex e BigQuery.
Funções necessárias para ativar APIs
Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (
roles/serviceusage.serviceUsageAdmin), que contém a permissãoserviceusage.services.enable. Saiba como conceder papéis.
Funções exigidas
Para receber as permissões necessárias para gerenciar produtos de dados, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Permissões completas para criar, atualizar, excluir e gerenciar permissões para produtos de dados:
Administrador de produtos de dados do Dataplex (
roles/dataplex.dataProductsAdmin) -
Atualizar e gerenciar produtos de dados atuais:
Editor de produtos de dados do Dataplex (
roles/dataplex.dataProductsEditor) -
Adicione aspectos como
schema,overviewecontacts: Proprietário de entradas e links de entradas do Dataplex (roles/dataplex.entryOwner) -
Pesquisar e adicionar recursos:
Leitor do Dataplex Catalog (
roles/dataplex.catalogViewer) -
Edite tipos de aspectos do sistema, como documentação e aspecto de contrato da cadência de atualização:
Editor do catálogo do Dataplex (
roles/dataplex.catalogEditor)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esses papéis predefinidos contêm as permissões necessárias para gerenciar produtos de dados. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para gerenciar produtos de dados:
-
Edite o tipo de aspecto do sistema
overview:dataplex.entryGroups.useOverviewAspect -
Edite o tipo de aspecto do sistema
refresh cadence:dataplex.entryGroups.useRefreshCadenceAspect -
Aprovar uma solicitação de acesso a um produto de dados:
dataplex.dataProducts.approve
Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.
Controle de acesso para modelos do BigQuery
O acesso aos modelos do BigQuery em um produto de dados é gerenciado por condições do IAM aplicadas à política do IAM do conjunto de dados principal.
Se você excluir e recriar um modelo do BigQuery usando o mesmo nome, o Knowledge Catalog vai restaurar as permissões concedidas anteriormente a grupos do Google ou contas de serviço pelo produto de dados.
Definir permissões para tornar o produto de dados detectável
Para permitir que os consumidores em potencial pesquisem, visualizem e solicitem acesso a um produto de dados, os proprietários precisam garantir que ele seja detectável concedendo os papéis apropriados do IAM no recurso do produto de dados:
Pesquisar, visualizar e solicitar acesso a produtos de dados: Consumidor de produtos de dados do Dataplex (
dataplex.dataProductsConsumer)Ver definições e metadados de produtos de dados (acesso somente leitura): Leitor de produtos de dados do Dataplex (
dataplex.dataProductsViewer)
Gerenciar solicitações de acesso a produtos de dados
Quando um consumidor de produto de dados solicita acesso, o proprietário do produto recebe uma notificação por e-mail. Os proprietários podem analisar, aprovar ou rejeitar essas solicitações usando o console do Google Cloud ou a API.
Console
Analisar solicitações de acesso a um produto de dados específico
No console Google Cloud , acesse a página Produtos de dados do Knowledge Catalog.
Clique no produto de dados para o qual você quer analisar as solicitações de acesso.
Clique na guia Gerenciamento de solicitações de acesso.
Selecione o requerente cuja solicitação você quer analisar.
Clique em Ações e em Aprovar ou Rejeitar.
Clique em Salvar.
Analisar solicitações de acesso em vários produtos de dados
No console Google Cloud , acesse a página Fluxos de trabalho de governança do Knowledge Catalog.
Clique na guia Aprovações pendentes.
Opcional: filtre a lista pelo nome do produto de dados específico para isolar as solicitações dele.
Selecione a solicitação desejada e clique em Aprovar ou Rejeitar.
Clique em Salvar.
Comportamento após a aprovação
Solicitações do usuário: os consumidores que pediram acesso para a identidade de usuário são adicionados automaticamente como membros ao grupo do Google mapeado para o grupo de acesso.
Solicitações de contas de serviço: os consumidores que pediram acesso a uma conta de serviço recebem permissões para personificar a conta de serviço do produtor de dados mapeada para o grupo de acesso.
Depois de processado, o status da solicitação é atualizado automaticamente, e a entrada é movida para a guia Registro de aprovação.
REST
Listar todas as solicitações de acesso pendentes
Para listar todas as solicitações de acesso pendentes de revisão em um projeto e local específicos, envie uma solicitação GET usando o método de coleta personalizada :listReviewable:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests:listReviewable"
Substitua:
PROJECT_ID: ID do projeto Google Cloud
LOCATION: a região em que o produto de dados está localizado (por exemplo,
us-central1)
Aprovar uma solicitação de acesso
Os proprietários de produtos de dados com a permissão dataplex.dataProducts.approve podem
aprovar uma solicitação pendente enviando uma solicitação POST ao método personalizado
:approve:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID:approve"
Substitua:
PROJECT_ID: ID do projeto Google Cloud
LOCATION: a região em que o produto de dados está localizado (por exemplo,
us-central1)CHANGE_REQUEST_ID: o ID exclusivo da solicitação de acesso que você quer aprovar.
Ao contrário das aprovações baseadas no console, a aprovação de uma solicitação de mudança usando a API REST não modifica automaticamente as associações do grupo do Google nem configura a representação do token da conta de serviço. Você precisa concluir estas etapas de gerenciamento de acesso downstream manualmente:
Para solicitações de acesso à identidade do usuário: adicione o consumidor do produto de dados ao grupo do Google mapeado. Para mais informações, consulte Adicionar uma associação a um Grupo do Google.
Para solicitações de acesso à conta de serviço: conceda o papel do IAM de Criador de token da conta de serviço (
roles/iam.serviceAccountTokenCreator) à conta de serviço do consumidor do produto de dados no recurso executando o seguinte comando:gcloud iam service-accounts add-iam-policy-binding PRODUCER_SERVICE_ACCOUNT \ --member="serviceAccount:CONSUMER_SERVICE_ACCOUNT" \ --role="roles/iam.serviceAccountTokenCreator"Substitua:
PRODUCER_SERVICE_ACCOUNT: o endereço de e-mail totalmente qualificado da conta de serviço mapeada para o grupo de acesso do produto de dados.
CONSUMER_SERVICE_ACCOUNT: o endereço de e-mail totalmente qualificado da conta de serviço pertencente ao consumidor que solicita acesso.
Rejeitar uma solicitação de acesso
Os proprietários de produtos de dados com a permissão dataplex.dataProducts.approve podem
rejeitar uma solicitação pendente enviando uma solicitação POST para o método personalizado
:reject junto com um payload de justificativa:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"comment": "REJECTION_REASON"
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID:reject"
Substitua:
PROJECT_ID: ID do projeto Google Cloud
LOCATION: a região em que o produto de dados está localizado (por exemplo,
us-central1)CHANGE_REQUEST_ID: o ID exclusivo da solicitação de acesso que você quer rejeitar.
Atualizar um produto de dados
É possível atualizar os detalhes básicos (por exemplo, nome, descrição e detalhes do proprietário do produto de dados), recursos, grupos de acesso, permissões, contrato, aspectos e documentação adicional de um produto de dados.
Atualizar os detalhes básicos de um produto de dados
Console
No console Google Cloud , acesse a página Produtos de dados do Knowledge Catalog.
Clique no produto de dados que você quer atualizar.
Clique em Editar.
Atualize o Nome do produto de dados, o Ícone do produto de dados, a Descrição, o Endereço de e-mail do(s) proprietário(s) do produto de dados, o Endereço de e-mail do(s) aprovador(es) do produto de dados e os Rótulos conforme necessário.
Clique em Salvar.
REST
Para atualizar os detalhes básicos de um produto de dados, use o método
dataProducts.patch.
Por exemplo, para atualizar a descrição de um produto de dados, envie a seguinte solicitação
PATCH:
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"description": "NEW_DESCRIPTION"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/ LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="description"
Substitua:
- NEW_DESCRIPTION: uma nova descrição para o produto de dados
- PROJECT_ID: o ID do seu projeto Google Cloud
- LOCATION: a região em que o produto de dados existe
- DATA_PRODUCT_ID: o ID do seu produto de dados
Atualizar recursos de um produto de dados
Console
No console Google Cloud , acesse a página Produtos de dados do Knowledge Catalog.
Clique no produto de dados para o qual você quer atualizar os recursos.
Clique na guia Recursos.
Para adicionar um novo recurso, siga estas etapas:
Clique em +Add.
Pesquise e selecione os recursos que você quer adicionar ao produto de dados. Os recursos selecionados precisam estar na mesma região que o produto de dados.
Se você tiver as permissões necessárias, clique no recurso para ver os metadados dele.
Para refinar os resultados da pesquisa, use Filtros.
Depois de selecionar os recursos, clique em Adicionar.
Para remover um recurso do produto de dados, siga estas etapas:
No recurso que você quer remover, clique em > Remover.
Para confirmar a ação, clique em Remover.
REST
Para adicionar um novo recurso de dados ao produto, use o método
dataAssets.create. Para um exemplo de código, consulte
Opcional: adicionar recursos.
Para excluir um recurso de dados do produto de dados, use o método
dataAssets.delete. Por exemplo, envie a seguinte solicitação DELETE:
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID"
Substitua:
- PROJECT_ID: o ID do seu projeto Google Cloud
- LOCATION: a região em que você quer criar o produto de dados
- DATA_PRODUCT_ID: um ID exclusivo para seu produto de dados
- DATA_ASSET_ID: o ID do recurso de dados que você quer remover do produto de dados
Atualizar grupos de acesso e permissões de recursos
Console
No console Google Cloud , acesse a página Produtos de dados do Knowledge Catalog.
Clique no produto de dados para o qual você quer atualizar os grupos de acesso e permissões.
Clique na guia Grupos de acesso e permissões.
Para atualizar um grupo de acesso, siga estas etapas:
Clique em Editar.
Atualize o nome, a descrição e o identificador do grupo de acesso conforme necessário.
Para adicionar um grupo de acesso, clique em Adicionar grupo de acesso e siga estas etapas:
No campo Nome do grupo de acesso, digite um nome para o novo grupo de acesso. Por exemplo,
Analyst.No campo Descrição do grupo de acesso, insira uma descrição para o grupo de acesso.
No campo Identificador do grupo de acesso, insira o endereço de e-mail de um Grupo do Google, uma conta de serviço ou ambos que você quer atribuir a esse grupo de acesso:
Grupo do Google: os consumidores de produtos de dados que solicitam acesso para si mesmos são adicionados como membros ao Grupo do Google mapeado.
Conta de serviço: os consumidores de produtos de dados que solicitam acesso para as contas de serviço recebem o papel do IAM Criador de token da conta de serviço (
roles/iam.serviceAccountTokenCreator) para representar a conta de serviço do produtor de dados mapeada para o grupo de acesso.
Clique em Adicionar.
Para remover um grupo de acesso, siga estas etapas:
No grupo de acesso que você quer remover, clique em > Remover.
Para confirmar a ação, clique em Remover.
Se nenhum grupo de acesso estiver configurado para o produto de dados selecionado, clique em Adicionar grupo de acesso.
Para atualizar as permissões de recursos, siga estas etapas:
No recurso para o qual você quer atualizar as permissões, clique em > Permissões.
Atualize os grupos de acesso e papéis do IAM necessários.
Clique em Configurar.
REST
Para atualizar os grupos de acesso associados a um produto de dados, use o método
dataProducts.patch. Para um exemplo de código, consulte
Configurar grupos de acesso.
Para atualizar as permissões do recurso, use o método
dataAssets.patch. Para um exemplo de código, consulte
Configurar permissões de recursos.
Atualizar o contrato do produto de dados
Console
No console Google Cloud , acesse a página Produtos de dados do Knowledge Catalog.
Clique no produto de dados para o qual você quer atualizar o contrato.
Clique na guia Contrato.
Para atualizar o contrato atual, siga estas etapas:
Clique em Editar.
Atualize os campos necessários.
Clique em Salvar.
Se nenhum contrato estiver anexado ao produto de dados selecionado, clique em Adicionar contrato.
REST
Para atualizar um contrato, use o método
entries.patch. Para um exemplo de código, consulte
Adicionar um contrato.
Atualizar aspectos de um produto de dados
Console
No console Google Cloud , acesse a página Produtos de dados do Knowledge Catalog.
Clique no produto de dados para o qual você quer atualizar os aspectos.
Clique na guia Aspectos.
Para atualizar um aspecto, siga estas etapas:
Clique no aspecto que você quer atualizar.
Clique em Editar.
Atualize o Tipo de aspecto, o País e a Região conforme necessário.
Clique em Salvar.
Para adicionar um novo aspecto ao produto de dados, siga estas etapas:
Clique em + Adicionar aspecto.
No campo Selecionar tipo de aspecto, pesquise e selecione um tipo de aspecto na lista. Por exemplo,
Geo context.No campo País, selecione o país do recurso.
No campo Região, selecione a região comercial a que o recurso pertence.
Clique em Salvar.
Para excluir um aspecto, siga estas etapas:
Clique no aspecto que você quer excluir.
Clique em Excluir.
Para confirmar a ação, clique em Confirmar.
REST
Para atualizar qualquer aspecto da entrada do produto de dados, use
o método
entries.patch.
Atualizar a documentação do produto de dados
Console
No console Google Cloud , acesse a página Produtos de dados do Knowledge Catalog.
Clique no produto de dados cuja documentação você quer atualizar.
Clique na guia Visão geral.
Clique em Editar em Documentação.
Atualize o guia do usuário, exemplos de consultas e outras documentações conforme necessário.
Clique em Salvar.
REST
A documentação faz parte do aspecto overview. Para atualizar a documentação do produto de dados, use o método entries.patch.
Excluir um produto de dados
Para excluir um produto de dados, primeiro remova todos os recursos dele.
Console
No console Google Cloud , acesse a página Produtos de dados do Knowledge Catalog.
Clique no produto de dados que você quer excluir.
Clique na guia Recursos.
Para cada recurso listado, clique em > Remover. Confirme a ação clicando em Remover.
Depois de remover todos os recursos, exclua o produto de dados clicando em Excluir.
Na caixa de diálogo de confirmação, digite
deletee clique em Excluir.
REST
Para excluir um produto de dados, use o método
dataProducts.delete.
Por exemplo, envie a seguinte solicitação DELETE:
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/ LOCATION/dataProducts/DATA_PRODUCT_ID
Substitua:
- PROJECT_ID: o ID do seu projeto Google Cloud
- LOCATION: a região em que o produto de dados existe
- DATA_PRODUCT_ID: o ID do produto de dados que você quer excluir.
Retenção de dados e exclusão de projetos
Quando você exclui um projeto Google Cloud que contém produtos de dados, os recursos associados seguem o ciclo de vida de exclusão Google Cloud padrão, também conhecido como exclusão completa. Para uma visão geral detalhada dos processos técnicos e cronogramas que regem esse comportamento, consulte Exclusão de dados no Google Cloud.
Ciclo de vida do recurso durante a exclusão do projeto
O ciclo de vida dos seus produtos e recursos de dados é gerenciado em duas etapas principais após uma solicitação de exclusão do projeto:
Exclusão reversível (estado
Hidden): imediatamente após o início da exclusão do projeto, todos os produtos e recursos de dados no projeto são marcados comoHidden. Durante esse período de carência de 30 dias, os metadados são preservados, mas não podem mais ser acessados pelas APIs do Dataplex ou pelo console do Google Cloud . É possível restaurar o projeto e os recursos a qualquer momento durante esse período.Exclusão permanente (estado
Purged): após o período de carência de 30 dias, o projeto e todos os metadados do Knowledge Catalog são excluídos permanentemente. O Knowledge Catalog usa uma política interna de exclusão de linhas para remover esses registros do armazenamento de forma verificável.
Comportamento das políticas do IAM em recursos entre projetos
Existe uma distinção operacional crítica entre os metadados do Knowledge Catalog e as políticas do IAM aplicadas aos seus dados físicos (como conjuntos de dados do BigQuery ou buckets do Cloud Storage).
Embora os metadados do Knowledge Catalog no projeto sejam excluídos automaticamente, as vinculações do IAM aplicadas a recursos de dados localizados em outro projeto (Projeto B) não são revogadas automaticamente quando o projeto do proprietário do produto de dados (Projeto A) é excluído.
Vinculações órfãs: como os recursos físicos no projeto de destino permanecem ativos, o sistema do IAM não remove automaticamente os identificadores principais associados ao projeto excluído.
Evite permissões zumbi: para garantir o encerramento completo do acesso aos dados, exclua manualmente os recursos de dados dos produtos ou remova explicitamente as vinculações do IAM associadas dos recursos entre projetos antes de iniciar a exclusão de um projeto.
Restauração de projeto (cancelar exclusão)
Se você restaurar um projeto excluído dentro do período de tolerância de 30 dias, o Knowledge Catalog vai tentar restaurar seus recursos e a visibilidade deles no catálogo. Para recursos entre projetos, como as vinculações de IAM subjacentes não foram revogadas automaticamente durante o processo de exclusão, o acesso aos dados geralmente é retomado imediatamente para o projeto restaurado.
A seguir
- Saiba mais sobre produtos de dados.
- Saiba como pesquisar produtos de dados.
- Saiba como criar um produto de dados.