Crie produtos de dados

Este documento destina-se a proprietários de produtos de dados que pretendam criar e configurar produtos de dados no Dataplex Universal Catalog.

Para mais informações sobre a arquitetura e os conceitos-chave dos produtos de dados, consulte o artigo Acerca dos produtos de dados.

Antes de começar

  1. Enable the Dataplex, BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  2. Certifique-se de que os seus recursos de dados (por exemplo, conjuntos de dados, tabelas e vistas do BigQuery) são criados e preenchidos.

    Para mais informações sobre a criação de recursos de dados, consulte os seguintes documentos:

  3. Identifique ou crie os grupos Google que quer configurar no seu produto de dados. Cada produto de dados tem de ter um grupo Google único.

Funções necessárias

Esta secção descreve as funções da IAM mínimas necessárias para dois grupos de utilizadores principais: proprietários de produtos de dados (os que criam e gerem produtos de dados) e consumidores de produtos de dados (os que pesquisam e usam produtos de dados).

Funções de um proprietário do produto de dados

Para receber as autorizações de que precisa para criar e gerir produtos de dados, peça ao seu administrador que lhe conceda as seguintes funções de IAM no projeto:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Estas funções predefinidas contêm as autorizações necessárias para criar e gerir produtos de dados. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para criar e gerir produtos de dados:

  • Edite o overviewtipo de formato do sistema: dataplex.entryGroups.useOverviewAspect
  • Edite o refresh cadencetipo de formato do sistema: dataplex.entryGroups.useRefreshCadenceAspect

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Funções para um consumidor de produtos de dados

Para que os consumidores de produtos de dados possam pesquisar, ver e pedir acesso a produtos de dados, como proprietário de um produto de dados, tem de garantir que o produto de dados é detetável. Para tal, conceda aos consumidores do produto de dados as seguintes funções de IAM no produto de dados:

  • Pesquise produtos de dados e aceda aos mesmos na pesquisa do Dataplex Universal Catalog: Consumidor de produtos de dados do Dataplex (dataplex.dataProductsConsumer)
  • Acesso só de leitura para ver definições e metadados de produtos de dados: Visualizador de produtos de dados do Dataplex (dataplex.dataProductsViewer)
  • Peça acesso a produtos de dados: Dataplex Data Product Consumer (dataplex.dataProductsConsumer)

Crie e configure um produto de dados

A criação de um produto de dados envolve as seguintes tarefas de alto nível:

  1. Crie um produto de dados

    Este passo inicial obrigatório requer a definição de detalhes essenciais, como um nome exclusivo do produto de dados, uma descrição, a região onde o produto de dados é criado e os detalhes do proprietário.

  2. Opcional: adicione recursos

    Nesta fase, seleciona os recursos a incluir no produto de dados. Uma restrição fundamental é que os recursos têm de residir na mesma região que o próprio produto de dados. Pode adicionar um máximo de 10 recursos a um produto de dados.

    Para ver a lista de recursos suportados, consulte o artigo Recursos suportados.

  3. Opcional: configure grupos de acesso e autorizações de recursos

    Nesta fase opcional, simplifica o controlo de acesso criando grupos de acesso. Estes grupos de acesso funcionam como alias fáceis de usar (por exemplo, Analyst ou Reader) para os grupos Google subjacentes. Em seguida, atribui autorizações selecionando uma função de IAM específica e mapeando-a para um grupo de acesso de um recurso específico.

  4. Opcional: adicione detalhes adicionais, como contratos, aspetos e documentação

    Esta fase opcional melhora a governação e os metadados. Pode adicionar um contrato, que é um tipo de aspeto original, para comunicar formalmente a cadência de atualização de dados acordada, especificando parâmetros como a frequência de atualização, a hora de atualização e o limite. Também inclui Aspetos para fornecer metadados adicionais para o seu produto de dados. Além disso, adiciona documentação de texto formatado, como guias do utilizador e consultas de exemplo.

Para criar e configurar um produto de dados, conclua os passos nas secções seguintes:

Crie um produto de dados

Consola

  1. Na Google Cloud consola, aceda à página Produtos de dados do Dataplex Universal Catalog.

    Aceda a Produtos de dados

  2. Clique em Criar.

  3. No painel Criar produtos de dados, introduza os seguintes detalhes:

    • Nome do produto de dados: introduza um nome exclusivo para o produto de dados.
    • ID do produto de dados: este é um identificador exclusivo gerado automaticamente. Pode editar este campo.
    • ID do projeto: este é um identificador exclusivo do projeto onde o produto de dados é criado. Procure e selecione o projeto.
    • Região: selecione a região ou a multirregião onde o produto de dados é criado.
    • Ícone: procure e selecione um ícone para identificar visualmente o produto de dados. Esta ação é opcional.
    • Descrição: introduza uma breve descrição do produto de dados.
    • Contactos: introduza o ID de email do proprietário do produto de dados.
    • Etiquetas: adicione etiquetas de chave-valor para organizar os seus recursos. Esta ação é opcional.

  4. Clique em Criar produto de dados.

REST

Para criar um produto de dados, use o método dataProducts.create.

Por exemplo, envie o seguinte pedido POST:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"display_name": "DISPLAY_NAME", "owner_emails": ["EMAIL_IDs"]}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts?data_product_id=DATA_PRODUCT_ID

Substitua o seguinte:

  • DISPLAY_NAME: um nome fácil de usar para o seu produto de dados
  • EMAIL_IDs: IDs de email separados por vírgulas dos proprietários do produto de dados
  • PROJECT_ID: o ID do seu Google Cloud projeto
  • LOCATION: a região na qual quer criar o produto de dados
  • DATA_PRODUCT_ID: um ID exclusivo para o seu produto de dados

Opcional: adicione recursos

Consola

  1. No painel Adicionar recursos, clique em +Adicionar.

  2. Pesquise e selecione os recursos que quer adicionar ao seu produto de dados. Os recursos que selecionar têm de estar na mesma região que o produto de dados.

    Se tiver as autorizações necessárias, pode ver os metadados dos recursos clicando no recurso.

  3. Para refinar os resultados da pesquisa, use os Filtros.

  4. Depois de selecionar os recursos, clique em Adicionar.

  5. Clique em Continuar.

REST

Para adicionar um recurso de dados ao seu produto de dados, use o método dataAssets.create.

Por exemplo, envie o seguinte pedido POST:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"resource": "RESOURCE_NAME"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets?data_asset_id=DATA_ASSET_ID

Substitua o seguinte:

  • RESOURCE_NAME: o nome completo do recurso do recurso de dados (por exemplo, //bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID)
  • PROJECT_ID: o ID do seu Google Cloud projeto
  • LOCATION: a região onde o produto de dados existe
  • DATA_PRODUCT_ID: o ID do produto de dados
  • DATA_ASSET_ID: um ID exclusivo para este recurso de dados no produto de dados

Opcional: configure grupos de acesso e autorizações de recursos

No painel Configurar grupos de acesso e autorizações de recursos, pode criar grupos de acesso e atribuir autorizações a recursos.

Configure grupos de acesso

Consola

  1. Clique em Adicionar grupo de acesso.

  2. No campo Nome do grupo de acesso, introduza um nome para o grupo de acesso. Por exemplo, Analyst.

  3. No campo Descrição do grupo de acesso, introduza uma descrição do grupo de acesso.

  4. No campo Identificador do grupo de acesso, introduza o endereço de email de um grupo Google que quer atribuir a este grupo de acesso. Os consumidores de produtos de dados que pedem acesso a este grupo de acesso podem ser adicionados como membros ao grupo Google mapeado.

    Se não tiver um grupo Google, pode criar um. Para mais informações, consulte o artigo Crie e faça a gestão de grupos Google na Google Cloud consola.

  5. Clique em Adicionar.

REST

Para configurar um grupo de acesso para o produto de dados, use o método dataProducts.patch.

Por exemplo, envie o seguinte pedido PATCH:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_groups": ACCESS_GROUPS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="access_groups"

Substitua o seguinte:

  • ACCESS_GROUPS_MAP: um objeto JSON que representa um mapa onde cada chave é um ID de grupo de acesso e o valor é um objeto AccessGroup. Por exemplo:

    {
"analyst": {
  "id": "analyst","display_name": "Analyst access group","description": "Access group for analysts","principal":
{"google_group": "analyst-team@example.com"}
  }
}

  • PROJECT_ID: o ID do seu Google Cloud projeto

  • LOCATION: a região onde o produto de dados existe

  • DATA_PRODUCT_ID: o ID do seu produto de dados

Configure as autorizações de recursos

Depois de configurar os grupos de acesso, pode configurar autorizações para os recursos no produto de dados.

Consola

  1. Na secção Autorizações de recursos, selecione o recurso para o qual quer configurar autorizações.

  2. Clique em Configurar autorizações.

  3. No campo Selecionar grupo de acesso, selecione um grupo de acesso.

  4. No campo Atribuir função do IAM, selecione uma função do IAM que quer atribuir ao grupo de acesso.

    Por exemplo, se o seu recurso for uma tabela do BigQuery denominada Sales e se tiver selecionado o grupo de acesso Analyst e atribuído a função BigQuery Metadata Viewer a este grupo de acesso, os consumidores do produto de dados que fazem parte do grupo de acesso Analyst têm autorização BigQuery Metadata Viewer na tabela Sales.

    Pode adicionar várias funções a um recurso.

  5. Clique em Configurar. O recurso apresenta agora as respetivas autorizações atribuídas.

  6. Para configurar autorizações para outros recursos, repita os passos.

  7. Clique em Continuar.

REST

Para configurar autorizações para os recursos no produto de dados, use o método dataAssets.patch.

Por exemplo, envie o seguinte pedido PATCH:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_group_configs": ACCESS_GROUP_CONFIGS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID?update_mask="access_group_configs"

Substitua o seguinte:

  • ACCESS_GROUP_CONFIGS_MAP: um objeto JSON que representa um mapa onde cada chave é um ID de grupo de acesso e o valor é um objeto AccessGroupConfig. Por exemplo:

    {
"analyst": {
  iam_roles: ["roles/bigquery.dataViewer"]
  }
}

  • PROJECT_ID: o ID do seu Google Cloud projeto

  • LOCATION: a região onde o produto de dados existe

  • DATA_PRODUCT_ID: o ID do seu produto de dados

  • DATA_ASSET_ID: o ID do recurso para o qual quer configurar autorizações

Opcional: adicione detalhes adicionais

Também pode adicionar contratos, aspetos e documentação adicional para o produto de dados.

Adicione um contrato

Consola

  1. No painel Adicione detalhes adicionais, clique em Adicionar contrato.

  2. No campo Selecionar contrato, selecione Refresh cadence.

  3. No campo Frequência, selecione um agendamento acordado para a frequência de atualização ou entrega dos dados, garantindo um fluxo previsível do produtor de dados para o consumidor de dados. Por exemplo, Weekly.

  4. No campo Tempo de atualização, introduza um tempo máximo aceitável quando os dados são atualizados na respetiva origem e quando ficam disponíveis para o consumidor. Por exemplo, 23:00 PST.

  5. No campo Limite (em minutos), introduza um limite mensurável em minutos para o atraso aceitável na entrega de dados. Por exemplo, introduza 30 para definir o limite como 30 minutos.

  6. Opcional: no campo Programação cronológica, introduza uma expressão cronológica que defina a programação para a geração e a entrega de dados no formato: MINUTE HOUR DAY_OF_MONTH MONTH DAY_OF_WEEK

    Seguem-se os valores aceites:

    • MINUTE: 0-59
    • HOUR: 0-23
    • DAY_OF_MONTH: 1-31
    • MONTH: 1-31 ou JAN-DEC
    • DAY_OF_WEEK: 0-6 ou SUN-SAT

    Por exemplo, 0 8 * * 1-5 é executado às 08:00 nos dias úteis (segunda a sexta-feira).

  7. Clique em Guardar.

REST

Os contratos são modelados como aspetos no produto de dados. Para adicionar um Refresh Cadencecontrato para um produto de dados, use o método entries.patch.

Por exemplo, envie o seguinte pedido PATCH:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
'{
  "aspects": {
    "dataplex-types.global.refresh-cadence": {
      "aspectType": "projects/dataplex-types/locations/global/aspectTypes/refresh-cadence",
      "data": {
        "frequency": "REFRESH_FREQUENCY"
      }
    }
  }
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_ID/locations/DATA_PRODUCT_LOCATION/dataProducts/DATA_PRODUCT_ID?updateMask=aspects"

Substitua o seguinte:

  • REFRESH_FREQUENCY: o cronograma acordado para a frequência com que os dados são atualizados ou entregues, garantindo um fluxo previsível do produtor de dados para o consumidor de dados. Por exemplo: Weekly
  • PROJECT_ID: o ID do seu Google Cloud projeto onde a chamada API está a ser feita
  • LOCATION: a região do ponto final do serviço Dataplex Universal Catalog que está a chamar (por exemplo, us-central1)
  • DATA_PRODUCT_PROJECT_ID: o ID do projeto onde o recurso do produto de dados está localizado
  • DATA_PRODUCT_LOCATION: a localização do recurso do produto de dados
  • DATA_PRODUCT_ID: o ID do seu produto de dados

Adicione metadados adicionais

Para adicionar metadados adicionais para o produto de dados como aspetos, siga estes passos:

Consola

  1. No painel Adicionar detalhes adicionais, clique em + Adicionar aspeto.

  2. No campo Selecionar tipo de aspeto, pesquise e selecione um tipo de aspeto na lista. Por exemplo, Geo context.

  3. No campo País, selecione o país ao qual o recurso pertence.

  4. No campo Região, selecione a região empresarial à qual o recurso pertence.

  5. Clique em Guardar.

  6. Para adicionar documentação adicional, como um guia do utilizador ou exemplos de consultas, clique em Editar junto a Documentação. Esta ação abre um editor de texto formatado. Adicione conteúdo e clique em Guardar.

  7. Clique em Guardar.

    O produto de dados recém-criado aparece na página Produtos de dados do catálogo universal do Dataplex.

REST

Para adicionar aspetos e documentação para um produto de dados, use o método entries.patch.

A documentação de um produto de dados é gerida através do tipo de aspeto do sistema overview.

O que se segue?