Sobre produtos de dados

Este documento descreve a arquitetura e os principais conceitos dos produtos de dados no Knowledge Catalog (antigo Dataplex Universal Catalog).

Um produto de dados é uma coleção lógica e selecionada de ativos de dados, formalmente empacotada para garantir que seja detectável, confiável e acessível. As principais capacidades de um produto de dados incluem:

  • Organize os recursos do catálogo em uma unidade lógica que resolva um problema específico da empresa e permita insights mais rápidos.
  • Distribua com contexto, incluindo uma descrição, documentação e aspectos.
  • Estabeleça confiança com contratos que permitam que os produtores de dados ofereçam garantias aos consumidores.
  • Ofereça um fluxo de trabalho de autoatendimento para que os consumidores de dados avaliem produtos de dados e tenham acesso a eles.

Principais conceitos

Esta seção descreve os principais conceitos e terminologias relacionados a produtos de dados.

Produto de dados

Um agrupamento lógico e selecionado de recursos de dados, formalmente empacotados para serem detectáveis, confiáveis e acessíveis para resolver problemas de negócios específicos.

Recurso

Um ponteiro para um recurso de dados físico, como um conjunto de dados, uma tabela ou uma visualização do BigQuery. Um produto de dados contém um ou mais recursos.

Grupo de acesso

Os grupos de acesso simplificam o gerenciamento de permissões para seu produto de dados. Eles mapeiam papéis fáceis de usar (como Reader ou Analyst) para Grupos do Google ou contas de serviço subjacentes. Essa abstração permite que os proprietários de produtos de dados gerenciem o acesso em um nível conceitual e ajuda os consumidores de produtos de dados a solicitar o nível de acesso adequado.

  • Os proprietários de produtos de dados configuram grupos de acesso e atribuem permissões específicas de recursos a eles.

  • Os consumidores de produtos de dados usam esses grupos para solicitar acesso ao produto de dados.

Proprietário ou produtor de produto de dados

A pessoa ou equipe responsável pela criação e gestão de produtos de dados. Isso inclui o gerenciamento de qualidade, acesso e documentação.

Consumidor de produtos de dados

A pessoa, equipe ou agente de IA que consome produtos de dados para gerar insights.

Contrato

Um contrato entre o proprietário do produto de dados e os consumidores. Esse contrato define expectativas claras ao definir termos específicos sobre como os dados serão fornecidos e usados, como cronograma de atualização e padrões de qualidade.

Exemplo de caso de uso:

Considere um cientista de dados analisando uma empresa de e-commerce. O objetivo é encontrar o valor médio do pedido (VMP) por origem de tráfego e verificar se há uma correlação entre a idade do usuário e o tamanho do pedido. Para isso, eles precisam combinar dados de várias tabelas, como order_details, user_traffic e user_demographics.

Em uma configuração convencional, esse processo cria atrito. Para gerar insights, o cientista de dados precisa primeiro descobrir as tabelas corretas no vasto cenário de dados da organização, entrar em contato com cada proprietário de dados, justificar a solicitação de acesso e aguardar a aprovação.

Com os produtos de dados, os proprietários podem simplificar essa experiência agrupando os recursos relevantes em um único produto chamado "Dados comerciais de e-commerce". Este pacote inclui o seguinte:

  • Recursos

    • Tabelas do BigQuery order_details e user_traffic (com dados históricos de pedidos e origens de tráfego)
    • Visualização do BigQuery user_demographics (fornecendo detalhes do usuário com dados pessoais excluídos)

  • Grupos de acesso

    • Grupos Reader e Writer predefinidos para simplificar as solicitações de acesso

  • Contrato

    • Um contrato que define a frequência de atualização dos dados (por exemplo, semanalmente às 8h PST)

  • Contexto

    • Documentação com exemplos de consultas e outros detalhes
    • Metadados adicionais para descrever a sensibilidade dos dados

Agora, os cientistas de dados podem descobrir esse produto de dados como uma única unidade lógica. Assim, eles podem gerar insights para responder a perguntas como: "Qual é o valor médio do pedido para cada origem de tráfego?", revelando quais origens geram os clientes de maior valor.

Fluxo de usuários do produto de dados

O ciclo de vida do produto de dados no Knowledge Catalog envolve duas jornadas principais do usuário: uma para o proprietário (ou produtor) do produto de dados, que cria e gerencia os dados, e outra para o consumidor do produto de dados, que o descobre e usa.

Jornada do proprietário do produto de dados

Esta jornada se concentra em empacotar, proteger e governar os produtos de dados para garantir que eles sejam confiáveis e acessíveis.

  • Criação: defina o produto de dados e inclua ativos. Isso envolve as seguintes ações:

    • Configure o nome exclusivo, o projeto, a região e a descrição.
    • Adicione recursos como tabelas, conjuntos de dados ou visualizações do BigQuery.
    • Configure grupos de acesso (por exemplo, Analyst ou Reader) e mapeie-os para Grupos do Google ou contas de serviço subjacentes para simplificar o gerenciamento de permissões.
    • Atribua os papéis do IAM necessários a esses grupos de acesso para os recursos específicos.
    • Adicione um contrato (um aspecto do sistema) para comunicar formalmente a cadência, a frequência e o limite de atualização de dados acordados.

    Para mais informações, consulte Criar produtos de dados.

  • Gerenciar: atualize o produto de dados e garanta a capacidade de descoberta. Isso envolve as seguintes ações:

    • Atualize detalhes básicos, recursos, permissões e aspectos complementares (metadados) e documentação em rich text.
    • Conceder acesso aos consumidores para descobrir e solicitar acesso a produtos de dados.

    Para mais informações, consulte Gerenciar produtos de dados.

Jornada do consumidor de produtos de dados

Essa jornada se concentra em encontrar rapidamente dados confiáveis e receber as permissões necessárias para usá-los.

  • Descobrir: encontre dados relevantes e confiáveis para um problema de negócios específico. Isso envolve as seguintes ações:

    • Use a Pesquisa do Knowledge Catalog com palavras-chave ou linguagem natural para encontrar o produto de dados empacotado.
    • Analise a visão geral, os recursos, o contrato e outros aspectos do produto de dados para determinar se ele é adequado para uso.

    Para mais informações, consulte Pesquisar produtos de dados.

  • Solicitar acesso: peça permissão ao proprietário do produto de dados para acessar os dados.

    Para mais informações, consulte Solicitar acesso a produtos de dados.

  • Uso: acesse os recursos subjacentes para gerar insights. Isso envolve a seguinte ação:

    • Após a aprovação, você poderá acessar o produto e os recursos dele. Por exemplo, se o recurso for uma tabela do BigQuery, navegue até o BigQuery Studio e consulte os dados diretamente.

    • Para aplicativos e fluxos de trabalho de desenvolvimento que operam fora do Google Cloud, é possível expor o produto de dados usando um gateway de metadados externo. Para mais informações, consulte Usar o servidor MCP remoto do Knowledge Catalog.

    Para mais informações, consulte Consumir produtos de dados.

Recursos compatíveis

Um produto de dados pode ser composto por um ou mais recursos de dados. Há suporte para os seguintes recursos de dados:

  • Conjuntos de dados do BigQuery
  • Tabelas do BigQuery
  • Visualizações do BigQuery
  • Rotinas do BigQuery
  • Modelos do BigQuery
  • Tabelas externas do BigQuery
  • Conjuntos de dados da Gemini Enterprise Agent Platform
  • Modelos da Gemini Enterprise Agent Platform
  • Buckets do Cloud Storage

Limitações

  • Local: os produtos de dados e os recursos subjacentes precisam estar no mesmoGoogle Cloud local.
  • Metadados automatizados: a documentação e os insights automatizados não são compatíveis com as multirregiões us (Estados Unidos) e eu (União Europeia).
  • Modelos do BigQuery: o acesso a modelos do BigQuery em um produto de dados é gerenciado por condições do IAM aplicadas à política do IAM do conjunto de dados principal. O compartilhamento de modelos do BigQuery está sujeito às limitações das condições do IAM.
  • Cotas e limites: para uma lista completa de limites de taxa de API e cotas de capacidade, consulte Cotas para solicitações de API de produtos de dados.
  • Buckets zonais não são aceitos.

A seguir