Sobre produtos de dados

Os produtos de dados no Knowledge Catalog (antigo Dataplex Universal Catalog) permitem empacotar recursos de catálogo relacionados em uma única unidade selecionada para resolver problemas de negócios específicos. Em seguida, é possível adicionar contexto e contratos para ajudar os consumidores de dados a descobrir, avaliar e solicitar acesso de autoatendimento a dados confiáveis.

Principais recursos

Os produtos de dados oferecem os seguintes recursos principais:

  • Organize os recursos do catálogo em uma unidade lógica que resolva um problema de negócios específico e acelere o tempo de geração de insights.
  • Distribua recursos de dados com contexto que inclua uma descrição, documentação e aspectos.
  • Estabeleça confiança com contratos que permitem que os produtores de dados forneçam garantias aos consumidores de dados.
  • Ofereça um fluxo de trabalho de autoatendimento para que os consumidores de dados avaliem produtos de dados e tenham acesso a eles.

Principais conceitos

Nesta seção, descrevemos os principais conceitos e terminologias relacionados a produtos de dados.

Produto de dados

Um agrupamento lógico e selecionado de recursos de dados, formalmente empacotado para ser detectável, confiável e acessível para resolver problemas de negócios específicos.

Recurso

Um ponteiro para um recurso de dados físico, como um conjunto de dados, uma tabela ou uma visualização do BigQuery. Um produto de dados contém um ou mais recursos.

Grupo de acesso

Os grupos de acesso simplificam a gestão de permissões do seu produto de dados. Eles mapeiam papéis fáceis de usar (como Reader ou Analyst) para os Grupos do Google ou as contas de serviço subjacentes. Essa abstração permite que os proprietários de produtos de dados gerenciem o acesso em um nível conceitual e ajuda os consumidores de produtos de dados a solicitar o nível de acesso adequado.

  • Os proprietários de produtos de dados configuram grupos de acesso e podem atribuir um papel padrão do IAM, que é aplicado automaticamente a todos os recursos compatíveis no produto de dados. Se um papel padrão não for atribuído, os proprietários poderão atribuir papéis específicos do IAM diretamente aos recursos.

  • Os consumidores de produtos de dados usam esses grupos para solicitar acesso ao produto de dados.

Proprietário ou produtor do produto de dados

A pessoa ou equipe responsável pela criação e pelo gerenciamento de produtos de dados. Isso inclui o gerenciamento de qualidade, acesso e documentação.

Consumidor de produtos de dados

A pessoa, equipe ou agente de IA que consome produtos de dados para gerar insights.

Contrato

Um contrato entre o proprietário do produto de dados e os consumidores. Esse contrato define expectativas claras ao definir termos específicos para como os dados serão fornecidos e usados, como o cronograma de atualização e os padrões de qualidade.

Exemplo de caso de uso:

Imagine um cientista de dados analisando um negócio de e-commerce. A meta é encontrar o valor médio do pedido (VMP) por origem de tráfego e verificar se há uma correlação entre a idade do usuário e o tamanho do pedido. Para isso, eles precisam combinar dados de várias tabelas, como order_details, user_traffic e user_demographics.

Em uma configuração convencional, esse processo cria atrito. Para gerar insights, o cientista de dados precisa primeiro descobrir as tabelas corretas no vasto cenário de dados da organização, entrar em contato com cada proprietário de dados, justificar a solicitação de acesso e aguardar a aprovação.

Com os produtos de dados, os proprietários de dados podem simplificar essa experiência agrupando os recursos relevantes em um único produto chamado "Dados de negócios de e-commerce". Esse pacote inclui o seguinte:

  • Recursos

    • Tabelas do BigQuery order_details e user_traffic (com dados históricos de pedidos e origens de tráfego)
    • Visualização do BigQuery user_demographics (fornecendo detalhes do usuário com as PII excluídas)

  • Grupos de acesso

    • Grupos predefinidos de Reader e Writer para simplificar as solicitações de acesso

  • Contrato

    • Um contrato que define a frequência de atualização de dados (por exemplo, semanalmente às 8h PST)

  • Contexto

    • Documentação com exemplos de consultas e outros detalhes
    • Metadados adicionais para representar a sensibilidade dos dados

Os cientistas de dados agora podem descobrir esse produto de dados como uma única unidade lógica. Isso permite que eles gerem insights com confiança para responder a perguntas como: "Qual é o valor médio do pedido para cada origem de tráfego?", revelando quais origens geram os clientes de maior valor.

Fluxo do usuário do produto de dados

O ciclo de vida do produto de dados no Knowledge Catalog envolve duas jornadas do usuário principais: uma para o proprietário (ou produtor) do produto de dados, que cria e gerencia os dados, e outra para o consumidor do produto de dados, que os descobre e usa.

Jornada do proprietário de produtos de dados

Essa jornada se concentra em empacotar, proteger e governar os produtos de dados para garantir que sejam confiáveis e acessíveis.

  • Criar: defina o produto de dados e inclua recursos. Isso envolve as seguintes ações:

    • Configure o nome exclusivo, o projeto, a região e a descrição.
    • Adicione recursos, como tabelas, conjuntos de dados ou visualizações do BigQuery.
    • Configure grupos de acesso (por exemplo, Analyst ou Reader) e mapeie-os para os Grupos do Google ou as contas de serviço subjacentes para simplificar o gerenciamento de permissões.
    • Se quiser, atribua um papel padrão do IAM a um grupo de acesso para conceder permissões automaticamente em todos os recursos compatíveis no produto de dados.
    • Atribua os papéis do IAM necessários a esses grupos de acesso para os recursos específicos.
    • Adicione um contrato (um aspecto do sistema) para comunicar formalmente a cadência, a frequência e o limite de atualização de dados acordados.

    Para mais informações, consulte Criar produtos de dados.

  • Gerenciar: atualize o produto de dados e garanta a facilidade de descoberta. Isso envolve as seguintes ações:

    • Atualize detalhes básicos, recursos, permissões e aspectos complementares (metadados) e documentação de rich text.
    • Conceder acesso aos consumidores para descobrir e solicitar acesso a produtos de dados.

    Para mais informações, consulte Gerenciar produtos de dados.

Jornada do consumidor de produtos de dados

Essa jornada se concentra em encontrar rapidamente dados confiáveis e receber as permissões necessárias para usá-los.

  • Descoberta: encontre dados relevantes e confiáveis para um problema de negócios específico. Isso envolve as seguintes ações:

    • Use a pesquisa do Knowledge Catalog com palavras-chave ou linguagem natural para encontrar o produto de dados empacotado.
    • Analise a visão geral, os recursos, o contrato e outros aspectos do produto de dados para determinar se ele é adequado para uso.

    Para mais informações, consulte Pesquisar produtos de dados.

  • Solicitar acesso: peça permissão ao proprietário do produto de dados para acessar os dados.

    Para mais informações, consulte Solicitar acesso a produtos de dados.

  • Uso: acesse os ativos subjacentes para gerar insights gerados. Isso envolve a seguinte ação:

    • Após a aprovação, você poderá acessar o produto e os recursos dele. Por exemplo, se o recurso for uma tabela do BigQuery, será possível navegar até o BigQuery Studio e consultar os dados diretamente.

    • Para aplicativos e fluxos de trabalho de desenvolvimento que operam fora do Google Cloud, é possível expor o produto de dados usando um gateway de metadados externo. Para mais informações, consulte Usar o servidor MCP remoto do Knowledge Catalog.

    Para mais informações, consulte Consumir produtos de dados.

Recursos compatíveis

Um produto de dados pode ser composto por um ou mais recursos de dados. Os seguintes recursos de dados são compatíveis:

  • Conjuntos de dados do BigQuery
  • Tabelas do BigQuery
  • Visualizações do BigQuery
  • Rotinas do BigQuery
  • Modelos do BigQuery
  • Tabelas externas do BigQuery
  • Conjuntos de dados da Gemini Enterprise Agent Platform
  • Modelos da Gemini Enterprise Agent Platform
  • Buckets do Cloud Storage
  • Catálogos do catálogo REST do Iceberg
  • Namespaces do catálogo REST do Iceberg
  • Tabelas do catálogo REST do Iceberg
  • Painéis do Looker (Google Cloud Core)
  • Elementos do painel do Looker (Google Cloud Core)
  • Looks do Looker (Google Cloud Core)
  • Análises do Looker (Google Cloud Core)
  • Projetos do LookML do Looker (Google Cloud Core)
  • Modelos do LookML do Looker (Google Cloud Core)
  • Visualizações do LookML do Looker (Google Cloud Core)

Limitações

  • Local: os produtos de dados e os recursos relacionados precisam estar no mesmo local doGoogle Cloud .
  • Modelos do BigQuery: o acesso aos modelos do BigQuery em um produto de dados é gerenciado por meio de condições do IAM aplicadas à política do IAM do conjunto de dados pai. O compartilhamento de modelos do BigQuery está sujeito às limitações das condições do IAM.

  • Recursos do Looker (Google Cloud Core): o uso de recursos do Looker (Google Cloud Core) em produtos de dados tem as seguintes limitações:

    • Não há suporte para contas de serviço: o espelhamento de Grupos do Google no Looker (Google Cloud Core) só aceita identidades de usuários humanos. Os grupos de acesso configurados em recursos do Looker (Google Cloud Core) não podem incluir um principal de conta de serviço.
    • Os papéis padrão do IAM do grupo de acesso não são compatíveis: os papéis padrão do IAM atribuídos no nível do grupo de acesso não são aplicados aos recursos do Looker (Google Cloud Core) e são marcados como unsupported. É necessário configurar explicitamente as permissões do grupo de acesso em cada recurso do Looker (Google Cloud Core).
    • Sincronização manual de permissões no Looker (Google Cloud Core): os nomes de papéis configurados em um recurso do Looker (Google Cloud Core) em um produto de dados são marcadores de posição informativos para os consumidores. Os produtores de dados precisam configurar e manter manualmente os níveis de acesso às pastas e os papéis do Looker para o grupo espelhado dentro da instância do Looker (Google Cloud Core).

  • Cotas e limites: para uma lista completa de limites de taxa de API e cotas de capacidade, consulte Cotas para solicitações de API de produtos de dados.

  • Os buckets zonais não são compatíveis.

A seguir