Sobre domínios de dados

Os domínios de dados no Knowledge Catalog (antigo Dataplex Universal Catalog) oferecem uma maneira lógica de organizar, gerenciar, descobrir e selecionar recursos de dados em uma empresa, refletindo a estrutura e a propriedade dos negócios.

Principais recursos dos domínios de dados

Os domínios de dados separam a organização lógica dos dados da hierarquia de recursos subjacente Google Cloud de pastas e projetos. Os domínios de dados oferecem os seguintes recursos principais:

  • Definir uma hierarquia de organização lógica de dados alinhada aos processos de negócios e agrupamentos lógicos de dados, separada da Google Cloud hierarquia de recursos de pastas e projetos.
  • Atuar como a unidade lógica de propriedade para equipes de domínio descentralizadas, complementando produtos de dados.
  • Fornecer controle centralizado sobre quem pode descobrir recursos e metadados em escala.
  • Capturar contexto comum, como orientações de uso, padrões de governança, descrições e informações de propriedade.
  • Usar o domínio de dados para restringir os resultados da pesquisa a um domínio específico. Por exemplo, permitir que os usuários pesquisem exclusivamente no domínio Marketing para uma descoberta mais rápida e relevante.

Exemplo de caso de uso:

Considere uma empresa global de varejo com recursos de dados espalhados por departamentos como vendas, cadeia de suprimentos e marketing. Recursos de dados logicamente semelhantes, como tabelas ou conjuntos de dados relacionados a vendas, estão espalhados por vários Google Cloud projetos, dificultando a descoberta e a governança consistente.

Os exemplos a seguir mostram como vários usuários interagem com domínios de dados:

  • Administrador do domínio de dados

    Estabelece uma hierarquia lógica, independente dos projetos subjacentes Google Cloud , e delega a governança no nível do domínio.

    • Cria domínios de nível superior que correspondem à estrutura organizacional (como Sales, Supply Chain, e Marketing) e configura subdomínios (como Online Sales e Store Transactions em Sales).
    • Atribui proprietários de domínio de dados designados para cada domínio (por exemplo, atribuir o líder de vendas como proprietário do domínio Sales).

    Para mais informações sobre como criar uma hierarquia de domínio de dados e incluir recursos, consulte Criar domínios de dados e Incluir recursos em um domínio de dados.

  • Proprietário do domínio de dados

    Define o conteúdo dos domínios de dados de que é proprietário: inclui recursos de dados nos domínios, define o contexto em todo o domínio e estabelece políticas de metadados nos domínios para gerenciar a capacidade de descoberta dos recursos de dados do domínio e a visibilidade do contexto e dos metadados em escala. Por exemplo, o proprietário dos dados do domínio de vendas realiza as seguintes ações:

    • Inclui conjuntos de dados, tabelas e produtos de dados espalhados por diferentes projetos no domínio Sales.
    • Define aspectos no nível do domínio, como padrões de retenção de dados e centros de custo. Define quem pode descobrir os recursos do domínio e acessar o contexto e os metadados deles, concedendo os papéis e permissões necessários ao grupo analysts@example.com.

    Para mais informações sobre como gerenciar domínios de dados, consulte Gerenciar domínios de dados.

  • Usuário do domínio de dados

    Descobre com eficiência recursos de vendas relevantes e confiáveis em um contexto de negócios sem precisar analisar dados empresariais não relacionados. Por exemplo, para receber dados de vendas de uma campanha de marketing futura, o usuário do domínio de dados faz o seguinte:

    • Explora a hierarquia de domínio para identificar o domínio Sales.
    • Escopo da pesquisa para o domínio para encontrar os recursos relevantes.
    • Inspeciona os metadados, esquemas e orientações de uso do recurso para avaliar a adequação ao uso.

    Para mais informações sobre como usar domínios de dados para encontrar dados relevantes, consulte Usar domínios de dados.

Recursos compatíveis

É possível usar domínios de dados para os seguintes recursos:

  • Projetos
  • Produtos de dados
  • Conjuntos de dados do BigQuery
  • Tabelas do BigQuery
  • Repositórios do Dataform
  • Bancos de dados do metastore do Dataproc
  • Tabelas do metastore do Dataproc
  • Bancos de dados do Spanner
  • Tabelas do BigLake
  • Instâncias do AlloyDB para PostgreSQL
  • Conjuntos de dados da Gemini Enterprise Agent Platform

Domínios de dados e produtos de dados

Os domínios de dados e os produtos de dados servem como blocos de construção complementares que podem ser usados para descobrir e acessar seus recursos de dados. Um domínio de dados oferece uma maneira lógica de organizar recursos de dados com base na estrutura de negócios. Um produto de dados empacota recursos relacionados, como tabelas ou visualizações, em um pacote selecionado projetado para resolver casos de uso de negócios específicos.

Limitações

Limitações da pesquisa

Ao pesquisar recursos fora do contexto do domínio, por exemplo, ao usar uma pesquisa global, as permissões de capacidade de descoberta do domínio não são aplicadas. Você só vê os recursos a que tem acesso no sistema subjacente, como o BigQuery.

Suponha que um conjunto de dados do BigQuery esteja incluído em um domínio de dados. Você tem o papel de Dataplex Data Domain Entry Reader para o domínio, mas não tem permissão direta para visualizar o conjunto de dados no BigQuery:

  • Pesquisar no domínio:o conjunto de dados aparece nos resultados da pesquisa porque as permissões de domínio são aplicadas.
  • Pesquisar fora do domínio:o conjunto de dados não aparece nos resultados da pesquisa. Em uma pesquisa geral, as permissões de domínio não são aplicadas, e você não tem acesso direto no BigQuery.

Limitações de autorização

No estágio de lançamento da prévia, não há sincronização contínua do IAM em segundo plano. A autorização de domínio é verificada apenas quando uma vinculação é criada. Isso significa que, se você revogar o papel do IAM da entidade de domínio em um recurso, ele não será desvinculado ou removido automaticamente do domínio.

A seguir