Sobre domínios de dados

Os domínios de dados no Knowledge Catalog (antigo Dataplex Universal Catalog) permitem organizar e selecionar recursos de dados corporativos em uma hierarquia lógica que reflete a estrutura e a propriedade da sua empresa. Em seguida, é possível gerenciar a visibilidade dos metadados em grande escala, capturar o contexto de governança compartilhado e definir o escopo da descoberta de dados para domínios de negócios específicos.

Principais recursos dos domínios de dados

Os domínios de dados separam a organização lógica de dados da hierarquia de recursos do Google Cloud de pastas e projetos. Os domínios de dados oferecem os seguintes recursos principais:

  • Defina uma hierarquia lógica de organização de dados alinhada aos seus processos de negócios e agrupamentos lógicos de dados, dissociada da hierarquia de recursos Google Cloud de pastas e projetos.
  • Atuar como a unidade lógica de propriedade para equipes de domínio descentralizadas, complementando os produtos de dados.
  • Oferecer controle centralizado sobre quem pode descobrir recursos e os respectivos metadados em escala.
  • Capture contextos comuns, como orientações de uso, padrões de governança, descrições e informações de propriedade.
  • Use o domínio de dados para restringir os resultados da pesquisa a um domínio específico. Por exemplo, permita que os usuários pesquisem exclusivamente no domínio Marketing para uma descoberta mais rápida e relevante.
  • Embasar agentes de IA no contexto do domínio. O método lookupContext retorna o contexto dos domínios de dados e indica a quais domínios um recurso de dados pertence. Para mais informações, consulte Recuperar contexto para domínios de dados.

Exemplo de caso de uso:

Considere uma empresa de varejo global com recursos de dados espalhados por departamentos como Vendas, Cadeia de Suprimentos e Marketing. Recursos de dados logicamente semelhantes, como tabelas ou conjuntos de dados relacionados a vendas, estão espalhados por vários projetos do Google Cloud, o que dificulta a descoberta e a governança consistente.

Os exemplos a seguir mostram como vários usuários interagem com domínios de dados:

  • Administrador de domínio de dados

    Estabelece uma hierarquia lógica, independente dos projetos doGoogle Cloud subjacentes, e delega a governança no nível do domínio.

    • Cria domínios de nível superior que correspondem à estrutura organizacional (como Sales, Supply Chain e Marketing) e configura subdomínios (como Online Sales e Store Transactions em Sales).
    • Atribui proprietários de domínio de dados designados para cada domínio (por exemplo, atribuindo o lead de vendas como o proprietário do domínio Sales).

    Para mais informações sobre como criar uma hierarquia de domínio de dados e incluir recursos, consulte Criar domínios de dados e Incluir recursos em um domínio de dados.

  • Proprietário do domínio de dados

    Define o conteúdo dos domínios de dados de propriedade deles: inclui recursos de dados nos domínios, define o contexto de todo o domínio e estabelece políticas de metadados nos domínios para gerenciar em escala a facilidade de descoberta dos recursos de dados do domínio e a visibilidade do contexto e dos metadados. Por exemplo, o proprietário dos dados do domínio de vendas realiza as seguintes ações:

    • Inclui conjuntos de dados, tabelas e produtos de dados espalhados por diferentes projetos no domínio Sales.
    • Define aspectos no nível do domínio, como padrões de retenção de dados e centros de custo. Define quem pode descobrir os recursos do domínio e acessar o contexto e os metadados deles, concedendo os papéis e as permissões necessários ao grupo analysts@example.com.

    Para mais informações sobre como gerenciar domínios de dados, consulte Gerenciar domínios de dados.

  • Usuário do domínio de dados

    Descobre de forma eficiente recursos de vendas relevantes e confiáveis em um contexto de negócios sem precisar analisar dados corporativos não relacionados. Por exemplo, para receber dados de vendas de uma próxima campanha de marketing, o usuário do domínio de dados faz o seguinte:

    • Explora a hierarquia de domínios para identificar o domínio Sales.
    • Define o escopo da pesquisa para o domínio para encontrar os recursos relevantes.
    • Inspeciona os metadados, os esquemas e as orientações de uso do recurso para avaliar a adequação ao uso.

    Para mais informações sobre como usar domínios de dados para encontrar dados relevantes, consulte Usar domínios de dados.

Recursos compatíveis

É possível usar domínios de dados para os seguintes recursos:

  • Projetos
  • Produtos de dados
  • Conjuntos de dados do BigQuery
  • Tabelas do BigQuery
  • Repositórios do Dataform
  • Bancos de dados do Dataproc Metastore
  • Tabelas do Dataproc Metastore
  • Bancos de dados do Spanner
  • Tabelas do BigLake
  • Instâncias do AlloyDB para PostgreSQL
  • Conjuntos de dados da Gemini Enterprise Agent Platform

Domínios e produtos de dados

Os domínios e produtos de dados servem como elementos complementares que você pode usar para descobrir e acessar seus recursos de dados. Um domínio de dados oferece uma maneira lógica de organizar recursos de dados com base na estrutura de negócios. Um produto de dados agrupa ativos relacionados, como tabelas ou visualizações, em um pacote selecionado projetado para resolver casos de uso comercial específicos.

Limitações

Limitações de pesquisa

Quando você pesquisa recursos fora do contexto do domínio, por exemplo, ao usar uma pesquisa global, as permissões de descoberta do domínio não se aplicam. Você só vê os recursos que pode acessar no sistema, como o BigQuery.

Suponha que um conjunto de dados do BigQuery esteja incluído em um domínio de dados. Você tem o papel Dataplex Data Domain Entry Reader no domínio, mas não tem permissão direta para visualizar o conjunto de dados no BigQuery:

  • Pesquisa no domínio:o conjunto de dados aparece nos resultados da pesquisa porque as permissões do domínio são aplicáveis.
  • Pesquisa fora do domínio:o conjunto de dados não aparece nos resultados da pesquisa. Em uma pesquisa genérica, as permissões de domínio não se aplicam e você não tem acesso direto no BigQuery.

Limitações de autorização

No estágio de lançamento de pré-lançamento, não há sincronização contínua do IAM em segundo plano. A autorização do domínio é verificada apenas quando uma vinculação é criada. Isso significa que, se você revogar o papel do IAM do principal do domínio em um recurso, ele não será desvinculado ou removido automaticamente do domínio.

A seguir