(Descontinuado) Conceitos de malha de dados

Antes de conferir o guia detalhado sobre como implantar a malha de dados com o Google Cloud Cortex Framework, esta página oferece uma base de como os conceitos relevantes de malha de dados são implementados em um Google Cloud produto e especificamente no contexto do Cortex Framework. Depois de entender os conceitos de malha de dados, consulte o Guia do usuário da malha de dados para o Cortex Framework Data Foundation.

Catálogo de Conhecimento

A tabela a seguir define os conceitos de malha de dados no Catálogo de Conhecimento:

Conceito Descrição Contexto do Cortex Framework
Lago Unidade de nível superior para organizar dados em uma malha de dados. Gerenciar o Catálogo de Conhecimento: lagos. Uma fonte de dados, por exemplo, SAP ECC, Salesforce, Google Ads.
Zona Unidade de segundo nível para organizar dados em um lago. Camadas de processamento específicas em uma fonte de dados como bruta versus CDC.
Recurso do Catálogo de Conhecimento Referência a dados armazenados no Cloud Storage ou no BigQuery associados a uma zona. Essa é uma referência ao recurso de dados e não aos dados em si. Referência a conjuntos de dados do BigQuery registrados em zonas.
Rótulo Pares de chave-valor arbitrários que podem ser aplicados a lagos ou zonas. Rotule lagos ou zonas inteiras (em vez de tabelas ou colunas) com metadados que podem ser visualizados no Catálogo de Conhecimento ou usados para aplicativos personalizados.
Data Catalog Metadados técnicos de negócios que podem ser usados para ajudar a descobrir, entender ou gerenciar recursos de dados em um data warehouse. Anote tabelas ou colunas (em vez de lagos ou zonas) com tags de metadados avançadas que podem ser usadas na pesquisa do Catálogo de Conhecimento ou em aplicativos personalizados.
Modelos de tag do catálogo Um modelo que define os campos disponíveis e os tipos deles em uma tag. Gerenciar Catálogo de Conhecimento: modelos de tag Defina um conjunto de modelos para usos como marcar recursos de dados com linhas de negócios.
Tag do catálogo Um conjunto de campos e valores que contêm metadados aplicáveis a uma tabela ou coluna. Uma instância de um modelo de tag. Anote uma tabela ou coluna com metadados valores relevantes para esse recurso, como uma linha de negócios específica.
Glossário do catálogo Um dicionário de termos que podem ser definidos e associados a colunas do BigQuery. Gerenciar o Catálogo de Conhecimento: glossários. Defina termos ou acrônimos usados em recursos do BigQuery. Observação: isso está planejado para o futuro e não é compatível.
Linhagem de dados Um gráfico que representa dependências de recursos do BigQuery. Eles não são definidos pela malha de dados do Cortex, mas são uma ferramenta relevante do Catálogo de Conhecimento para ajudar os usuários a descobrir fontes de dados de recursos do BigQuery.
Evento de linhagem Um ponto no tempo em que uma operação ocorreu para mover dados entre recursos do BigQuery. Contém uma lista de links. Criado automaticamente para operações compatíveis do BigQuery e do Composer.
Link de linhagem Uma borda que representa dados que fluem de uma origem para um recurso de destino como parte de um evento de linhagem. Ele pode ser analisado para oferecer suporte a casos de uso além dos gráficos de visualização de linhagem apresentados no console.

BigQuery

A tabela a seguir define os conceitos de malha de dados no BigQuery:

Conceito Descrição Contexto do Cortex Framework
Taxonomia de políticas Uma hierarquia de tags de política. Gerenciar o BigQuery: tags de política. Organize tags de política relacionadas que podem ser usadas para controle de acesso em uma hierarquia com permissões herdadas.
Tag de política Uma tag aplicada a colunas específicas em uma tabela ou visualização do BigQuery. As tags de política em qualquer nível da hierarquia podem ser aplicadas. Apenas uma tag de política pode ser aplicada a uma coluna específica. Anote colunas com tags usadas para controle de acesso no nível da coluna. Os participantes na tag de política definem leitores "refinados" ou "não mascarados" que podem acessar os dados brutos da coluna.
Política de dados Políticas aplicadas a uma tag de política que definem como e quem pode visualizar os dados da coluna mascarada. Os participantes na política de dados definem os 'leitores mascarados' que podem acessar os dados da coluna mascarada. Qualquer pessoa que não tenha privilégios de leitor mascarado ou não mascarado não poderá consultar a coluna.
Regra de mascaramento Regras aplicadas a uma política de dados que definem como os dados são mascarados, por exemplo, hash, exibição de um valor padrão, últimos quatro caracteres e outros. Aplicado situacionalmente a colunas sensíveis.
Política de acesso à linha Instruções SQL que definem quais grupos podem consultar linhas em tabelas com base em valores de coluna específicos. Usado para controle de acesso no nível da linha quando o controle de recursos e colunas é insuficiente.

Conceito de malha de dados do Cortex

A tabela a seguir define conceitos específicos de malha de dados no Cortex Framework:

Conceito Descrição Contexto do Cortex Framework
Recurso de metadados Entidades de metadados que podem ser reutilizadas em vários recursos do BigQuery. Exemplos são lagos, modelos de tag do catálogo e taxonomias de políticas. Isso é especificamente os metadados e não os dados no BigQuery. Define recursos reutilizáveis para permitir o gerenciamento consistente da malha de dados do Cortex.
Recurso do BigQuery Tabela ou visualização do BigQuery. Objetos do Cortex BigQuery que são regidos pela malha de dados.
Anotação de recurso do BigQuery Metadados aplicados a uma tabela ou visualização específica do BigQuery. Isso inclui descrições, políticas de acesso, e mapeamentos para recursos de metadados. Associe metadados a recursos do BigQuery para permitir a descoberta e o controle de acesso.
Especificação de recursos Um arquivo YAML que define um recurso de metadados ou uma anotação de recurso do BigQuery. O conjunto completo de especificações de recursos codifica a configuração da malha de dados a ser implantada.