Conceptos de malla de datos (obsoleto)

Antes de profundizar en la guía detallada sobre la implementación de la malla de datos con Google Cloud Cortex Framework, en esta página se proporcionan las bases para implementar los conceptos relevantes de la malla de datos en un producto de Google Cloud y, específicamente, con el contexto de Cortex Framework. Después de comprender los conceptos de malla de datos, consulta la Guía del usuario de malla de datos para la base de datos de Cortex Framework.

Knowledge Catalog

En la siguiente tabla, se definen los conceptos de malla de datos en Knowledge Catalog:

Concepto Descripción Contexto de Cortex Framework
Lake Es la unidad de nivel superior para organizar datos dentro de una malla de datos. Administra Knowledge Catalog - Lakes. Una fuente de datos, por ejemplo, SAP ECC, Salesforce o Google Ads.
Zona Es la unidad de segundo nivel para organizar los datos dentro de un lake. Capas de procesamiento específicas dentro de una fuente de datos, como datos sin procesar en comparación con CDC.
Recurso de Knowledge Catalog Referencia a los datos almacenados en Cloud Storage o BigQuery que están asociados con una zona. Esta es una referencia al recurso de datos y no a los datos en sí. Referencia a conjuntos de datos de BigQuery registrados en zonas.
Etiqueta Pares clave-valor arbitrarios que se pueden aplicar a lakes o zonas. Etiqueta data lakes o zonas completos (en lugar de tablas o columnas) con metadatos que se puedan ver en Knowledge Catalog o usar para aplicaciones personalizadas.
Data Catalog Metadatos empresariales técnicos que se pueden usar para ayudar a descubrir, comprender o administrar recursos de datos dentro de un almacén. Anotar tablas o columnas (en lugar de lakes o zonas) con etiquetas de metadatos enriquecidos que se pueden usar en la búsqueda de Knowledge Catalog o en aplicaciones personalizadas
Plantillas de etiquetas del catálogo Es una plantilla que define los campos disponibles y sus tipos en una etiqueta. Administrar Knowledge Catalog - Plantillas de etiquetas Define un conjunto de plantillas para usos como etiquetar recursos de datos con líneas de negocio.
Etiqueta de catálogo Es un conjunto de campos y sus valores que contienen metadatos aplicables a una tabla o columna. Es una instancia de una plantilla de etiqueta. Anotar una tabla o columna con valores de metadatos relevantes para ese recurso, como una línea de negocio en particular
Glosario del catálogo Es un diccionario de términos que se pueden definir y asociar con las columnas de BigQuery. Administra Knowledge Catalog - Glosarios. Define los términos o acrónimos que se usan en los recursos de BigQuery. Ten en cuenta que esto está planificado para el futuro y no se admite.
Linaje de datos Un grafo que representa las dependencias de los recursos de BigQuery. La malla de datos de Cortex no los define, pero es una herramienta relevante de Knowledge Catalog para ayudar a los usuarios a descubrir fuentes de datos de recursos de BigQuery.
Evento de linaje Es un momento en el que se produjo una operación para mover datos entre los recursos de BigQuery. Contiene una lista de vínculos. Se crean automáticamente para las operaciones compatibles de BigQuery y Composer.
Vínculo de linaje Es un perímetro que representa los datos que fluyen de un recurso de origen a uno de destino como parte de un evento de linaje. Se puede analizar para admitir casos de uso más allá de los gráficos de visualización de linaje que se presentan en la consola.

BigQuery

En la siguiente tabla, se definen los conceptos de malla de datos en BigQuery:

Concepto Descripción Contexto de Cortex Framework
Taxonomía de políticas Una jerarquía de etiquetas de política. Administra BigQuery: Etiquetas de política. Organiza las etiquetas de política relacionadas que se pueden usar para el control de acceso en una jerarquía con permisos heredados.
Etiqueta de política Es una etiqueta que se aplica a columnas específicas dentro de una tabla o vista de BigQuery. Se pueden aplicar etiquetas de política en cualquier nivel de la jerarquía. Solo se puede aplicar una etiqueta de política a una columna en particular. Anotar columnas con etiquetas que se usan para el control de acceso a nivel de columna Las principales de la etiqueta de política definen los lectores "detallados" o "sin enmascarar" que pueden ver los datos de la columna sin procesar.
Política de datos Son políticas que se aplican a una etiqueta de política y definen cómo y quién puede ver los datos de la columna enmascarada. Las principales de la política de datos definen a los "lectores enmascarados" que pueden ver los datos de las columnas enmascaradas. Cualquier persona que no tenga privilegios de lector enmascarado o sin enmascarar no podrá consultar la columna.
Regla de enmascaramiento Son reglas que se aplican a una política de datos y definen cómo se enmascaran los datos, por ejemplo, con un hash, mostrando un valor predeterminado, los últimos cuatro caracteres y otros. Se aplica de forma situacional a las columnas sensibles.
Política de acceso a las filas Son sentencias de SQL que definen qué grupos pueden consultar filas dentro de las tablas según valores de columnas específicos. Se usa para el control de acceso a nivel de fila cuando el control a nivel de recurso y columna no es suficiente.

Concepto de malla de datos de Cortex

En la siguiente tabla, se definen conceptos específicos de la malla de datos dentro de Cortex Framework:

Concepto Descripción Contexto de Cortex Framework
Recurso de metadatos Son entidades de metadatos que se pueden reutilizar en varios recursos de BigQuery. Algunos ejemplos son los lagos, las plantillas de etiquetas del catálogo y las taxonomías de políticas. Esto se refiere específicamente a los metadatos y no a los datos en BigQuery. Define recursos reutilizables para habilitar la administración coherente de la malla de datos de Cortex.
Recurso de BigQuery Tabla o vista de BigQuery. Objetos existentes de Cortex BigQuery que se rigen con la malla de datos.
Anotación de recursos de BigQuery Son los metadatos aplicados a una tabla o vista específica de BigQuery. Esto incluye descripciones, políticas de acceso y asignaciones a recursos de metadatos. Asocia metadatos con recursos de BigQuery para habilitar el descubrimiento y el control de acceso.
Especificación de recursos (spec) Un archivo YAML que define un recurso de metadatos o una anotación de recurso de BigQuery. El conjunto completo de especificaciones de recursos codifica la configuración de la malla de datos que se implementará.