Los entornos de datos empresariales suelen contener cientos de conjuntos de datos, tablas y modelos de datos en varios sistemas de almacenamiento. Para comprender quién es el propietario de cada conjunto de datos, si contiene información sensible, como información de identificación personal (PII), o si cumple con los estándares de calidad, por lo general, debes investigar manualmente las fuentes de datos o buscar documentación dispersa.
Los aspectos y los tipos de aspectos en Knowledge Catalog (anteriormente, Dataplex Universal Catalog) resuelven este problema, ya que te proporcionan una forma estandarizada y extensible de adjuntar contexto empresarial estructurado, políticas de administración y atributos operativos directamente a los recursos de datos.
En este documento, se describen los conceptos de arquitectura, las reglas de alcance y los límites de administración para los tipos de aspectos y los aspectos en Knowledge Catalog. Para adjuntar aspectos a entradas existentes o crear tipos de aspectos personalizados, consulta Administra aspectos y enriquece metadatos.
Tipos de aspecto
Un tipo de aspecto (AspectType) es una plantilla de esquema reutilizable que define los campos de metadatos, los tipos de datos y las reglas de validación de un aspecto. Antes de crear o adjuntar un aspecto, debes tener un tipo de aspecto que defina su esquema.
Cuando creas un tipo de aspecto personalizado, debes especificar un ID que cumpla con los lineamientos de nombres de recursos de Knowledge Catalog.
Categorías de tipos de aspectos
Los tipos de aspectos se dividen en dos categorías según la propiedad y el alcance: tipos de aspectos personalizados y tipos de aspectos del sistema.
Tipos de aspectos personalizados
Los tipos de aspectos personalizados son plantillas de esquema que crea y administra tu organización. Se usan para capturar metadatos específicos del dominio, como la propiedad de la empresa, los niveles de ANS, las políticas de retención de datos o las clasificaciones de cumplimiento.
Los tipos de aspectos personalizados se aplican a las entradas y columnas, pero no a los vínculos de entrada. Esto significa que puedes usar tipos de aspectos personalizados para definir tu propia taxonomía específica de la organización para los activos de datos y los campos de esquema individuales. Como los tipos de aspectos personalizados no se aplican a los vínculos de entrada, no puedes usarlos para definir metadatos de relaciones personalizados entre entradas. Los vínculos de entrada solo admiten tipos de aspectos del sistema específicos. Puedes definir un tipo de aspecto personalizado en una ubicación regional específica o como un recurso global:
- Tipos de aspectos globales: Se replican en todas las regiones de Google Cloud y se pueden adjuntar a entradas que residen en cualquier región. Definir un tipo de aspecto global te permite aplicar un único esquema estandarizado en todo tu patrimonio distribuido sin administrar duplicados. Sin embargo, debido a que las definiciones de esquemas se replican de forma global, elige un tipo de aspecto regional si los requisitos de la política de cumplimiento o residencia de datos de tu organización requieren que las definiciones de metadatos permanezcan estrictamente confinadas a un límite geográfico específico.
- Tipos de aspectos regionales: Se almacenan en una región específica, como
us-central1oeurope-west1, y solo se pueden adjuntar a entradas que residen en esa misma región. Elige un tipo de aspecto regional para cumplir con los requisitos de soberanía de los datos o cuando las estructuras de metadatos sean exclusivas de una carga de trabajo regional. Si necesitas la misma estructura de metadatos en varias regiones aisladas, debes crear y mantener definiciones de tipos de aspectos independientes en cada región de destino.
Para obtener más información sobre el alcance de los recursos, consulta Restricciones de proyectos y ubicaciones.
Tipos de aspectos del sistema
Los tipos de aspectos del sistema son plantillas predefinidas que Google Cloud proporciona y mantiene. Los tipos de aspectos del sistema siempre son globales y se almacenan en un proyecto administrado por Google con el número de proyecto 655216118709 y el alias dataplex-types. Por ejemplo:
projects/655216118709/locations/global/aspectTypes/schema
Los tipos de aspectos del sistema se dividen en dos grupos funcionales:
- Tipos de aspectos del sistema reutilizables: Son plantillas propias que puedes adjuntar a entradas o columnas para registrar metadatos estandarizados, como definiciones de esquemas, generación de perfiles de datos automatizada o cuadros de evaluación de la calidad de los datos.
- Tipos de aspectos del sistema restringidos: Los servicios de Google Cloud los administran automáticamente para representar los atributos de la infraestructura subyacente, como los diseños de tablas de BigQuery o las configuraciones de bucket de Cloud Storage. Puedes ver los aspectos en los tipos restringidos, pero no puedes crearlos, modificarlos ni borrarlos de forma manual.
Cada tipo de aspecto del sistema tiene sus propios permisos de IAM. Para obtener más información, consulta Permisos de IAM para tipos de aspectos, tipos de entradas y tipos de vínculos de entradas del sistema.
En la siguiente tabla, se enumeran los tipos de aspectos del sistema que proporciona Knowledge Catalog:
| Categoría | Descripción | Tipos de aspectos que proporciona Knowledge Catalog |
|---|---|---|
| Tipo de aspecto del sistema reutilizable | Plantillas predefinidas que puedes adjuntar a entradas, columnas o vínculos de entrada. |
|
| Tipo de aspecto del sistema restringido | Plantillas de infraestructura administradas automáticamente por los servicios de Google Cloud . Los aspectos son de solo lectura. |
incluidos, sin limitaciones, los siguientes tipos:
|
Tipos de aspectos personalizados y Gemini en BigQuery
Gemini en BigQuery fundamenta la generación de SQL y el razonamiento de datos en definiciones de esquemas estándar, restricciones de tablas y campos de descripción de tablas o columnas nativos. Los tipos de aspectos personalizados definidos por el usuario en Knowledge Catalog se almacenan en el plano del catálogo para la administración, la búsqueda y la recuperación de APIs, pero no se insertan de forma dinámica en la canalización de recuperación de instrucciones contextuales de Gemini.
Esto significa que, para tu flujo de trabajo, las funciones potenciadas por IA generativa en BigQuery no pueden leer automáticamente los metadatos almacenados en campos de aspectos personalizados cuando generan consultas en SQL o responden preguntas sobre tus datos.
Prácticas recomendadas
Para garantizar que los modelos de IA generativa en BigQuery incorporen el contexto empresarial en las consultas generadas, debes propagar las descripciones de tablas y columnas nativas en BigQuery junto con los aspectos personalizados del catálogo. Este enfoque doble ayuda a garantizar que los asistentes de IA operativos recuperen el contexto de la tabla de forma interactiva, mientras que las canalizaciones de administración del catálogo aplican las políticas de metadatos empresariales.
Aspectos
Un aspecto (Aspect) es una instancia concreta de un tipo de aspecto adjunto a una entrada, columna o relación específica, que contiene los valores de metadatos reales. Los aspectos se encapsulan directamente dentro de sus recursos superiores, lo que te permite realizar operaciones atómicas de lectura y escritura junto con las actualizaciones de entradas. Esto significa que puedes recuperar o actualizar una entrada y todos sus metadatos asociados en una sola llamada a la API, lo que evita problemas de coherencia de varias llamadas.
Ubicación de los aspectos y niveles de destino
Puedes adjuntar aspectos en tres niveles de destino distintos dentro de Knowledge Catalog:
- Aspectos a nivel de entrada: Describen el recurso de datos en su totalidad. Usa aspectos de nivel de entrada para la propiedad a nivel del recurso (
contacts), los resúmenes ejecutivos (overview), las métricas de uso del conjunto de datos (usage) y las puntuaciones de calidad agregadas (data-quality-scorecard). - Aspectos a nivel de columna (rutas de acceso de esquema): Describe columnas individuales o campos anidados dentro de una tabla estructurada. Cuando hagas referencia a una columna, adjunta el aspecto con la notación de ruta de acceso del esquema
@Schema.<column_name>(por ejemplo,@Schema.email_addresso@Schema.billing_address.postal_code). Usa aspectos a nivel de columna para la clasificación de IIP, las reglas de calidad de los datos a nivel de columna y las etiquetas semánticas. - Aspectos a nivel de vínculo de entrada: Describe la relación entre dos entradas vinculadas. Puedes adjuntar aspectos a vínculos de entrada direccionales o no direccionales (excepto los vínculos
schema-join) para registrar metadatos de relaciones. Usa aspectos a nivel de vínculo de entrada para las puntuaciones de confianza de unión, las reglas de transformación o las notas de linaje de asignación.
En la siguiente tabla, se resume la ubicación de los aspectos admitidos:
| Nivel objetivo | Recurso objetivo | Sintaxis del identificador de clave | Tipos de aspectos comunes |
|---|---|---|---|
| Nivel básico | Recurso de datos (tabla, modelo, conjunto de archivos) | <aspect_type_id> |
contacts, overview, data-profile, ANS personalizados |
| Nivel de columna | Campo o columna dentro de un esquema de entrada | <aspect_type_id>@Schema.<column_name> |
Clasificación de PII, reglas de enmascaramiento de columnas y puntuaciones de validación de campos |
| Nivel de vínculo de entrada | Relación semántica entre entradas | <aspect_type_id> |
Confianza en la relación, criterios de unión y linaje de asignación |
Categorías de aspectos
Según el EntryType que rige, los aspectos adjuntos a una entrada se clasifican como obligatorios u opcionales:
- Aspectos obligatorios: El
EntryTypede la entrada los define como obligatorios. Los aspectos obligatorios se deben completar cuando se crea la entrada y no se pueden borrar mientras exista la entrada. En el caso de las entradas del sistema (como las tablas de BigQuery), Google Cloudcompleta y sincroniza automáticamente los aspectos obligatorios, comoSchema. - Aspectos opcionales: Metadatos complementarios que adjuntan los administradores de datos, las canalizaciones automatizadas o los agentes de IA para enriquecer una entrada más allá de los requisitos de su plantilla de referencia. Los aspectos opcionales se pueden agregar, actualizar o quitar en cualquier momento sin afectar el ciclo de vida de la entrada.
Tipos de aspectos del sistema especializados
Knowledge Catalog proporciona tipos de aspectos del sistema reutilizables y especializados que registran los resultados de la creación de perfiles de datos, la calidad de los datos y la extracción de relaciones:
- Cuadro de evaluación de la calidad de los datos (
data-quality-scorecard): Registra las puntuaciones generales de la calidad de los datos, el estado de la evaluación y las puntuaciones de las dimensiones por columna generadas por las verificaciones de calidad de los datos de Dataplex. - Reglas de datos (
data-rules) y plantillas de reglas (data-quality-rule-template): Almacena y administra reglas y plantillas de validación de datos reutilizables que se pueden aplicar en varios conjuntos de datos. - Perfil de datos (
data-profile): Almacena métricas estadísticas sobre los datos de la tabla, como porcentajes nulos, valores distintos y frecuencias de distribución. - Perfil de grafo (
graph-profile): Captura entidades extraídas por IA, aristas de relaciones y grafos de conocimiento extraídos de documentos no estructurados.
Restricciones de alcance de proyectos y ubicaciones
Para mantener los límites de administración de datos y evitar dependencias accidentales de metadatos entre regiones, Knowledge Catalog aplica las siguientes restricciones de alcance:
| Recurso | Regla de ubicación | Regla del proyecto |
|---|---|---|
| Entradas | La ubicación de la entrada debe coincidir con la ubicación de su EntryType,
o el EntryType debe ser global. |
Puede hacer referencia a tipos de entradas globales o del mismo proyecto. |
| Aspectos de las entradas | El AspectType del aspecto debe estar en la misma ubicación que la
entrada, o el AspectType debe ser global. |
Puede hacer referencia a tipos de aspectos del sistema globales o a tipos de aspectos personalizados del mismo proyecto. |
| Vínculos de entrada | La ubicación del vínculo de entrada debe coincidir con su EntryLinkType, o
el EntryLinkType debe ser global. |
Puede vincular entradas que residen en diferentes proyectos dentro de la misma organización. |
| Tipos de entrada | Se compone de tipos de aspectos almacenados en la misma ubicación que el tipo de entrada
o de tipos de aspectos que son global. |
Si un tipo de entrada hace referencia a tipos de aspectos personalizados, estos deben residir en el mismo proyecto y la misma ubicación. |
¿Qué sigue?
Administra aspectos y enriquece los metadatos
Adjunta aspectos a entradas, columnas y vínculos de entrada, y administra tipos de aspectos personalizados con la consola, gcloud CLI o las APIs.
Acerca de los metadatos en Knowledge Catalog
Explora el metamodelo unificado, incluidos los grupos de entradas, las entradas, los tipos de aspectos y los gráficos de contexto activos.
Agregar metadatos a una tabla
Sigue un instructivo paso a paso para descubrir recursos y adjuntar metadatos de aspectos personalizados a una tabla de BigQuery.
Búsqueda y descubrimiento de recursos
Encuentra recursos en Google Cloud y fuentes personalizadas con predicados de búsqueda basados en aspectos.