Usa Knowledge Catalog con BigQuery

Knowledge Catalog (antes conocido como Dataplex Universal Catalog) interactúa con BigQuery como una capa central de administración de datos y acceso de agentes para los metadatos de BigQuery. Para obtener más información, consulta la descripción general de Knowledge Catalog.

¿Cómo uso Knowledge Catalog con BigQuery?

Knowledge Catalog interactúa con BigQuery de las siguientes maneras.

Transferencia automatizada de metadatos

Knowledge Catalog descubre y, además, indexa automáticamente los metadatos técnicos de los recursos de BigQuery. Estas son algunas de ellas:

• Tipos de recursos: conjuntos de datos, tablas, vistas, modelos, rutinas, conexiones, conjuntos de datos vinculados y grafos (versión preliminar).
• Uso compartido de BigQuery: intercambios y fichas del uso compartido de BigQuery (antes Analytics Hub).
• Actualizaciones en tiempo real: El sistema admite la transferencia casi en tiempo real y proporciona feeds de cambios de metadatos con Pub/Sub para notificar a los sistemas downstream sobre los cambios o las eliminaciones de esquemas en BigQuery.
• Descubrimiento de datos oscuros: Knowledge Catalog puede analizar archivos no estructurados (como PDFs en Cloud Storage), extraer entidades y convertirlos en recursos que se pueden consultar en BigQuery. Esta capacidad hace que los "datos oscuros", que antes eran inaccesibles, estén disponibles para las estadísticas basadas en BigQuery y la fundamentación de la IA.

Representación y enriquecimiento de metadatos

• Entradas: Cada tabla o recurso de BigQuery se representa como una entrada en el catálogo, en lugar de la tabla completa; por ejemplo, project.dataset.table.
• Integración del cuadro de evaluación de la calidad de los datos: Knowledge Catalog proporciona un cuadro de evaluación de la calidad de los datos para cada entrada del catálogo. Además de los análisis de datos integrados de Knowledge Catalog, los resultados de las aserciones de Dataform son una fuente para este cuadro de evaluación.

• Enriquecimiento automatizado de metadatos: Para las tablas y vistas creadas con Dataform, puedes definir metadatos semánticos directamente en tu código. Estos metadatos se sincronizan automáticamente con Knowledge Catalog cuando se completa correctamente una acción de canalización. Se admiten los siguientes tipos de aspectos:

  • Descripción general: documentación y texto de resumen de la entrada.
  • Aspectos genéricos: Son etiquetas de metadatos semánticos para detalles técnicos, como la información del sistema y del tipo de tabla.

  Para verificar el estado de una actualización de metadatos, sigue las instrucciones que se indican en Visualiza ejecuciones manuales anteriores.

  Después de que se hayan sincronizado los metadatos, puedes buscar y ver la entrada en Knowledge Catalog. Para obtener más información, consulta Busca recursos.

• Metadatos a nivel de columna: Las columnas o los campos individuales se representan como rutas de acceso, lo que te permite adjuntar metadatos específicos, como marcadores de PII o puntuaciones de calidad de los datos, a campos individuales dentro de una tabla de BigQuery, en lugar de solo a la tabla en sí.

• Aspectos: Los metadatos técnicos se enriquecen con aspectos, que agregan contexto empresarial a los datos, como la propiedad, la calidad de los datos y la documentación.

• Productos de datos: Puedes empaquetar recursos de BigQuery relacionados en productos de datos, por ejemplo, datos empresariales de comercio electrónico, que tienen restricciones de acceso y administración compartidas.

Búsqueda y descubrimiento de datos

• Búsqueda semántica: Los usuarios pueden usar el lenguaje natural para buscar datos de BigQuery, lo que es especialmente útil para que los científicos de datos y los agentes de IA encuentren productos de datos confiables con consultas largas o complejas.
• Traducción de nombres: Para facilitar la búsqueda programática, el sistema permite traducir los nombres de SQL de BigQuery o los nombres completamente calificados en nombres de entradas de Knowledge Catalog.

Acceso y fundamentación de agentes

• Acceso de agentes: Los agentes de IA pueden descubrir y usar de forma adaptable las herramientas de Knowledge Catalog a través de un servidor de MCP local o remoto.
• Contexto para agentes de IA: Knowledge Catalog selecciona un gráfico de contexto que vincula los conjuntos de datos de BigQuery con la semántica empresarial, lo que ayuda a reducir las alucinaciones de la IA garantizando que los modelos usen datos aprobados por la empresa.

Administración y cumplimiento

• Linaje de datos: Knowledge Catalog realiza un seguimiento automático de cómo fluyen los datos y se transforman dentro y fuera de las tablas de BigQuery. Esta capacidad es fundamental para auditar información sensible, como la IIP, en todo el patrimonio de datos.
• Control de acceso: La administración de metadatos se integra en Identity and Access Management (IAM) y los Controles del servicio de VPC para garantizar que el descubrimiento y el acceso a los metadatos de BigQuery sigan las políticas de seguridad de la organización.

¿Qué sigue?

Obtén más información sobre Knowledge Catalog:

• Casos de uso de Knowledge Catalog
• Preguntas frecuentes sobre Knowledge Catalog
• Acerca de la administración de metadatos en Knowledge Catalog