Usa Knowledge Catalog con BigQuery

Knowledge Catalog (antes conocido como Dataplex Universal Catalog) interactúa con BigQuery como una capa central de administración de datos y acceso de agentes para los metadatos de BigQuery. Para obtener más información, consulta la descripción general de Knowledge Catalog.

¿Cómo uso Knowledge Catalog con BigQuery?

Knowledge Catalog interactúa con BigQuery de las siguientes maneras:

Transferencia de metadatos automatizada

Knowledge Catalog descubre y, luego, indexa automáticamente los metadatos técnicos de los recursos de BigQuery. Estas son algunas de ellas:

Representación y enriquecimiento de metadatos

  • Entradas: cada tabla o recurso de BigQuery se representa como una entradaen el catálogo, en lugar de la tabla completa; por ejemplo, project.dataset.table.
  • Metadatos a nivel de columna: las columnas o los campos individuales se representan como rutas de acceso, lo que te permite adjuntar metadatos específicos, como marcadores de PII o puntuaciones de calidad de los datos, a campos individuales dentro de una tabla de BigQuery en lugar de solo la tabla.
  • Aspectos: los metadatos técnicos se enriquecen con aspectos, que agregan contexto empresarial a los datos, como la propiedad, la calidad de los datos y la documentación.
  • Productos de datos: puedes empaquetar recursos relacionados de BigQuery en productos de datos, por ejemplo, datos de la empresa de comercio electrónico, que tienen restricciones de acceso y administración compartidas.
  • Búsqueda semántica: los usuarios pueden usar el lenguaje natural para buscar datos de BigQuery, lo que es especialmente útil para que los científicos de datos y los agentes de IA encuentren productos de datos confiables con consultas largas o complejas.
  • Traducción de nombres: para facilitar la búsqueda programática , el sistema permite traducir nombres de SQL de BigQuery o nombres completamente calificados a nombres de entrada de Knowledge Catalog.

Acceso de agentes y fundamentación

  • Acceso de agentes: los agentes de IA pueden descubrir y usar de forma adaptativa las herramientas de Knowledge Catalog a través de un servidor de MCP local o remoto.
  • Contexto para agentes de IA: Knowledge Catalog organiza un gráfico de contexto que vincula los conjuntos de datos de BigQuery con la semántica empresarial, lo que ayuda a reducir las alucinaciones de la IA, ya que garantiza que los modelos usen datos aprobados por la empresa.

Administración y cumplimiento

  • Linaje de datos: Knowledge Catalog realiza un seguimiento automático de cómo fluyen y se transforman los datos dentro y fuera de las tablas de BigQuery. Esta capacidad es fundamental para auditar la información sensible, como la PII, en todo el patrimonio de datos.
  • Control de acceso: la administración de metadatos se integra con Identity and Access Management (IAM) y Controles del servicio de VPC para garantizar que el descubrimiento y el acceso a los metadatos de BigQuery sigan las políticas de seguridad de la organización.

Consideraciones sobre la migración

La migración a Knowledge Catalog desde Data Catalog, que dejó de estar disponible, implica varios pasos. Los metadatos estándar de BigQuery (como conjuntos de datos, tablas y vistas) están disponibles automáticamente en Knowledge Catalog, por lo que el proceso de migración se centra principalmente en los metadatos personalizados, el uso de la API y los valores predeterminados de la interfaz de usuario.

Estos son los puntos principales que debes tener en cuenta cuando realices la migración:

Comprende el cambio

Knowledge Catalog ofrece funciones mejoradas para la administración, la administración y el descubrimiento de metadatos en comparación con Data Catalog. Knowledge Catalog usa una API diferente (la API de Knowledge Catalog) y tiene un modelo de datos ligeramente diferente; por ejemplo, Knowledge Catalog usa aspectos y tipos de aspectos en lugar de etiquetas y plantillas de etiquetas.

Evalúa el uso actual del catálogo de datos

  • Sin metadatos personalizados: si solo dependías de Knowledge Catalog para la transferencia y el descubrimiento automáticos de metadatos estándar de BigQuery sin crear etiquetas personalizadas, plantillas de etiquetas, entradas personalizadas o grupos de entradas, la transición es sencilla. Puedes comenzar a usar la interfaz de Knowledge Catalog de inmediato.
  • Metadatos personalizados o uso programático: si creaste etiquetas o plantillas personalizadas, entradas personalizadas o usas la API de Data Catalog, las bibliotecas cliente, bibliotecas, comandos de la Google Cloud CLI o Terraform, necesitas una transición más estructurada. transición.

Consideraciones específicas de BigQuery

  • Transferencia automática: los metadatos técnicos de los recursos de BigQuery (conjuntos de datos, tablas, vistas, modelos y rutinas) se siguen transfiriendo automáticamente a Knowledge Catalog, como lo hacían con el Catálogo universal de Dataplex.
  • Etiquetas de política: las etiquetas de política que se usan para el control de acceso a nivel de columna de BigQuery no dejaron de estar disponibles y su administración permanece en BigQuery.
  • Linaje: el linaje de datos para las operaciones de BigQuery aparece en Knowledge Catalog. Para obtener más información sobre el linaje de datos, consulta Realiza un seguimiento del linaje de datos de una tabla de BigQuery.

Sigue la guía de transición

Para migrar a Knowledge Catalog, sigue los pasos que se indican en Transición de Data Catalog a Knowledge Catalog.

Para actualizar los flujos de trabajo programáticos a la API de Knowledge Catalog, consulta Asigna métodos de la API de Data Catalog a Knowledge Catalog.

¿Qué sigue?

Obtén más información sobre Knowledge Catalog: