Importa metadatos de Databricks Unity Catalog

Desglosa los silos de datos y evita cambiar de herramienta con un conector de Knowledge Catalog (antes Dataplex Universal Catalog) para importar metadatos de Databricks Unity Catalog directamente a Google Cloud.

Este conector admite instancias de Databricks Unity Catalog alojadas en Google Cloud, Microsoft Azure o Amazon Web Services (AWS).

En la siguiente tabla, se enumeran los metadatos que captura el conector de Databricks Unity Catalog:

Categoría Metadatos capturados
Técnico
  • Metastore
  • Catálogo
  • Esquema
  • Tabla (Delta administrada, externa, de transmisión, en línea, de atributos, catálogo de REST de Apache Iceberg [IRC])
  • Vista (estándar, materializada)
  • Volúmenes
  • Funciones y procedimientos
Operacional
  • Métricas de uso (vistas de más de 30 y 90 días; lecturas, escrituras, usuarios frecuentes y tablas unidas con frecuencia de más de 30 días)
  • Claves primarias y claves externas
Empresa
  • Etiquetas (objeto, clasificación de datos)
  • Calidad de los datos (resultados de la detección de anomalías de la supervisión de la calidad de los datos, y desvío de datos y métricas personalizadas de la supervisión de Lakehouse)
  • Generación de perfiles de datos (de Lakehouse Monitoring)
  • Combinaciones y relaciones
  • Propietario de la tabla y la vista, hora de creación y hora de la última modificación
Semántica
  • Vista de métricas (dimensiones, mediciones, asignación de relaciones, certificaciones)
  • Propietario de la vista de métricas
  • Uso de vistas de métricas (vistas de más de 30 y 90 días; lecturas, escrituras, usuarios frecuentes y tablas unidas con frecuencia durante más de 30 días)
  • Nombres visibles (de las vistas de métricas)
  • Sinónimos (de las vistas de métricas)
  • Comentarios de Markdown

Limitaciones

El conector de Databricks Unity Catalog tiene las siguientes limitaciones:

  • No se admite el linaje.
  • Las etiquetas semánticas y los glosarios empresariales no se admiten en la integración (API de Genie).
  • El conector importa los metadatos de tus tablas de Iceberg, pero no vincula automáticamente las entradas importadas con las entradas correspondientes de Lakehouse Databricks Unity Catalog Iceberg REST Catalog (IRC) de Google Cloud .

Antes de comenzar

Antes de importar metadatos de Databricks Unity Catalog, completa las siguientes tareas:

  1. Otorga los roles y permisos necesarios.
  2. Habilita la API de Dataplex y la API del Servicio de transferencia de datos de BigQuery.
  3. Cumple con los requisitos previos de Databricks Unity Catalog.
  4. Cumple con los requisitos previos de redes.

Permisos y funciones de IAM

Para crear y administrar un trabajo de conector de Knowledge Catalog, necesitas roles de Identity and Access Management (IAM) que otorguen permisos para Knowledge Catalog y el Servicio de transferencia de datos de BigQuery.

Para obtener los permisos que necesitas para configurar un conector de Databricks Unity Catalog, pídele a tu administrador que te otorgue los siguientes roles de IAM:

También debes otorgar al agente de servicio del Servicio de transferencia de datos de BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) los siguientes roles:

  • Importador de grupos de entradas de Dataplex (roles/dataplex.entryGroupImporter), en el grupo de entradas de destino o en el proyecto que lo contiene. Este rol permite que el agente de servicio importe metadatos al grupo de entrada (dataplex.entryGroups.import).

  • Propietario de entradas y vínculo de entrada de Dataplex (roles/dataplex.entryOwner) en el proyecto que contiene el grupo de entradas de destino. Este rol permite que el agente de servicio importe metadatos de uso, empresariales y de calidad de los datos, y vínculos de entrada. Incluye los siguientes permisos:

    • dataplex.entryGroups.useDataProfileAspect
    • dataplex.entryGroups.useDataQualityScorecardAspect
    • dataplex.entryGroups.useManagedConnectorTypes
    • dataplex.entryGroups.useReferenceEntryLink
    • dataplex.entryGroups.useSchemaAspect
    • dataplex.entryGroups.useSchemaJoinAspect
    • dataplex.entryGroups.useSchemaJoinEntryLink
    • dataplex.entryGroups.useUsageAspect
    • dataplex.entryLinks.reference

    Otorga este rol en el proyecto, no solo en el grupo de entradas, ya que la importación verifica el permiso dataplex.entryLinks.reference en el proyecto. Si el agente de servicio no tiene este permiso en el proyecto, la ejecución de la transferencia falla con un error como Permission 'dataplex.entryLinks.reference' denied y no se importan metadatos.

En lugar de otorgar ambos roles, puedes otorgar el rol de propietario del grupo de entradas de Dataplex (roles/dataplex.entryGroupOwner) en el proyecto que contiene el grupo de entradas de destino. Este rol incluye los permisos de ambos roles y también permite que el agente de servicio cree, borre y administre el acceso a todos los grupos de entradas del proyecto.

Si quieres obtener más información para otorgar roles, consulta Administra el acceso.

Habilita las APIs

Habilita la API de Dataplex y la API del Servicio de transferencia de datos de BigQuery.

Habilitar las API

Requisitos previos de Databricks Unity Catalog

La entidad de servicio que se usa para el conector de Databricks Unity Catalog debe tener los siguientes permisos en Databricks Unity Catalog:

  • Permiso Can use en el almacén de Databricks SQL que usa el conector.
  • Privilegio BROWSE en los catálogos de destino, o USE CATALOG, USE SCHEMA y SELECT en los catálogos, esquemas y tablas o vistas de destino.
  • USE CATALOG en el catálogo system, además de USE SCHEMA y SELECT en los siguientes esquemas del sistema:
    • system.information_schema: Es necesario para leer catálogos, esquemas, tablas, columnas, volúmenes, rutinas, restricciones y etiquetas.
    • system.access y system.query: opcionales, obligatorios para importar métricas de uso, estadísticas de uso y uniones de historial de consultas.
    • system.data_quality_monitoring: opcional, obligatorio para importar los resultados de la detección de anomalías.
  • Opcional: USE CATALOG, USE SCHEMA y SELECT en las tablas de resultados de Lakehouse Monitoring (TABLE_NAME_profile_metrics y TABLE_NAME_drift_metrics) para importar métricas de generación de perfiles de datos y desvío.

Si también quieres ejecutar consultas en SQL o trabajos de Spark en el catálogo remoto de Databricks, consulta Configura una conexión multinube para Databricks Unity Catalog.

Requisitos previos de Herramientas de redes

Para permitir que el Servicio de transferencia de datos de BigQuery se conecte de forma segura a bases de datos externas o fuentes de datos en la nube de terceros con una dirección IP privada dentro de una red privada, configura un adjunto de red a través de Private Service Connect.

Si te conectas a un entorno local o a una instancia alojada en la nube con una dirección IP pública, no se requiere un adjunto de red.

Configura un conector de Databricks Unity Catalog

Configura un conector de Databricks Unity Catalog con la consola de Google Cloud o la API de REST.

Console

  1. En la consola de Google Cloud , ve a la página Knowledge Catalog.

    Ir a Knowledge Catalog

  2. En el menú de navegación, en la sección Administrar, haz clic en Conectores y, luego, en Agregar conexión.

  3. En la lista Conectores, selecciona la tarjeta Databricks Unity Catalog.

  4. En la sección Detalles de la fuente de datos, proporciona los detalles de conexión para tu instancia de Databricks Unity Catalog:

    • En Adjunto de red, selecciona un adjunto de red existente si es necesario o crea uno.
    • Ingresa el Host del espacio de trabajo, la Ruta de acceso HTTP del almacén de SQL, el ID de cliente y el Secreto de cliente.

    • En Objetos de Databricks para transferir, haz clic en Explorar para seleccionar los almacenes de metadatos, los catálogos, los esquemas o los objetos individuales (tablas, vistas, volúmenes, funciones y procedimientos) que se importarán a Knowledge Catalog. Si seleccionas un almacén de metadatos, un catálogo o un esquema, se importarán todos los objetos que contenga.

      También puedes ingresar objetos de forma manual en el formato TYPE:METASTORE[/CATALOG[/SCHEMA[/OBJECT]]], en el que TYPE es METASTORE, CATALOG, SCHEMA, TABLE, VIEW, VOLUME, FUNCTION o PROCEDURE (por ejemplo, SCHEMA:my_metastore/main/sales). No se admiten los patrones de nombre.

  5. En la sección Configuración de destino, haz lo siguiente:

    • Haz clic en Explorar y selecciona un grupo de entradas de Knowledge Catalog existente para almacenar los metadatos importados, o haz clic en Crear un grupo de entradas nuevo.
    • Selecciona si deseas establecer permisos en el grupo de entradas ahora o más adelante. Para permitir que los usuarios vean los metadatos importados, establece permisos en el grupo de entradas. Si no otorgaste el rol de importador de grupos de entradas de Dataplex (roles/dataplex.entryGroupImporter) o el permiso dataplex.entryGroups.import al agente de servicio del Servicio de transferencia de datos de BigQuery a nivel del proyecto, otórgalo en este grupo de entradas. Aún debes otorgar el rol de propietario de entradas y vínculo de entrada de Dataplex (roles/dataplex.entryOwner) en el proyecto, ya que el permiso dataplex.entryLinks.reference se verifica a nivel del proyecto. Para obtener más información, consulta Roles y permisos de IAM.

  6. En la sección Nombre de la configuración de transferencia, en Nombre visible, ingresa un nombre para el trabajo de importación de metadatos.

  7. En la sección Opciones de programación, configura la frecuencia del trabajo de importación de metadatos. Si seleccionas A pedido, el trabajo se ejecuta solo cuando lo activas de forma manual.

  8. Opcional: En la sección Opciones de notificación, configura una notificación por correo electrónico o Pub/Sub para los errores de los trabajos.

  9. Opcional: En la sección Opciones avanzadas, configura los parámetros de encriptación. Si seleccionas una clave de encriptación administrada por el cliente (CMEK), esta encriptará los datos transitorios que se almacenen en etapa de pruebas antes de iniciar los trabajos de importación de metadatos de Knowledge Catalog. La clave no encripta los metadatos en el grupo de entradas de destino de Knowledge Catalog.

  10. Haz clic en Guardar.

REST

Usa el método projects.locations.transferConfigs.create. En el recurso TransferConfig, configura los siguientes campos:

  • Configura el campo dataSourceId como "databricks_unity".
  • En el campo metadataDestination, completa el campo dataplexConfiguration.entryGroup con la ruta de acceso del recurso del grupo de entradas de Knowledge Catalog de destino: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.
  • En el campo params, configura los siguientes parámetros:
    • connector.host (obligatorio): Es el nombre de host del espacio de trabajo de Databricks (por ejemplo, dbc-a1b2345c-d6e7.cloud.databricks.com).
    • connector.httpPath (obligatorio): Es la ruta de acceso HTTP del almacén de Databricks SQL (por ejemplo, /sql/1.0/warehouses/a1b2345c67890def).
    • connector.authentication.oauth.clientId (obligatorio): el ID de cliente de OAuth de Databricks.
    • connector.authentication.oauth.clientSecret (obligatorio): Es el secreto del cliente de OAuth de Databricks.
    • connector.networkAttachment (opcional): Es el adjunto de red en el formato projects/PROJECT_ID/regions/REGION/networkAttachments/NETWORK_ATTACHMENT_ID.
    • assets (obligatorio): Es la lista de objetos de Databricks Unity Catalog que se importarán en el formato TYPE:METASTORE[/CATALOG[/SCHEMA[/OBJECT]]], como ["SCHEMA:my_metastore/main/sales"].
  • Opcional: Para mantener las credenciales de OAuth fuera de la configuración de transferencia, almacénalas en Secret Manager:
    1. Establece connector.authentication.oauth.clientSecret (y connector.authentication.oauth.clientId, si lo deseas) en el nombre del recurso de la versión del Secret con el formato projects/SECRET_PROJECT_ID/secrets/SECRET_ID/versions/VERSION_ID y agrega esos nombres de parámetros al campo paramConfig.secretManagerManagedParams.
    2. Otorga el rol de descriptor de acceso a secretos de Secret Manager (roles/secretmanager.secretAccessor) en cada secreto al agente de servicio del Servicio de transferencia de datos de BigQuery del proyecto que contiene la configuración de transferencia (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com). Los secretos pueden estar en un proyecto diferente. Si el agente de servicio no puede leer un secreto, la ejecución falla antes de que comience con un error como Failed to retrieve secret ... Permission 'secretmanager.versions.access' denied. El Servicio de transferencia de datos de BigQuery lee los secretos al comienzo de cada ejecución, por lo que, si configuras VERSION_ID como latest, se usará un secreto rotado a partir de la siguiente ejecución.

En el siguiente ejemplo, se muestra un cuerpo de solicitud TransferConfig:

{
  "displayName": "databricks-unity-metadata-import",
  "dataSourceId": "databricks_unity",
  "schedule": "every 24 hours",
  "params": {
    "connector.host": "dbc-a1b2345c-d6e7.cloud.databricks.com",
    "connector.httpPath": "/sql/1.0/warehouses/a1b2345c67890def",
    "connector.authentication.oauth.clientId": "CLIENT_ID",
    "connector.authentication.oauth.clientSecret": "CLIENT_SECRET",
    "assets": [
      "SCHEMA:my_metastore/main/sales"
    ]
  },
  "metadataDestination": {
    "dataplexConfiguration": {
      "entryGroup": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID"
    }
  }
}

El trabajo se ejecuta automáticamente según tu programa, o puedes activarlo de forma manual.

Supervisa un trabajo del conector de Databricks Unity Catalog

Supervisa un trabajo del conector de Databricks Unity Catalog con la consola deGoogle Cloud o la API de REST.

Console

  1. En la consola de Google Cloud , en la página Conectores, haz clic en el Nombre visible del trabajo de transferencia de Databricks Unity Catalog.
  2. En la pestaña Historial de ejecuciones, haz clic en Ver detalles para ver los registros.
  3. Para ver las entradas creadas, haz clic en la pestaña Detalles y, luego, en el vínculo del grupo de entradas Destino de metadatos.

REST

  • Para enumerar las ejecuciones de una configuración de transferencia y ver su estado, usa el método projects.locations.transferConfigs.runs.list.

  • Cada ejecución importa los metadatos recopilados a Knowledge Catalog con un trabajo de importación de metadatos cuyo ID es dts-run-RUN_ID. Para ver el resultado de la importación, como la cantidad de entradas creadas, filtra los registros del trabajo en Logging con la siguiente consulta:

    logName="projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job"
AND resource.labels.metadata_job_id="dts-run-RUN_ID"

  • Para ver el resultado de una importación sin usar Logging, llama al método projects.locations.metadataJobs.get en projects/PROJECT_ID/locations/LOCATION/metadataJobs/dts-run-RUN_ID. En el campo importResult, se muestra la cantidad de entradas y vínculos de entrada creados, actualizados, sin cambios y borrados.

Busca y visualiza metadatos de Databricks Unity Catalog

  1. En la consola de Google Cloud , ve a la página Búsqueda de Knowledge Catalog.

    Ir a Búsqueda

  2. En el panel Filtros, filtra los recursos de Databricks Unity Catalog con las secciones Proyecto, Sistemas y Alias de tipo. Para filtrar todos los metadatos de Databricks Unity Catalog, en la sección Sistemas, selecciona Contexto importado y, luego, en el apartado Conectores administrados, selecciona Databricks Unity.

  3. En el campo de búsqueda, ingresa una palabra clave o una consulta de búsqueda en lenguaje natural. Por ejemplo, para ver todos los recursos de Databricks Unity Catalog a través de la búsqueda por palabras clave, ingresa system=DATABRICKS.

    Para obtener más información sobre la búsqueda de recursos, consulta Busca recursos en Knowledge Catalog. Para obtener más información sobre las expresiones que puedes usar en el campo de búsqueda, consulta Sintaxis de búsqueda para Knowledge Catalog.

También puedes usar la API de LookupContext para recuperar el contexto del LLM para recursos específicos de Databricks Unity Catalog. Para obtener más información, consulta Recupera el contexto de los recursos de datos.

¿Qué sigue?