Importa metadatos desde MySQL

En este documento, se describe cómo importar metadatos de MySQL a Knowledge Catalog (anteriormente, Dataplex Universal Catalog) con un conector de Knowledge Catalog.

Este conector admite instancias de MySQL alojadas de forma local, en Cloud SQL o en otros entornos de nube.

Antes de importar metadatos desde MySQL, completa las siguientes tareas:

  1. Otorga los roles y permisos necesarios.
  2. Habilita las APIs de Knowledge Catalog y del Servicio de transferencia de datos de BigQuery.
  3. Cumple con los requisitos previos de MySQL.
  4. Cumple con los requisitos previos de redes.

Permisos y funciones de IAM

Para crear y administrar un trabajo del conector de Knowledge Catalog, necesitas roles de Identity and Access Management (IAM) que otorguen permisos para Knowledge Catalog y el Servicio de transferencia de datos de BigQuery.

Para obtener los permisos que necesitas para configurar un conector de MySQL, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Además, debes otorgar al agente de servicio del Servicio de transferencia de datos de BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) el permiso dataplex.entryGroups.import o el rol de importador de grupos de entradas de Dataplex (roles/dataplex.entryGroupImporter). Puedes otorgar este rol a nivel del proyecto o del grupo de entrada.

Si quieres obtener más información para otorgar roles, consulta Administra el acceso.

Habilitar APIs

Habilita las APIs de Knowledge Catalog y del Servicio de transferencia de datos de BigQuery.

Habilitar las API

Requisitos previos de MySQL

Asegúrate de cumplir con los requisitos previos para las transferencias de MySQL. Para obtener más detalles, consulta los requisitos previos de MySQL en la documentación del Servicio de transferencia de datos de BigQuery.

Además de los requisitos previos del Servicio de transferencia de datos de BigQuery, tu base de datos de MySQL debe cumplir con los siguientes requisitos para la extracción de metadatos:

  • Versión mínima: Versión 8.0 o posterior de MySQL
  • Permisos mínimos requeridos: La herramienta de extracción requiere permisos específicos para consultar INFORMATION_SCHEMA correctamente y recopilar metadatos.

Estos permisos garantizan la siguiente cobertura de metadatos:

  • Información de la instancia y la base de datos: Hostname, puerto, versión y configuraciones de esquema
  • Tablas y columnas: Estructura principal, tipos de datos y metadatos operativos, como tamaños y recuentos de filas.
  • Índices y particiones: Índices secundarios, métodos de partición y expresiones
  • Vistas: Estructuras y definiciones de tablas virtuales.
  • Rutinas: Procedimientos almacenados, funciones y sus parámetros
  • Restricciones: Restricciones detalladas de clave primaria, clave externa, única y de verificación
  • Activadores: Definiciones de activadores y sincronización de eventos

Para otorgar estos permisos, ejecuta las siguientes secuencias de comandos de SQL.

  1. Crea el usuario:

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. Otorga acceso a los metadatos. Puedes otorgar acceso a una sola base de datos de destino o a todas las bases de datos de la instancia.

    Para otorgar acceso a una sola base de datos o esquema de destino, sigue estos pasos:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    Como alternativa, para otorgar acceso a todas las bases de datos de la instancia, haz lo siguiente:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. Permite que la herramienta de extracción muestre todas las bases de datos disponibles en la instancia:

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. Aplica los cambios:

    FLUSH PRIVILEGES;

Reemplaza lo siguiente:

  • USERNAME: Es el usuario de la base de datos que deseas configurar.
  • PASSWORD: La contraseña del usuario de la base de datos.
  • DATABASE_NAME: Es el nombre de la base de datos de MySQL a la que quieres acceder.

Requisitos previos de Herramientas de redes

Se requiere una adjunción de red para la conexión a través de Private Service Connect cuando se conecta de forma segura a bases de datos externas o fuentes de datos en la nube de terceros con una dirección IP privada dentro de una red privada, para permitir que el Servicio de transferencia de datos de BigQuery acceda a tu base de datos.

Si te conectas a un entorno local o a una instancia alojada en la nube con una dirección IP pública, no se requiere una vinculación de red.

Configura un conector de MySQL

  1. En la consola de Google Cloud , ve a la página Knowledge Catalog.

    Ir a Knowledge Catalog

  2. En el menú de navegación, en la sección Administrar, haz clic en Conectores.

  3. Haz clic en Agregar conexión.

  4. En la lista Conectores, selecciona la tarjeta MySQL.

  5. En la sección Detalles de la fuente de datos, proporciona los detalles de conexión para tu instancia de MySQL:

    • En Adjunto de red, selecciona un adjunto de red existente si es necesario o crea uno.
    • Ingresa el Host, el Puerto, el Nombre de la base de datos, el Nombre de usuario y la Contraseña.
    • Si usas TLS, selecciona un modo de TLS y proporciona un certificado PEM de confianza.
    • En Objetos de metadatos de MySQL para importar, haz clic en Explorar para seleccionar objetos.

  6. En la sección Configuración de destino, haz lo siguiente:

    • Haz clic en Explorar y selecciona un grupo de entradas de Knowledge Catalog existente para almacenar los metadatos importados o haz clic en Crear grupo de entradas nuevo.
    • Elige si deseas establecer los permisos en el grupo de entrada ahora o más adelante. Establece permisos para que los usuarios puedan ver los metadatos importados. Si no otorgaste el rol de importador de grupos de entradas de Dataplex (roles/dataplex.entryGroupImporter) o el permiso dataplex.entryGroups.import al agente de servicio del Servicio de transferencia de datos de BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) a nivel del proyecto, debes otorgarlo a nivel del grupo de entradas.

  7. En la sección Nombre de configuración del conector, en Nombre visible, ingresa un nombre para el trabajo de importación de metadatos.

  8. En la sección Opciones de programación, configura la frecuencia del trabajo de importación de metadatos. Si seleccionas Según demanda, el trabajo se ejecuta solo cuando lo activas de forma manual.

  9. Opcional: En la sección Opciones de notificación, configura las notificaciones por correo electrónico o de Pub/Sub para los errores de trabajos.

  10. Opcional: En la sección Opciones avanzadas, configura los parámetros de encriptación. Si seleccionas una clave de encriptación administrada por el cliente (CMEK), ten en cuenta que la clave se usa para encriptar los datos transitorios que se almacenan antes de iniciar los trabajos de importación de metadatos de Knowledge Catalog. No se usa para encriptar los metadatos en el grupo de entradas de Knowledge Catalog de destino.

  11. Haz clic en Guardar.

Después de crear el trabajo, Knowledge Catalog programa la primera ejecución según tu configuración, o bien puedes iniciarla de forma manual.

¿Qué sigue?