En este documento, se describe cómo importar metadatos de PostgreSQL a Knowledge Catalog (anteriormente, Dataplex Universal Catalog) con un conector de Knowledge Catalog.
Este conector admite instancias de PostgreSQL alojadas de forma local, en Cloud SQL o en otros entornos de nube.
Antes de comenzar
Antes de importar metadatos desde PostgreSQL, completa las siguientes tareas:
- Otorga los roles y permisos necesarios.
- Habilita las APIs de Knowledge Catalog y del Servicio de transferencia de datos de BigQuery.
- Cumple con los requisitos previos de PostgreSQL.
- Cumple con los requisitos previos de redes.
Permisos y funciones de IAM
Para crear y administrar un trabajo del conector de Knowledge Catalog, necesitas roles de Identity and Access Management (IAM) que otorguen permisos para Knowledge Catalog y el Servicio de transferencia de datos de BigQuery.
Para obtener los permisos que necesitas para configurar un conector de PostgreSQL, pídele a tu administrador que te otorgue los siguientes roles de IAM:
- Administrador de Catálogo de Dataplex (
roles/dataplex.catalogAdmin), Editor de Catálogo de Dataplex (roles/dataplex.catalogEditor) o Propietario del grupo de entradas de Dataplex (roles/dataplex.entryGroupOwner) en el proyecto - Para crear y administrar trabajos de transferencia del Servicio de transferencia de datos de BigQuery, debes tener el rol de administrador de BigQuery (
roles/bigquery.admin) en el proyecto. - Para ver los registros en Cloud Logging, debes tener el visor de registros (
roles/logging.viewer) en el proyecto.
Además, debes otorgar al agente de servicio del Servicio de transferencia de datos de BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) el permiso dataplex.entryGroups.import o el rol de Importador de grupos de entradas de Dataplex (roles/dataplex.entryGroupImporter). Puedes otorgar este rol a nivel del proyecto o del grupo de entrada.
Si quieres obtener más información para otorgar roles, consulta Administra el acceso.
Habilita las APIs
Habilita las APIs de Knowledge Catalog y del Servicio de transferencia de datos de BigQuery.
Requisitos previos de PostgreSQL
Asegúrate de cumplir con los requisitos previos para las transferencias de PostgreSQL. Para obtener más detalles, consulta los requisitos previos de PostgreSQL en la documentación del Servicio de transferencia de datos de BigQuery.
Requisitos previos de Herramientas de redes
Se requiere una conexión de red para la conexión a través de Private Service Connect cuando se conecta de forma segura a bases de datos externas o fuentes de datos en la nube de terceros con una dirección IP privada dentro de una red privada, para permitir que el Servicio de transferencia de datos de BigQuery acceda a tu base de datos.
Si te conectas a un entorno local o a una instancia alojada en la nube con una dirección IP pública, no se requiere una vinculación de red.
Configura un conector de PostgreSQL
En la consola de Google Cloud , ve a la página Knowledge Catalog.
En el menú de navegación, en la sección Administrar, haz clic en Conectores.
Haz clic en Agregar conexión.
En la lista Conectores, selecciona la tarjeta PostgreSQL.
En la sección Detalles de la fuente de datos, proporciona los detalles de conexión para tu instancia de PostgreSQL:
- En Adjunto de red, selecciona un adjunto de red existente si es necesario o crea uno.
- Ingresa el Host, el Puerto, el Nombre de la base de datos, el Nombre de usuario y la Contraseña.
- Si usas TLS, selecciona un modo de TLS y proporciona un certificado PEM de confianza.
- En Objetos de metadatos de PostgreSQL para importar, haz clic en Explorar para seleccionar objetos.
En la sección Configuración de destino, haz lo siguiente:
- Haz clic en Explorar y selecciona un grupo de entradas de Knowledge Catalog existente para almacenar los metadatos importados o haz clic en Crear grupo de entradas nuevo.
- Elige si deseas establecer los permisos en el grupo de entrada ahora o más adelante.
Te recomendamos que configures los permisos para que los usuarios puedan ver los metadatos importados. Si no otorgaste el rol de importador de grupos de entradas de Dataplex (roles/dataplex.entryGroupImporter) o el permiso dataplex.entryGroups.import al agente de servicio del Servicio de transferencia de datos de BigQuery (
service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) a nivel del proyecto, debes otorgarlo a nivel del grupo de entradas.
En la sección Nombre de configuración del conector, en Nombre visible, ingresa un nombre para el trabajo de importación de metadatos.
En la sección Opciones de programación, configura la frecuencia del trabajo de importación de metadatos. Si seleccionas Según demanda, el trabajo se ejecuta solo cuando lo activas de forma manual.
Opcional: En la sección Opciones de notificación, configura las notificaciones por correo electrónico o de Pub/Sub para los errores de los trabajos.
Opcional: En la sección Opciones avanzadas, configura los parámetros de encriptación. Si seleccionas una clave de encriptación administrada por el cliente (CMEK), ten en cuenta que la clave se usa para encriptar los datos transitorios que se almacenan antes de iniciar los trabajos de importación de metadatos de Knowledge Catalog. No se usa para encriptar los metadatos en el grupo de entradas de Knowledge Catalog de destino.
Haz clic en Guardar.
Después de crear el trabajo, Knowledge Catalog programa la primera ejecución según tu configuración, o bien puedes iniciarla de forma manual.
¿Qué sigue?
- Obtén más información para administrar trabajos de conectores.