Importa metadatos de PostgreSQL

En este documento, se describe cómo importar metadatos de PostgreSQL a Knowledge Catalog (anteriormente, Dataplex Universal Catalog) con un conector de Knowledge Catalog.

Este conector admite instancias de PostgreSQL alojadas en entornos locales, en Cloud SQL o en otros entornos de nube.

Antes de comenzar

Antes de importar metadatos de PostgreSQL, completa las siguientes tareas:

  1. Otorga los roles y permisos necesarios.
  2. Habilita las APIs de Knowledge Catalog y del Servicio de transferencia de datos de BigQuery.
  3. Cumple con los requisitos previos de PostgreSQL.
  4. Cumple con los requisitos previos de redes.

Permisos y funciones de IAM

Para crear y administrar un trabajo del conector de Knowledge Catalog, necesitas roles de Identity and Access Management (IAM) que otorguen permisos para Knowledge Catalog y el Servicio de transferencia de datos de BigQuery.

Para obtener los permisos que necesitas para configurar un conector de PostgreSQL, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Además, debes otorgar al agente de servicio del Servicio de transferencia de datos de BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) el permiso dataplex.entryGroups.import o el rol de importador de grupos de entradas de Dataplex (roles/dataplex.entryGroupImporter). Puedes otorgar este rol a nivel del proyecto o del grupo de entrada.

Si quieres obtener más información para otorgar roles, consulta Administra el acceso.

Habilita las APIs

Habilita las APIs de Knowledge Catalog y Servicio de transferencia de datos de BigQuery.

Habilitar las API

Requisitos previos de PostgreSQL

Asegúrate de cumplir con los requisitos previos para las transferencias de PostgreSQL. Para obtener más detalles, consulta los requisitos previos de PostgreSQL en la documentación del Servicio de transferencia de datos de BigQuery.

Además de los requisitos previos del Servicio de transferencia de datos de BigQuery, tu base de datos de PostgreSQL debe cumplir con los siguientes requisitos para la extracción de metadatos:

  • Versión mínima: PostgreSQL 15 o versiones posteriores
  • Permisos mínimos requeridos: La herramienta de extracción requiere permisos específicos para recopilar metadatos correctamente.

Para otorgar estos permisos, ejecuta las siguientes sentencias de SQL:

  1. Otorga conexión a la base de datos:

    GRANT CONNECT ON DATABASE DATABASE_NAME TO USERNAME;

  2. Otorga uso en el esquema:

    GRANT USAGE ON SCHEMA SCHEMA_NAME TO USERNAME;

  3. Otorga los roles de lectura necesarios al usuario:

    GRANT pg_read_all_data TO USERNAME;
GRANT pg_read_all_settings TO USERNAME;
GRANT pg_read_all_stats TO USERNAME;

Reemplaza lo siguiente:

  • DATABASE_NAME: Es el nombre de la base de datos de PostgreSQL a la que deseas acceder.
  • USERNAME: Es el usuario de la base de datos que deseas configurar.
  • SCHEMA_NAME: Es el nombre del esquema al que deseas acceder.

Requisitos previos de Herramientas de redes

Se requiere un adjunto de red para la conexión a través de Private Service Connect cuando te conectas de forma segura a bases de datos externas o fuentes de datos en la nube de terceros con una dirección IP privada dentro de una red privada, para permitir que el Servicio de transferencia de datos de BigQuery acceda a tu base de datos.

Si te conectas a un entorno local o a una instancia alojada en la nube con una dirección IP pública, no se requiere un adjunto de red.

Configura un conector de PostgreSQL

Configura un conector de PostgreSQL con la consola de Google Cloud o la API.

Console

  1. En la consola de Google Cloud , ve a la página Knowledge Catalog.

    Ir a Knowledge Catalog

  1. En el menú de navegación, en la sección Administrar, haz clic en Conectores.
  2. Haz clic en Agregar conexión.
  3. En la lista Conectores, selecciona la tarjeta PostgreSQL.
  4. En la sección Detalles de la fuente de datos, proporciona los detalles de conexión para tu instancia de PostgreSQL:
    • En Adjunto de red, selecciona un adjunto de red existente si es necesario o crea uno.
    • Ingresa el Host, el Puerto, el Nombre de la base de datos, el Nombre de usuario y la Contraseña.
    • Si usas TLS, selecciona un modo de TLS y proporciona un certificado PEM de confianza.
    • En Objetos de metadatos de PostgreSQL para importar, haz clic en Explorar para seleccionar objetos.
  5. En la sección Configuración de destino, haz lo siguiente:
    • Haz clic en Explorar y selecciona un grupo de entradas de Knowledge Catalog existente para almacenar los metadatos importados o haz clic en Crear grupo de entradas nuevo.
    • Elige si deseas establecer los permisos en el grupo de entrada ahora o más tarde. Te recomendamos que configures los permisos para que los usuarios puedan ver los metadatos importados. Si no otorgaste el rol de importador de grupos de entrada de Dataplex (roles/dataplex.entryGroupImporter) o el permiso dataplex.entryGroups.import al agente de servicio del Servicio de transferencia de datos de BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) a nivel del proyecto, debes otorgarlo a nivel del grupo de entrada.
  6. En la sección Nombre de la configuración del conector, en Nombre visible, ingresa un nombre para el trabajo de importación de metadatos.
  7. En la sección Opciones de programación, configura la frecuencia del trabajo de importación de metadatos. Si seleccionas Según demanda, el trabajo se ejecuta solo cuando lo activas de forma manual.
  8. Opcional: En la sección Opciones de notificación, configura las notificaciones por correo electrónico o de Pub/Sub para los errores del trabajo.
  9. Opcional: En la sección Opciones avanzadas, configura los parámetros de encriptación. Si seleccionas una clave de encriptación administrada por el cliente (CMEK), ten en cuenta que la clave se usa para encriptar cualquier dato transitorio que se prepare antes de iniciar los trabajos de importación de metadatos de Knowledge Catalog. No se usa para encriptar los metadatos en el grupo de entradas de Knowledge Catalog de destino.
  10. Haz clic en Guardar.

REST

Usa el método projects.locations.transferConfigs.create. En el recurso TransferConfig, configura los siguientes campos:

  • Configura el campo dataSourceId como "postgresql".
  • En el campo metadataDestination, propaga el objeto dataplexConfiguration con la ruta de acceso al recurso del grupo de entradas de Knowledge Catalog de destino: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

Después de crear el trabajo, Knowledge Catalog programa la primera ejecución según tu configuración, o bien puedes iniciarla de forma manual.

Cómo buscar y ver metadatos de PostgreSQL

  1. En la consola de Google Cloud , ve a la página Búsqueda de Knowledge Catalog.

    Ir a Búsqueda

  2. En el panel Filtros, puedes filtrar los recursos de PostgreSQL en las secciones Proyecto, Sistema y Alias de tipo. En la sección Sistema, selecciona Contexto importado. Si seleccionas este filtro, se abrirá una subsección de Managed Connectors. Selecciona PostgreSQL para filtrar todos los metadatos de PostgreSQL.

  3. Puedes usar el campo de búsqueda para realizar consultas de búsqueda. Puedes realizar una búsqueda por palabra clave o en lenguaje natural. Por ejemplo, para ver todas las tablas de PostgreSQL a través de la búsqueda por palabras clave, ingresa system=POSTGRESQL AND type=TABLE.

    Para obtener más información sobre la búsqueda de recursos, consulta Cómo buscar recursos en Knowledge Catalog. Para obtener más información sobre las expresiones que puedes usar en el campo de búsqueda, consulta Sintaxis de búsqueda de Knowledge Catalog.

  4. También puedes usar la API de LookupContext para recuperar el contexto del LLM para recursos específicos de PostgreSQL.

¿Qué sigue?