En este instructivo, se muestra cómo implementar un trabajo que replica de forma continua los datos modificados de una base de datos de Oracle en un conjunto de datos de BigQuery con la replicación de Cloud Data Fusion. Esta función cuenta con la tecnología de Datastream.
Opcional: Instala Oracle en Compute Engine
En esta sección, se muestra cómo configurar una base de datos de ejemplo. Si ya tienes instalada una base de datos de Oracle, puedes omitir esta sección.
Descarga una imagen de Docker de Oracle Server.
Para conocer las limitaciones de esta imagen de Oracle Express Edition 11g, consulta Oracle Database Editions.
Implementa tu imagen de Docker en una instancia de VM nueva.
En la página Discos de Compute Engine, cambia el tamaño del disco a
500 GBy reinicia la VM.Instala el esquema de muestra de RR.HH..
Crea una regla de firewall o un peering de red de VPC para tu servidor de Oracle
Si tu base de datos de Oracle no permite el tráfico de entrada desde direcciones IP públicas, configura el intercambio de tráfico entre la VPC de Datastream y la VPC a la que se puede acceder a tu base de datos de Oracle. Para obtener más información, consulta Crea una configuración de conectividad privada.
Si tu base de datos de Oracle permite el tráfico de entrada de direcciones IP públicas, crea una regla de firewall para la instancia de VM a fin de permitir el tráfico de entrada desde las IP públicas de Datastream.
Configura tu servidor de Oracle para habilitar el registro complementario
Sigue los pasos para configurar tu base de datos de Oracle de origen.
Crea y ejecuta un trabajo de replicación de Cloud Data Fusion
Crea el trabajo
En la interfaz web de Cloud Data Fusion, haz clic en Replicación.
Haz clic en Crear un trabajo de replicación.
En la página Crear un trabajo de replicación nuevo, especifica un Nombre para el trabajo de replicación y haz clic en Siguiente.
Configura la fuente:
Selecciona Oracle (de Datastream) como fuente.
En Método de conectividad, si tu servidor de Oracle permite el tráfico de entrada desde las IP públicas de Datastream, elige Lista de IP permitidas. De lo contrario, en Nombre de la conexión privada, elige Conectividad privada (intercambio de tráfico de VPC) y, luego, ingresa el nombre del intercambio de tráfico de VPC que creaste en la sección Crea el intercambio de tráfico de la red de VPC o la regla de firewall para tu servidor de Oracle.
En Host, ingresa el nombre de host del servidor de Oracle del que se leerá.
En Puerto, ingresa el puerto que se usará para conectarse al servidor de Oracle: 1521.
En Identidad del sistema, ingresa
xe(el nombre de la base de datos de muestra del servidor de Oracle).En la sección de credenciales, ingresa tu nombre de usuario y contraseña para acceder al servidor de Oracle.
Deja todas las demás propiedades como están.
Haz clic en Siguiente.
Configura el destino:
Selecciona el destino de BigQuery.
El ID del proyecto y la clave de la cuenta de servicio se detectan automáticamente. Mantén los valores predeterminados.
Opcional: En la sección Avanzada, puedes configurar lo siguiente:
- Nombre y ubicación del bucket de etapa de pruebas
- Intervalo de carga
- Prefijo de la tabla de etapa intermedia
- Comportamiento cuando se descartan tablas o bases de datos
Haz clic en Siguiente.
Si la conexión se realiza correctamente, se mostrará una lista de tablas. Para este instructivo, selecciona algunas tablas.
Haz clic en Siguiente.
En la página de evaluación de la revisión, haz clic en Ver asignaciones en cualquiera de las tablas para obtener una evaluación de los problemas de esquema, las funciones faltantes o los problemas de conectividad que podrían ocurrir durante la replicación.
Si se produce algún problema, debes resolverlo antes de continuar. En este instructivo, si alguna de las tablas tiene problemas, haz lo siguiente:
- Regresa al paso en el que seleccionaste las tablas.
- Selecciona una tabla o un evento (inserciones, actualizaciones o eliminaciones) sin problemas.
Para obtener más información sobre las conversiones de tipos de datos desde la base de datos de origen hasta el destino de BigQuery, consulta Tipos de datos de replicación.
Haga clic en Atrás.
Haz clic en Siguiente.
Revisa los detalles del trabajo de replicación de resumen y, luego, haz clic en Implementar trabajo de replicación.
Inicia el trabajo
En la interfaz web de Cloud Data Fusion, ve a la página de detalles del trabajo de replicación.
Haz clic en Iniciar.
El trabajo de replicación pasa del estado Aprovisionando al estado Iniciando y, luego, al estado En ejecución. En el estado de ejecución, el trabajo de replicación carga una instantánea inicial de los datos de la tabla que seleccionaste en BigQuery. En este estado, el estado de la tabla aparece como Creando instantánea. Después de que se carga la instantánea inicial en BigQuery, cualquier cambio que se realice en la tabla se replica en BigQuery, y el estado de la tabla se muestra como Replicating.
Supervisa el trabajo
Puedes iniciar y detener el trabajo de replicación, revisar su configuración y registros, y supervisar tu trabajo de replicación.
Puedes supervisar las actividades del trabajo de replicación desde la página de detalles del trabajo de replicación.
En la página Replication, haz clic en el Nombre del trabajo de replicación elegido.
Haz clic en Monitoring.
Visualiza los resultados en BigQuery
El trabajo de replicación crea un conjunto de datos replicados y una tabla en BigQuery, con nombres heredados de la base de datos y los nombres de tabla correspondientes de Oracle.
En la consola de Google Cloud , ve a la página BigQuery.
En el panel izquierdo, haz clic en el nombre de tu proyecto para expandir una lista de conjuntos de datos.
Selecciona el conjunto de datos
xey, luego, selecciona una tabla para verla.
Si deseas obtener más información, consulta la documentación de BigQuery.