Transmite datos desde bases de datos de Oracle

En esta sección, se incluye la siguiente información:

  • El comportamiento de Datastream cuando controla los datos que se extraen de una base de datos de Oracle de origen
  • Las versiones de la base de datos de Oracle que Datastream admite
  • Una descripción general de cómo configurar una base de datos de Oracle de origen para que los datos se puedan transmitir a un destino
  • Limitaciones conocidas para usar la base de datos de Oracle como fuente

Comportamiento

Datastream admite dos métodos para extraer cambios en los datos de los archivos de registro de rehacer en línea: el lector de registros binarios de Oracle (vista previa) y Oracle LogMiner.

Con el método del lector de registros binarios (vista previa), se observa el siguiente comportamiento:

  • Si hay un retraso de lectura cuando se extraen los cambios de los archivos de registro en línea, Datastream extrae los cambios de los archivos de registro archivados.

  • Datastream replica solo los cambios confirmados en el destino. No se replican las transacciones no confirmadas ni revertidas.

  • El lector binario admite la replicación de columnas VARCHAR2 de Oracle con más de 4,000 caracteres.

Datastream también admite la función Oracle LogMiner para exponer los cambios en los datos. El método tiene el siguiente comportamiento:

  • Se pueden seleccionar todos los esquemas o los esquemas específicos de una base de datos determinada, así como todas las tablas de los esquemas o tablas específicas.
  • Se replican todos los datos históricos.
  • Se replican todos los cambios del lenguaje de manipulación de datos (DML), como las inserciones, las actualizaciones y las eliminaciones de las bases de datos y las tablas especificadas.
  • Datastream replica los cambios confirmados y, en algunos casos, los no confirmados en el destino. Datastream lee los cambios no confirmados. En caso de reversión, los registros de salida de Datastream también incluyen la operación opuesta. Por ejemplo, si hay una operación INSERT revertida, los registros de resultado también contendrán una operación DELETE correspondiente. En este caso, el evento aparecerá como un evento DELETE con solo el ROWID.

Reabastecimiento basado en ROWID

En Oracle, ROWID es una seudocolumna que almacena identificadores únicos para las filas de una tabla. Datastream usa los valores ROWID para sus operaciones de reabastecimiento. Por lo tanto, te recomendamos que no realices ninguna acción que pueda cambiar los valores ROWID en tu base de datos de Oracle de origen hasta que se complete la operación de reabastecimiento.

Las acciones que pueden cambiar los valores ROWID incluyen las siguientes:

  • Movimiento físico de las filas:

    • Operaciones de exportación e importación: Cuando exportas una tabla y, luego, la vuelves a importar, la ubicación física de las filas puede cambiar, lo que genera valores ROWID nuevos.
    • Comando ALTER TABLE (...) MOVE: Mover una tabla a un espacio de tabla diferente puede cambiar el almacenamiento físico y generar cambios en ROWID.
    • Comando ALTER TABLE (...) SHRINK SPACE: Este comando comprime la tabla, lo que puede mover filas y afectar sus valores ROWID.
    • Operaciones de partición: Dividir, combinar o mover particiones puede cambiar la ubicación física de las filas y sus valores ROWID.

  • Operaciones de Flashback:

    • Comando FLASHBACK TABLE: Restablecer una tabla a un estado anterior implica borrar y volver a insertar filas, lo que crea valores ROWID nuevos.
    • FLASHBACK_TRANSACTION_QUERY: Es similar a FLASHBACK TABLE. Revertir una transacción puede causar cambios en ROWID si se borraron o actualizaron filas dentro de la transacción.

Soluciona problemas del reabastecimiento de la tabla de partición de Oracle 11.2.0.4

Si el reabastecimiento falla para una tabla particionada en Oracle 11.2.0.4 con un error de recuperación inesperado (índice fuera de límites), se debe a un error de metadatos de Oracle en el que las consultas a ALL_OBJECTS no muestran las subparticiones.

  • Solución alternativa: Revoca temporalmente el privilegio SELECT ON DBA_EXTENTS del usuario de Datastream (por ejemplo, REVOKE SELECT ON sys.dba_extents FROM USER_NAME;). Esto obliga a Datastream a usar el reabastecimiento basado en índices, lo que evita el problema de metadatos.

Bases de datos en espera

Cuando usas una base de datos en espera de Oracle Active Data Guard como fuente, Datastream lee los registros de rehacer archivados. Para asegurarte de que Datastream procese solo los registros de rehacer que se aplicaron correctamente a la base de datos en espera, debes filtrar las vistas estándar de Oracle, como V$ARCHIVED_LOG y GV$ARCHIVED_LOG, para incluir solo los registros con el APPLIED = 'YES' filtro.

Para lograrlo, puedes crear vistas personalizadas. Asegúrate de otorgar el acceso adecuado a estas vistas para tu usuario de Datastream. Por ejemplo:

CREATE OR REPLACE VIEW USER_NAME.local_v$archived_log AS 
SELECT * FROM sys.v_$ARCHIVED_LOG
WHERE RESETLOGS_CHANGE# = (SELECT resetlogs_change# FROM v$database)
  AND APPLIED = 'YES';

CREATE OR REPLACE VIEW USER_NAME.local_gv$archived_log AS 
SELECT * FROM sys.gv_$ARCHIVED_LOG
WHERE RESETLOGS_CHANGE# = (SELECT resetlogs_change# FROM v$database)
  AND APPLIED = 'YES';

CREATE SYNONYM USER_NAME.v$archived_log FOR USER_NAME.local_v$archived_log;
CREATE SYNONYM USER_NAME.gv$archived_log FOR USER_NAME.local_gv$archived_log;

El uso del filtro APPLIED = 'YES' tiene una implicación en la actualidad de los datos. Datastream espera hasta que el proceso de recuperación administrada (MRP) de la base de datos en espera aplique los registros y actualice la columna APPLIED a YES antes de extraer los cambios. Si el proceso de MRP se retrasa o se pausa, por ejemplo, si suspendes el proceso de aplicación en espera, esto afecta directamente la actualidad de los datos replicados. Datastream ingresa en un bucle de reintento y retrasa el procesamiento hasta que los registros archivados recién aplicados estén disponibles.

Esta configuración es muy relevante cuando se replican tablas que incluyen columnas de objetos grandes (LOB). Para las operaciones UPDATE, los valores detallados de las columnas LOB no están presentes en los registros de rehacer; por lo tanto, Datastream debe consultar la base de datos para recuperar la fila asociada. Si Datastream procesa un registro de rehacer no aplicado y trata de recuperar el valor LOB de la base de datos en espera, es posible que recupere un valor incorrecto y desactualizado. Si filtras los registros para asegurarte de que se apliquen por completo primero, Datastream recupera los datos correctos.

Versiones

Datastream admite las siguientes versiones de la base de datos de Oracle:

  • Oracle 11g, versión 11.2.0.4 (solo compatible con el método Logminer CDC)
  • Oracle 12c, versión 12.1.0.2
  • Oracle 12c, versión 12.2.0.1
  • Oracle 18c
  • Oracle 19c
  • Oracle 21c

Datastream admite los siguientes tipos de bases de datos de Oracle:

  • Autoalojado de forma local o en cualquier proveedor de servicios en la nube
  • Amazon RDS for Oracle
  • Oracle Cloud
  • Oracle Exadata
  • Oracle RAC
  • Base de datos en espera de Oracle Active Data Guard

Configuración

Para configurar una base de datos de Oracle de origen de modo que los datos se puedan transmitir a un destino, debes configurar la base de datos para otorgar acceso, configurar el registro y definir una política de retención.

Consulta Configura tu base de datos de Oracle de origen para obtener información sobre cómo configurar esta base de datos a fin de que Datastream pueda extraer datos de ella a un destino.

Prácticas recomendadas

En esta sección, se describen las prácticas recomendadas para configurar tu fuente de Oracle para usarla con Datastream.

Distinción de mayúsculas para el lector binario

Cuando configures una fuente de Oracle con el método CDC del lector binario y especifiques nombres de directorio para los registros de rehacer y de archivo, ten en cuenta que los nombres distinguen mayúsculas de minúsculas. Asegúrate de que los nombres de directorio que proporcionas en el perfil de conexión de Datastream coincidan exactamente con el uso de mayúsculas y minúsculas de los nombres de directorio en tu base de datos de Oracle.

Simultaneidad de CDC

Para minimizar el retraso de replicación, asegúrate de que Datastream pueda procesar los registros de rehacer tan rápido como los cree tu fuente de Oracle. Cuando se usa el método CDC del lector binario, la simultaneidad de Datastream está en el nivel del archivo de registro de rehacer: cada tarea definida por maxConcurrentCdcTasks procesa un archivo a la vez.

Te recomendamos que uses la siguiente metodología:

  • Ajusta la simultaneidad en Datastream: Identifica la cantidad promedio de cambios de registro de rehacer durante el horario de atención pico y configura el maxConcurrentCdcTasks parámetro en consecuencia. Para obtener más información, consulta Cantidad máxima de tareas de CDC.
  • Configura el cambio de registro de Oracle: Configura Oracle para que cambie los registros con frecuencia, por ejemplo, cada 10 a 20 minutos. Esto crea un flujo constante de unidades de trabajo más pequeñas, lo que permite que las tareas simultáneas de Datastream funcionen en paralelo de manera eficaz.

Te recomendamos que optimices la configuración para que haya suficientes tareas simultáneas en Datastream para controlar la creación frecuente de registros de rehacer más pequeños de Oracle. Para obtener más información, consulta Controles de simultaneidad de transmisión.

Limitaciones conocidas

Entre las limitaciones conocidas para usar la base de datos de Oracle como fuente, se incluyen las siguientes:

  • Las transmisiones se limitan a 10,000 tablas. Si una transmisión incluye más de 10,000 tablas, es posible que se produzcan errores.
  • Datastream admite la arquitectura multiusuario de Oracle (CDB/PDB). Sin embargo, solo puedes replicar una sola base de datos conectable en una transmisión.
  • No se admite Oracle Autonomous Database.
  • Para las tablas que no tienen una clave primaria, Datastream usa el ROWID de la fila para realizar una operación de combinación en el cliente. Ten en cuenta que es posible que el ROWID no sea único. Si borras y vuelves a insertar una fila con la utilidad de exportación/importación de Oracle, por ejemplo, el ROWID de la fila podría cambiar. Si borras una fila, Oracle puede reasignar su ROWID a una fila nueva insertada más tarde.
  • No se admiten las tablas organizadas por índices (IOT).
  • Las tablas temporales no son compatibles.
  • No se admiten los siguientes tipos de datos de Oracle y no se replican. Las columnas de estos tipos se replican como valores NULL en el destino:
    • ANYDATA, ANYDATASET, ANYTYPE
    • VARRAY (arrays de Oracle)
    • BFILE, BFILENAME
    • INTERVAL DAY TO SECOND, INTERVAL YEAR TO MONTH
    • LONG, LONG RAW
    • UROWID
    • UDT
    • Tipos de medios y espaciales: ORDAUDIO, ORDDATASOURCE, ORDDICOM, ORDDOC, ORDIMAGE, ORDVIDEO, SDO_GEOMETRY (y todos los demás tipos MDSYS.SDO_*).

  • Para transmitir columnas de tipos de datos de objetos grandes, como XMLTYPE, objetos grandes binarios (BLOB), objetos grandes de caracteres (CLOB) y objetos grandes de caracteres nacionales (NCLOB), debes incluir la marca streamLargeObjects en la configuración de tu transmisión. Si no incluyes la marca, Datastream no transmite esas columnas y se reemplazan por valores NULL en el destino. Para obtener más información, consulta Habilita la transmisión de objetos grandes para fuentes de Oracle. Cuando se transmiten estos tipos de datos, Datastream debe consultar la base de datos de origen para recuperar los valores LOB faltantes en un momento determinado (en un proceso de búsqueda activa llamado suplementación). Esto ocurre en los siguientes casos:

    • Cuando las cargas útiles de LOB sin cambios se descartan del registro de rehacer durante una UPDATE
    • Durante cualquier operación DML que involucre tipos de XML binarios
    • Durante cualquier DML analizado en una tabla que contenga LOBs si la transmisión usa el método LogMiner

    Como Datastream transmite estas columnas consultando la base de datos, es posible que no se capturen los cambios intermedios en situaciones que impliquen actualizaciones rápidas y consecutivas o una eliminación rápida después de una inserción. Ten en cuenta que las operaciones DELETE no activan la suplementación. Esta limitación es particularmente relevante cuando se usa el modo de escritura de solo anexar, que espera que se capturen todos los cambios intermedios.

  • En el caso de Oracle 11g, no se admiten las tablas que tienen columnas de tipos de datos ANYDATA o UDT, y no se replicará la tabla completa.

  • No se replica la seguridad de etiquetas de Oracle (OLS).

  • Datastream recupera periódicamente el esquema más reciente de la fuente a medida que se procesan los eventos. Si cambia un esquema, es posible que se lean algunos eventos del esquema nuevo mientras aún se aplica el esquema anterior. En este caso, Datastream detecta el cambio de esquema, activa una recuperación de esquema y vuelve a procesar los eventos fallidos.

  • No todos los cambios en el esquema de origen se pueden detectar automáticamente, en cuyo caso pueden ocurrir daños en los datos. Los siguientes cambios de esquema pueden causar daños en los datos o que no se puedan procesar los eventos en etapas posteriores:

    • Descarta columnas
    • Agregar columnas en medio de una tabla
    • Cambiar el tipo de datos de una columna
    • Reordenar las columnas
    • Descarta tablas (relevante si la misma tabla se vuelve a crear con datos nuevos agregados)
    • Truncar tablas

  • Datastream no admite la replicación de vistas.

  • Datastream admite vistas materializadas. Sin embargo, las vistas nuevas creadas mientras se ejecuta la transmisión no se reabastecen automáticamente.

  • Cuando se usa el método Oracle LogMiner, no se admiten las instrucciones SAVEPOINT y pueden causar discrepancias en los datos en caso de reversión.

  • Cuando se usa el método del lector binario, no se admiten las tablas particionadas de forma dinámica.

  • Cuando se usa el método Oracle LogMiner, Datastream no admite la replicación de tablas y columnas cuyos nombres superen los 30 caracteres.

  • Datastream admite las siguientes codificaciones de grupo de caracteres para bases de datos de Oracle:

    • AL16UTF16
    • AL32UTF8
    • IN8ISCII
    • IW8ISO8859P8
    • JA16SJIS
    • JA16SJISTILDE
    • KO16MSWIN949
    • US7ASCII
    • UTF8
    • WE8ISO8859P1
    • WE8ISO8859P9
    • WE8ISO8859P15
    • WE8MSWIN1252
    • ZHT16BIG5

  • Datastream no admite la replicación de valores de fecha cero. Esas fechas se reemplazan por valores NULL.

  • Datastream no admite la conectividad directa a bases de datos con la función Single Client Access Name (SCAN) en entornos de Oracle Real Application Clusters (RAC). Para obtener información sobre posibles soluciones, consulta Comportamiento y limitaciones de la fuente de Oracle.

  • Si la fuente es una base de datos en espera de Oracle Active Data Guard, Datastream solo admite la encriptación a nivel del espacio de tabla y no admite la encriptación a nivel de la columna.

Limitaciones adicionales cuando se usa el lector binario

  • El método del lector binario de alto rendimiento solo es compatible con Oracle 12c y versiones posteriores. Para Oracle 11g y versiones anteriores, debes usar LogMiner.

  • El lector binario no admite las siguientes funciones:

    • Encriptación de base de datos transparente (TDE)
    • Compresión híbrida en columnas
    • Archivos seguros
    • ASM no es compatible con las fuentes de Amazon RDS.
    • El método CDC del lector binario no admite Oracle 11g ni versiones anteriores.

¿Qué sigue?