Diffuser des données depuis des bases de données Oracle

Cette section contient des informations sur les éléments suivants :

  • Comportement de Datastream lors du traitement des données extraites d'une base de données Oracle source
  • Versions de la base de données Oracle compatibles avec Datastream
  • Présentation de la configuration d'une base de données Oracle source afin que les données puissent être diffusées en streaming vers une destination
  • Limites connues de l'utilisation de la base de données Oracle en tant que source

Comportement

Datastream est compatible avec deux méthodes d'extraction des modifications apportées aux données à partir des fichiers journaux de rétablissement en ligne : le lecteur de journaux binaires Oracle (aperçu) et Oracle LogMiner.

Avec la méthode du lecteur de journaux binaires (aperçu), le comportement suivant est observé :

  • En cas de latence de lecture lors de l'extraction des modifications à partir des fichiers journaux en ligne, Datastream extrait les modifications à partir des fichiers journaux archivés.

  • Datastream ne réplique que les modifications validées dans la destination. Les transactions non validées ou annulées ne sont pas répliquées.

  • Le lecteur binaire permet de répliquer les colonnes VARCHAR2 Oracle de plus de 4 000 caractères.

Datastream est également compatible avec la fonctionnalité Oracle LogMiner pour exposer les modifications apportées aux données. La méthode présente le comportement suivant :

  • Vous pouvez sélectionner tous les schémas ou des schémas spécifiques d'une base de données donnée, ainsi que toutes les tables des schémas ou des tables spécifiques.
  • Toutes les données historiques sont répliquées.
  • Toutes les modifications apportées au langage de manipulation de données (LMD), telles que les insertions, les mises à jour et les suppressions des bases de données et des tables spécifiées, sont répliquées.
  • Datastream réplique les modifications validées et, dans certains cas, non validées dans la destination. Datastream lit les modifications non validées. En cas de rollback, les enregistrements de sortie Datastream incluent également l'opération inverse. Par exemple, si une opération INSERT a été annulée, les enregistrements de sortie contiendront également une opération DELETE correspondante. Dans ce cas, l'événement s'affichera sous la forme d'un événement DELETE avec uniquement ROWID.

Remplissage basé sur ROWID

Dans Oracle, ROWID est une pseudocolonne qui stocke des identifiants uniques pour les lignes d'une table. Datastream utilise les valeurs ROWID pour ses opérations de remplissage. Pour cette raison, nous vous recommandons de ne pas effectuer d'actions susceptibles de modifier les valeurs ROWID dans votre base de données Oracle source tant que l'opération de remplissage n'est pas terminée.

Voici les actions qui peuvent modifier les valeurs ROWID :

  • Déplacement physique des lignes :

    • Opérations d'exportation et d'importation : lorsque vous exportez une table, puis que vous l'importez à nouveau, l'emplacement physique des lignes peut changer, ce qui entraîne de nouvelles valeurs ROWID.
    • Commande ALTER TABLE (...) MOVE : le déplacement d'une table vers un autre espace de table peut modifier le stockage physique et entraîner des modifications ROWID.
    • Commande ALTER TABLE (...) SHRINK SPACE : cette commande compresse le tableau, ce qui peut entraîner le déplacement de lignes et affecter leurs valeurs ROWID.
    • Opérations de partitionnement : la division, la fusion ou le déplacement de partitions peuvent modifier l'emplacement physique des lignes et leurs valeurs ROWID.

  • Opérations de retour en arrière :

    • Commande FLASHBACK TABLE : la restauration d'une table à un état antérieur implique la suppression et la réinsertion de lignes, ce qui crée de nouvelles valeurs ROWID.
    • FLASHBACK_TRANSACTION_QUERY : semblable à FLASHBACK TABLE. L'annulation d'une transaction peut entraîner des modifications de ROWID si des lignes ont été supprimées ou mises à jour au cours de la transaction.

Versions

Datastream est compatible avec les versions suivantes de la base de données Oracle :

  • Oracle 11g, version 11.2.0.4 (compatible uniquement avec la méthode CDC Logminer)
  • Oracle 12c, version 12.1.0.2
  • Oracle 12c, version 12.2.0.1
  • Oracle 18c
  • Oracle 19c
  • Oracle 21c

Datastream est compatible avec les types de base de données Oracle suivants :

  • Auto-hébergé sur site ou chez n'importe quel fournisseur de services cloud
  • Amazon RDS pour Oracle
  • Oracle Cloud
  • Oracle Exadata
  • Oracle RAC
  • Base de données de secours Oracle Active Data Guard

Configuration

Pour configurer une base de données Oracle source afin que ses données puissent être diffusées vers une destination, vous devez configurer la base de données pour accorder l'accès, configurer la journalisation et définir une règle de conservation.

Pour savoir comment configurer cette base de données afin que Datastream puisse en extraire des données dans une destination, consultez Configurer une base de données Oracle source.

Bonnes pratiques

Cette section décrit les bonnes pratiques recommandées pour configurer votre source Oracle afin de l'utiliser avec Datastream.

Sensibilité à la casse pour le lecteur binaire

Lorsque vous configurez une source Oracle avec la méthode CDC du lecteur binaire et que vous spécifiez des noms de répertoire pour les journaux de rétablissement et d'archive, sachez que les noms sont sensibles à la casse. Assurez-vous que la casse des noms de répertoire que vous fournissez dans le profil de connexion Datastream correspond exactement à celle des noms de répertoire de votre base de données Oracle.

Simultanéité de la CDC

Pour minimiser le décalage de réplication, assurez-vous que Datastream peut traiter les journaux redo aussi rapidement que votre source Oracle les crée. Lorsque vous utilisez la méthode CDC du lecteur binaire, la simultanéité Datastream se situe au niveau du fichier journal redo : chaque tâche définie par maxConcurrentCdcTasks traite un fichier à la fois.

Nous vous recommandons d'utiliser la méthodologie suivante :

  • Ajustez la simultanéité dans Datastream : identifiez le nombre moyen de changements de journaux redo pendant vos heures d'activité les plus chargées et configurez le paramètre maxConcurrentCdcTasks en conséquence. Pour en savoir plus, consultez la section Nombre maximal de tâches CDC.
  • Configurer le changement de journaux Oracle : configurez Oracle pour qu'il change de journaux fréquemment, par exemple toutes les 10 à 20 minutes. Cela crée un flux constant de petites unités de travail, ce qui permet aux tâches simultanées Datastream de fonctionner efficacement en parallèle.

Nous vous recommandons d'optimiser vos paramètres afin qu'il y ait suffisamment de tâches simultanées dans Datastream pour gérer la création fréquente de journaux redo plus petits à partir d'Oracle. Pour en savoir plus, consultez Contrôles de la simultanéité des flux.

Limites connues

Les limites connues d'utilisation de la base de données Oracle en tant que source incluent les suivantes :

  • Les flux sont limités à 10 000 tables. Si un flux inclut plus de 10 000 tables, des erreurs peuvent se produire.
  • Datastream est compatible avec l'architecture mutualisée Oracle (CDB/PDB). Toutefois, vous ne pouvez répliquer qu'une seule base de données connectable dans un flux.
  • Oracle Autonomous Database n'est pas compatible.
  • Pour les tables sans clé primaire, Datastream utilise le ROWID de la ligne pour effectuer une opération de fusion côté consommateur. Notez que le ROWID n'est pas forcément unique. Si vous supprimez et réinsérez une ligne avec l'utilitaire d'exportation/d'importation d'Oracle, par exemple, le ROWID de la ligne peut changer. Si vous supprimez une ligne, Oracle peut réaffecter son ROWID à une nouvelle ligne insérée ultérieurement.
  • Les tables organisées en index (IOT) ne sont pas acceptées.
  • Les tables temporaires ne sont pas acceptées.
  • Les colonnes des types de données ANYDATA, BFILE, INTERVAL DAY TO SECOND, INTERVAL YEAR TO MONTH, LONG/LONG RAW, SDO_GEOMETRY, UDT, UROWID et XMLTYPE ne sont pas acceptées et sont remplacées par des valeurs NULL.
  • Pour diffuser des colonnes de types de données d'objets volumineux, tels que les objets binaires volumineux (BLOB), les objets volumineux de caractères (CLOB) et les objets volumineux de caractères nationaux (NCLOB), vous devez inclure l'indicateur streamLargeObjects dans la configuration de votre flux. Si vous n'incluez pas l'indicateur, Datastream ne diffuse pas ces colonnes, qui sont remplacées par des valeurs NULL dans la destination. Pour en savoir plus, consultez Activer le streaming d'objets volumineux pour les sources Oracle.
  • Pour Oracle 11g, les tables dont les colonnes contiennent les types de données ANYDATA ou UDT ne sont pas acceptées. L'intégralité de la table ne sera pas répliquée.
  • Oracle Label Security (OLS) n'est pas répliqué.
  • Datastream récupère régulièrement le dernier schéma de la source à mesure que les événements sont traités. Si un schéma change, certains événements du nouveau schéma peuvent être lus alors que l'ancien schéma est toujours appliqué. Dans ce cas, Datastream détecte la modification du schéma, déclenche une récupération du schéma et retraite les événements ayant échoué.
  • Certaines modifications apportées au schéma source ne peuvent pas être détectées automatiquement, ce qui peut provoquer une corruption des données. Les modifications de schéma suivantes peuvent entraîner une corruption des données ou l'échec du traitement des événements en aval :
    • Supprimer des colonnes
    • Ajout de colonnes au milieu d'une table
    • Changement du type de données d'une colonne
    • Réorganisation des colonnes
    • Suppression de tables (pertinente si la même table est ensuite recréée avec de nouvelles données ajoutées)
    • Troncation de tables
  • Datastream n'accepte pas la réplication des vues.
  • Datastream est compatible avec les vues matérialisées. Toutefois, les vues créées pendant la diffusion ne sont pas automatiquement remplies.
  • Lorsque vous utilisez la méthode Oracle LogMiner, les instructions SAVEPOINT ne sont pas acceptées et peuvent entraîner des écarts de données en cas de rollback.
  • Lorsque vous utilisez la méthode Oracle LogMiner, Datastream ne permet pas de répliquer les tables et les colonnes dont les noms dépassent 30 caractères.
  • Datastream est compatible avec les encodages de jeu de caractères suivants pour les bases de données Oracle :
    • AL16UTF16
    • AL32UTF8
    • IN8ISCII
    • IW8ISO8859P8
    • JA16SJIS
    • JA16SJISTILDE
    • KO16MSWIN949
    • US7ASCII
    • UTF8
    • WE8ISO8859P1
    • WE8ISO8859P9
    • WE8ISO8859P15
    • WE8MSWIN1252
    • ZHT16BIG5
  • Datastream n'accepte pas la réplication des valeurs de date nulles. Ces dates sont remplacées par des valeurs NULL.
  • Datastream n'est pas compatible avec la connectivité directe aux bases de données à l'aide de la fonctionnalité SCAN (Single Client Access Name) dans les environnements Oracle RAC (Real Application Clusters). Pour en savoir plus sur les solutions potentielles, consultez Comportement et limites de la source Oracle.
  • Si la source est une base de données de secours Oracle Active Data Guard, Datastream n'est pas compatible avec la réplication des données chiffrées.

Limites supplémentaires lors de l'utilisation du lecteur binaire

  • Le lecteur binaire n'est pas compatible avec les fonctionnalités suivantes :

    • Chiffrement transparent des bases de données (TDE)
    • Compression en colonnes hybrides
    • Sécuriser des fichiers
    • ASM n'est pas compatible avec les sources Amazon RDS.
    • La méthode CDC du lecteur binaire n'est pas compatible avec Oracle 11g ni les versions antérieures.

Étape suivante