Une fois que vous avez déployé un job de réplication, vous ne pouvez plus le modifier ni y ajouter de tables. Ajoutez plutôt les tables à une tâche de réplication nouvelle ou dupliquée.
Option 1 : Créer un job de réplication
Ajouter des tables à un nouveau job est l'approche la plus simple. Cela empêche le rechargement historique de toutes les tables et les problèmes d'incohérence des données.
Les inconvénients sont la surcharge accrue liée à la gestion de plusieurs jobs de réplication et la consommation de davantage de ressources de calcul, car chaque job s'exécute par défaut sur un cluster Managed Service for Apache Spark éphémère distinct. Ce dernier peut être atténué dans une certaine mesure en utilisant un cluster de service géré statique partagé pour Apache Spark pour les deux jobs.
Pour en savoir plus sur la création de jobs, consultez les tutoriels sur la réplication.
Pour en savoir plus sur l'utilisation d'un cluster Managed Service for Apache Spark statique dans Cloud Data Fusion, consultez Exécuter un pipeline sur un cluster Managed Service for Apache Spark existant.
Option 2 : Arrêter le job de réplication en cours et créer un doublon
Si vous dupliquez le job de réplication pour ajouter les tables, tenez compte des points suivants :
Si vous activez l'instantané pour les résultats de tâches en double, toutes les tables sont chargées à partir de zéro. Cette option est recommandée si vous ne pouvez pas utiliser l'option précédente, qui consiste à exécuter des jobs distincts.
Si vous désactivez l'instantané pour empêcher le chargement de l'historique, vous risquez de perdre des données, car il peut manquer des événements entre l'arrêt de l'ancien pipeline et le démarrage du nouveau. Il n'est pas recommandé de créer un chevauchement pour atténuer ce problème, car cela peut également entraîner une perte de données (les données historiques des nouvelles tables ne sont pas répliquées).
Pour créer un job de réplication en double, procédez comme suit :
Arrêtez le pipeline existant.
Sur la page "Tâches de réplication", recherchez la tâche que vous souhaitez dupliquer, cliquez sur , puis sur Dupliquer.
Activez l'instantané :
- Accédez à Configurer la source.
- Dans le champ Répliquer les données existantes, sélectionnez Oui.
Ajoutez des tables dans la fenêtre Sélectionner des tables et des transformations, puis suivez l'assistant pour déployer le pipeline de réplication.
Étapes suivantes
- En savoir plus sur la réplication