Outils de migration

Nous vous recommandons d'utiliser les outils suivants pour vous aider à différentes étapes de votre migration Spanner, en fonction de votre base de données source et d'autres facteurs. Certains outils ne sont compatibles qu'avec certaines bases de données sources. Pour certaines étapes du processus de migration, aucun outil n'est disponible. Vous devez donc les effectuer manuellement.

• L'outil de migration Spanner (SMT) est un outil Open Source qui effectue des évaluations, des conversions de schéma et des migrations de données. Pour savoir comment configurer l' outil de migration Spanner, consultez la section Configurer l'outil de migration Spanner.

• Datastream est un Google Cloud service qui vous permet de lire les événements de capture des données modifiées (CDC, Change Data Capture) et les données en bloc à partir d'une base de données source, et d'écrire dans une destination spécifiée.

• La migration de données en bloc est un modèle Dataflow qui vous permet de migrer directement de grands ensembles de données MySQL vers Spanner.

• La migration de données actives utilise Datastream et Dataflow pour migrer les éléments suivants :

  • Les données existantes dans votre base de données source.
  • Le flux de modifications apportées à votre base de données source pendant la migration.

• L'outil de validation des données (DVT) est une méthode de validation des données standardisée, créée par Google et compatible avec la communauté Open Source. Vous pouvez intégrer DVT à des produits existants Google Cloud .

• L'outil d'évaluation de la migration de base de données (DMA) propose une évaluation de base pour migrer MySQL et PostgreSQL vers Spanner.

Outils de migration pour les bases de données sources MySQL

Si votre base de données source est MySQL, vous pouvez effectuer certaines des étapes de migration initiales à l'aide de fichiers de vidage MySQL. Vous devez vous connecter directement à votre base de données MySQL source en cours d'exécution pour effectuer une migration en production.

Remarque : Si votre base de données source n'est pas MySQL ni PostgreSQL et que vous disposez d'un exemple de fichier de dump au format CSV, Avro ou Parquet, vous pouvez charger le fichier dans BigQuery et le copier dans Spanner à l'aide de l'ETL inverse. Pour toutes les autres étapes de migration, vous devez évaluer des solutions personnalisées.

Le tableau suivant recommande des outils de migration en fonction de l'étape de migration et selon que vous utilisez un fichier de dump ou que vous connectez directement votre base de données source :

Étape de migration	Fichier de vidage	Connexion directe à la base de données source
Évaluation	Utilisez SMT avec mysqldump.	Utilisez SMT avec mysqldump.
Conversion de schéma	Utilisez SMT avec mysqldump.	Utilisez SMT pour configurer et convertir le schéma.
Chargement d'exemples de données	Si votre exemple de fichier de dump fait moins de 100 Go, utilisez SMT en mode POC. Si votre exemple de fichier de dump fait plus de 100 Go, exportez-le vers Cloud SQL et effectuez une migration en bloc. Si votre exemple de fichier de dump est au format CSV, Avro ou Parquet, chargez-le dans BigQuery et copiez-le dans Spanner à l'aide de l'ETL inverse.	Effectuez une migration en bloc.
Migration de données	Non applicable	Effectuez une migration en bloc, puis effectuez une migration avec un temps d'arrêt minimal.
Validation des données	Non applicable	Utilisez DVT.
Configuration du basculement et de l'action de remplacement	Non applicable	Utilisez SMT pour la réplication inverse.

Outils de migration pour les bases de données sources PostgreSQL

Si votre base de données source utilise PostgreSQL, vous pouvez effectuer certaines des étapes de migration à l'aide d'un fichier de dump PostgreSQL. Vous devez vous connecter directement à votre base de données PostgreSQL source en cours d'exécution pour effectuer la migration.

Le tableau suivant recommande des outils de migration en fonction de l'étape de migration et selon que vous utilisez un fichier de dump ou que vous vous connectez directement à partir de votre base de données source :

Étape de migration	Fichier de vidage	Connexion directe à la base de données source
Évaluation	Utilisez SMT avec pg_dump.	Utilisez DMA.
Conversion de schéma	Utilisez SMT avec pg_dump.	Utilisez SMT pour configurer et convertir le schéma.
Chargement d'exemples de données	Si votre exemple de fichier de dump fait moins de 100 Go, utilisez SMT en mode POC. Si votre exemple de fichier de dump fait plus de 100 Go, exportez-le vers Cloud SQL et effectuez une migration avec un temps d'arrêt minimal. Si votre exemple de fichier de dump est au format CSV, Avro ou Parquet, chargez-le dans BigQuery et copiez-le dans Spanner à l'aide de l'ETL inverse.	Effectuez une migration avec un temps d'arrêt minimal.
Migration de données	Non applicable	Effectuez une migration avec un temps d'arrêt minimal.
Validation des données	Non applicable	Utilisez DVT.
Configuration du basculement et de l'action de remplacement	Non applicable	Non applicable

Outils de migration pour les bases de données sources Cassandra

Aperçu : Cassandra

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Spanner propose une interface compatible avec Cassandra qui permet de modifier le code d'application de manière quasi nulle lors de la migration de Cassandra vers Spanner. Pour en savoir plus sur les détails de compatibilité, consultez la présentation de Cassandra.

Le tableau suivant recommande des outils de migration en fonction de l'étape de migration :

Étape de migration	Outil ou processus recommandé
Évaluation	Non applicable
Conversion de schéma	Outil de conversion de schéma
Migration de données	Migration en bloc : utilisez le modèle Sourcedb vers Spanner. Données actives : utilisez le proxy DataStax ZDM.
Validation des données	Valider le nombre de lignes de données Valider le contenu des lignes de données Pour les bases de données à grande échelle (plus de 10 millions de lignes), créez vos propres outils. Pour en savoir plus, consultez Conseils pour valider Cassandra à l'aide de la correspondance des lignes. Pour les bases de données à petite échelle (<10 millions de lignes), consultez les exemples de scripts de validation dans GitHub.
Configuration du basculement	Utilisez l' interface de ligne de commande de l'outil de migration Spanner (SMT) dans GitHub pour la réplication inverse.