Présentation de la migration vers BigQuery

Le service de migration BigQuery est une solution complète qui vous permet de migrer votre entrepôt de données vers BigQuery. Il fournit des outils pour chaque phase de la migration, y compris l'évaluation et la planification, la traduction SQL pour divers dialectes SQL et le transfert de données, afin de vous aider à transférer vos charges de travail avec un minimum d'effort manuel.

Pour accéder au service de migration BigQuery, accédez à la page BigQuery dans la console Google Cloud , puis sélectionnez Migration > Services.

Fonctionnalités et outils de migration

Le service de migration BigQuery vous permet d'effectuer les opérations suivantes :

  • Évaluation : planifiez la migration de votre entrepôt de données en exécutant une évaluation de la migration BigQuery.
  • Traduire du code SQL : les services de traduction automatisent la conversion de vos requêtes SQL en GoogleSQL, y compris la personnalisation SQL améliorée par Gemini. Vous pouvez utiliser le traducteur SQL par lot, le traducteur SQL interactif ou l'API de traduction SQL pour migrer vos charges de travail vers BigQuery.
  • Transférer des données : configurez un transfert de données qui charge les données de votre source de données vers BigQuery. Pour en savoir plus, consultez Qu'est-ce que le service de transfert de données BigQuery ?.
  • Enregistrer ou migrer un lakehouse ouvert : migrez les métadonnées de catalogues externes, tels que les catalogues REST Apache Hive Metastore et Apache Iceberg, vers les tables de catalogue REST Lakehouse pour Apache Iceberg.

Vous pouvez également utiliser les outils Open Source suivants pour vous aider dans votre processus de migration :

  • Outil de migration de données : utilisez l'outil de migration de données pour automatiser la migration de votre entrepôt de données vers BigQuery. L'outil utilise le service de transfert de données BigQuery, les services de traduction BigQuery et l'outil de validation des données pour transférer des données, traduire et valider les requêtes LDD, LMD et SQL.
  • Outil de validation des données : après avoir migré vos données vers BigQuery, exécutez l'outil de validation des données pour vérifier que vos tables source et de destination correspondent.
  • Mappeur d'autorisations BigQuery : utilisez le mappeur d'autorisations pour automatiser la création et la maintenance des mappages d'autorisations modifiables par l'utilisateur. Vous pouvez utiliser le mappeur d'autorisations pour analyser et rapprocher les autorisations et les groupes d'utilisateurs en double, tout en générant des rapports d'erreurs. L'outil génère des scripts JSON et Terraform pour la création de groupes, d'utilisateurs et de liaisons BigQuery.
  • Modèles Managed Service pour Apache Airflow : utilisez les modèles Managed Service pour Apache Airflow pour simplifier la création de DAG Airflow ou la migration de jobs orchestrés existants depuis un environnement sur site vers le cloud.
  • Cloud Foundation Fabric : affichez les exemples et modules Terraform pourGoogle Cloud, y compris un plan de zone de destination à l'échelle de l'organisation, des plans de référence pour les modèles de réseau et les fonctionnalités du produit, ainsi qu'une bibliothèque de modules adaptables.

Sources de migration

Le service de migration BigQuery est compatible avec la migration des entrepôts de données suivants vers BigQuery :

Quotas

Les quotas et les limites s'appliquent au nombre de tâches ainsi qu'à la taille des fichiers. Pour en savoir plus sur les quotas et limites du service de migration, consultez la page Quotas et limites.

Tarifs

L'utilisation de l'API Migration de BigQuery n'engendre aucuns frais. En revanche, le stockage des fichiers d'entrée et de sortie entraîne des frais normaux. Pour en savoir plus, consultez les tarifs de stockage.

Vous pouvez également utiliser la fonctionnalité d'estimation des coûts de Google Cloud Migration Center pour générer une estimation des coûts liés à l'exécution de la configuration d'entrepôt de données que vous migrez vers BigQuery. Pour en savoir plus, consultez Démarrer une estimation des coûts et Spécifier les exigences d'entreposage de données.

Étapes suivantes