Einführung in BigQuery Migration Service

Dieses Dokument bietet einen Überblick über den BigQuery-Migrationsdienst.

Der BigQuery-Migrationsdienst ist eine umfassende Lösung für die Migration Ihres Data Warehouse zu BigQuery. Er bietet Funktionen, die Sie in jeder Migrationsphase unterstützen, einschließlich Bewertung und Planung, SQL-Übersetzung für eine Vielzahl von SQL-Dialekten, Datenübertragung und Datenvalidierung. Mit diesen Tools können Sie Migrationen beschleunigen und Risiken reduzieren sowie die Wertschöpfung verkürzen.

Der BigQuery Migration Service umfasst die folgenden Funktionen:

  • BigQuery-Migrationsbewertung: Bewerten und planen Sie die Migration Ihres Data Warehouse, indem Sie eine BigQuery-Migrationsbewertung durchführen.
  • SQL-Übersetzungstools: Die Übersetzungstools automatisieren die Konvertierung Ihrer SQL-Abfragen in GoogleSQL, einschließlich der Gemini-optimierten SQL-Anpassung. Sie können den Batch-SQL-Übersetzer verwenden, um Ihre SQL-Scripts im Bulk zu migrieren, oder den interaktiven SQL-Übersetzer, um einzelne Abfragen zu übersetzen. Sie können auch die SQL Translation API verwenden, um Ihre Arbeitslasten zu BigQuery zu migrieren.
  • BigQuery Data Transfer Service: Richten Sie eine Datenübertragung ein, mit der Daten aus Ihrer Datenquelle in BigQuery geladen werden. Weitere Informationen finden Sie unter Was ist BigQuery Data Transfer Service?.

Sie können auch die folgenden Open-Source-Tools verwenden, um die Migration zu erleichtern:

  • Tool zur Datenmigration: Mit dem Tool zur Datenmigration können Sie die Migration Ihres Data Warehouse zu BigQuery automatisieren. Das Tool verwendet den BigQuery Data Transfer Service, die BigQuery-Übersetzungsdienste und das Datenvalidierungstool, um Daten zu übertragen, DDL-, DML- und SQL-Abfragen zu übersetzen und zu validieren.
  • Datenvalidierungstool: Nachdem Sie Ihre Daten zu BigQuery migriert haben, führen Sie das Datenvalidierungstool aus, um zu prüfen, ob Ihre Quell- und Zieltabelle übereinstimmen.
  • BigQuery-Berechtigungszuordnung: Mit der Berechtigungszuordnung können Sie das Erstellen und Verwalten von nutzeränderbaren Berechtigungszuordnungen automatisieren. Mit dem Berechtigungs-Mapper können Sie doppelte Berechtigungen und Nutzergruppen analysieren und abstimmen sowie Fehlerberichte erstellen. Das Tool gibt JSON- und Terraform-Scripts für die Erstellung von BigQuery-Gruppen, ‑Nutzern und ‑Bindungen aus.
  • Cloud Composer-Vorlagen: Mit Cloud Composer-Vorlagen können Sie die Erstellung neuer Airflow-DAGs oder die Migration vorhandener orchestrierter Jobs von On-Premise in die Cloud vereinfachen.
  • Cloud Foundation Fabric: Terraform-Beispiele und -Module fürGoogle Cloud ansehen, einschließlich eines organisationsweiten Landing Zone-Blueprints, Referenz-Blueprints für Netzwerk- und Produktfunktionen sowie einer Bibliothek mit anpassbaren Modulen.

Kontingente

Für die Anzahl der Jobs sowie für die Größe der Dateien gelten Kontingente und Beschränkungen. Weitere Informationen zu Kontingenten und Limits für den Migrationsdienst finden Sie unter Kontingente und Limits.

Preise

Für die Verwendung der BigQuery Migration API fallen keine Gebühren an. Für die Speicherung von Eingabe- und Ausgabedateien werden jedoch die normalen Gebühren berechnet. Weitere Informationen finden Sie unter Speicherpreise.

Darüber hinaus können Sie die Funktion zur Kostenschätzung im Google Cloud Migration Center verwenden, um eine Kostenschätzung für die Ausführung Ihres Data Warehouse zu erstellen, das Sie zu BigQuery migrieren. Weitere Informationen finden Sie unter Kostenschätzung starten und Data Warehousing-Anforderungen angeben.

Nächste Schritte