Einführung in BigQuery Migration Service

Dieses Dokument bietet einen Überblick über den BigQuery-Migrationsdienst.

Der BigQuery-Migrationsdienst ist eine umfassende Lösung für die Migration Ihres Data Warehouse zu BigQuery. Er bietet Funktionen, die Sie in jeder Migrationsphase unterstützen, einschließlich Bewertung und Planung, SQL-Übersetzung für eine Vielzahl von SQL-Dialekten, Datenübertragung und Datenvalidierung. Mit diesen Diensten können Sie Migrationen beschleunigen und Risiken reduzieren sowie die Wertschöpfung verkürzen.

Der BigQuery-Migrationsdienst umfasst die folgenden Funktionen:

  • BigQuery-Migrationsbewertung: Bewerten und planen Sie die Migration Ihres Data Warehouse, indem Sie eine BigQuery-Migrationsbewertung ausführen.
  • SQL-Übersetzungsdienste: Die Übersetzungsdienste automatisieren die Konvertierung von Ihren SQL-Abfragen in GoogleSQL, einschließlich der mit Gemini verbesserten SQL-Anpassung. Mit dem Batch-SQL Übersetzer können Sie Ihre SQL-Skripts im Bulk migrieren oder mit dem interaktiven SQL-Übersetzer einzelne Abfragen übersetzen. Sie können auch die SQL Translation API verwenden, um Ihre Arbeitslasten zu BigQuery zu migrieren.
  • BigQuery Data Transfer Service: Richten Sie eine Datenübertragung ein, mit der Daten aus Ihrer Datenquelle in BigQuery geladen werden. Weitere Informationen finden Sie unter Was ist der BigQuery Data Transfer Service?.

Sie können auch die folgenden Open-Source-Tools verwenden, um Sie bei der Migration zu unterstützen:

  • Tool zur Datenmigration: Mit dem Tool zur Datenmigration können Sie die Migration Ihres Data Warehouse zu BigQuery automatisieren. Das Tool verwendet den BigQuery Data Transfer Service, die BigQuery-Übersetzungsdienste und das Datenvalidierungstool, um Daten zu übertragen sowie DDL-, DML- und SQL-Abfragen zu übersetzen und zu validieren.
  • Datenvalidierungstool: Nachdem Sie Ihre Daten zu BigQuery migriert haben, führen Sie das Datenvalidierungs tool aus, um zu prüfen, ob Ihre Quell- und Zieltabellen übereinstimmen.
  • BigQuery-Berechtigungszuordnung: Mit der Berechtigungs zuordnung können Sie die Erstellung und Wartung von vom Nutzer änderbaren Berechtigungszuordnungen automatisieren. Sie können die Berechtigungszuordnung verwenden, um doppelte Berechtigungen und Nutzergruppen zu analysieren und abzugleichen sowie Fehlerberichte zu erstellen. Das Tool gibt JSON- und Terraform-Skripts für die Erstellung von BigQuery-Gruppen, ‑Nutzern und ‑Bindungen aus.
  • Cloud Composer-Vorlagen: Mit Cloud Composer Vorlagen können Sie die Erstellung neuer Airflow-DAGs vereinfachen oder vorhandene orchestrierte Jobs von lokalen Umgebungen in die Cloud migrieren.
  • Cloud Foundation Fabric: Hier finden Sie Terraform-Beispiele und ‑Module für Google Cloud, einschließlich eines organisationsweiten Landing-Zone-Blueprints, Referenz-Blueprints für Netzwerk- und Produktfunktionen sowie eine Bibliothek mit anpassbaren Modulen.

Kontingente

Für die Anzahl der Jobs sowie für die Größe der Dateien gelten Kontingente und Beschränkungen. Weitere Informationen zu Kontingenten und Limits für den Migrationsdienst finden Sie unter Kontingente und Limits.

Preise

Für die Verwendung der BigQuery Migration API fallen keine Gebühren an. Für die Speicherung von Eingabe- und Ausgabedateien werden jedoch die normalen Gebühren berechnet. Weitere Informationen finden Sie unter Speicherpreise.

Darüber hinaus können Sie die Funktion zur Kostenschätzung im Google Cloud Migration Center verwenden, um eine Kostenschätzung für die Ausführung Ihres Data Warehouse zu erstellen, das Sie zu BigQuery migrieren. Weitere Informationen finden Sie unter Kostenschätzung starten und Data-Warehousing-Anforderungen angeben.

Nächste Schritte