Einführung in das Laden, Transformieren und Exportieren von Daten

In diesem Dokument werden die Datenintegrationsansätze zum Laden und Transformieren von Daten in BigQuery mithilfe der Prozesse „Extrahieren, Laden und Transformieren“ (ELT) oder „Extrahieren, Transformieren und Laden“ (ETL) beschrieben. Außerdem wird beschrieben, wie Sie Daten aus BigQuery exportieren, um Statistiken in anderen Systemen anzuwenden. Dies wird als Reverse ETL bezeichnet.

Entscheidung zwischen ELT und ETL

Es ist üblich, Ihre Daten vor oder nach dem Laden in BigQuery zu transformieren. Eine grundlegende Entscheidung ist, ob die Daten vor dem Laden in BigQuery transformiert werden sollen (ETL-Ansatz, Extract-Transform-Load) oder ob die Rohdaten in BigQuery geladen und Transformationen mit BigQuery durchgeführt werden sollen (ELT-Ansatz, Extract-Load-Transform).

Das folgende Diagramm zeigt die verschiedenen Optionen für die Datenintegration in BigQuery – entweder mit ELT oder ETL.

Ein Entscheidungsbaum für Produkte, die in ELT- oder ETL-Workflows für die Datenintegration in BigQuery verwendet werden

Im Allgemeinen empfehlen wir den meisten Kunden den ELT-Ansatz. Der ELT-Workflow teilt die komplexe Datenintegration in zwei überschaubare Teile auf: Extrahieren und Laden, dann Transformieren. Nutzer können aus einer Vielzahl von Datenlademethoden wählen, die ihren Anforderungen entsprechen. Sobald die Daten in BigQuery geladen sind, können Nutzer, die mit SQL vertraut sind, Transformationspipelines mit Tools wie Dataform entwickeln.

In den folgenden Abschnitten werden die einzelnen Workflows ausführlicher beschrieben.

Daten laden und transformieren

Es ist üblich, Ihre Daten vor oder nach dem Laden in BigQuery zu transformieren. Die beiden gängigen Ansätze zur Datenintegration, ETL und ELT, werden in den folgenden Abschnitten beschrieben.

ELT-Datenintegrationsansatz

Beim ELT-Ansatz (Extract-Load-Transform) führen Sie die Datenintegration in zwei separaten Schritten durch:

  • Daten extrahieren und laden
  • Daten transformieren

Sie können beispielsweise Daten aus einer JSON-Dateiquelle extrahieren und in eine BigQuery-Tabelle laden. Anschließend können Sie Pipelines verwenden, um Felder zu extrahieren und in Zieltabellen zu transformieren.

Der ELT-Ansatz kann Ihren Datenintegrations-Workflow so vereinfachen:

  • Andere Datenverarbeitungstools werden überflüssig
  • Der oft komplexe Datenintegrationsprozess wird in zwei überschaubare Teile aufgeteilt.
  • Nutzt die Funktionen von BigQuery vollständig, um Ihre Daten im großen Maßstab vorzubereiten, zu transformieren und zu optimieren

Daten extrahieren und laden

Beim ELT-Datenintegrationsansatz extrahieren Sie Daten aus einer Datenquelle und laden sie mit einer der unterstützten Methoden zum Laden oder Zugreifen auf externe Daten in BigQuery.

Daten in BigQuery transformieren

Nachdem Sie die Daten in BigQuery geladen haben, können Sie sie mit den folgenden Tools vorbereiten und transformieren:

  • Mit Dataform können Sie erweiterte SQL-Datentransformationspipelines gemeinsam erstellen, testen, dokumentieren und planen.
  • Für kleinere Datentransformations-Workflows, die SQL-Code, Python-Notebooks oder Datenvorbereitungen nach einem Zeitplan ausführen, verwenden Sie BigQuery-Pipelines.
  • Wenn Sie Ihre Daten für die Analyse bereinigen möchten, verwenden Sie die KI-gestützte Datenvorbereitung.

Jedes dieser Tools basiert auf der Dataform API.

Weitere Informationen finden Sie unter Einführung in Transformationen.

ETL-Datenintegrationsansatz

Beim ETL-Ansatz (Extrahieren, Transformieren, Laden) werden Daten extrahiert und transformiert, bevor sie in BigQuery geladen werden. Dieser Ansatz ist vorteilhaft, wenn Sie bereits einen Prozess für die Datentransformation haben oder die Ressourcennutzung in BigQuery reduzieren möchten.

Cloud Data Fusion kann Ihren ETL-Prozess vereinfachen. BigQuery arbeitet auch mit Drittanbietern zusammen, die Daten transformieren und in BigQuery laden.

Daten exportieren

Nachdem Sie Daten in BigQuery verarbeitet und analysiert haben, können Sie die Ergebnisse exportieren, um sie in anderen Systemen zu verwenden. BigQuery unterstützt die folgenden Exporte:

  • Abfrageergebnisse in eine lokale Datei, Google Drive oder Google Sheets exportieren
  • Tabellen oder Abfrageergebnisse nach Cloud Storage, Bigtable, Spanner, AlloyDB for PostgreSQL und Pub/Sub exportieren

Dieser Vorgang wird als Reverse-ETL bezeichnet.

Weitere Informationen finden Sie unter Einführung in den Datenexport in BigQuery.

Nächste Schritte