Einführung in die Datentransformation

Mit BigQuery können Sie Rohdaten direkt in Ihrem Data Warehouse bereinigen, anreichern und aggregieren, um Datasets für Analysen und nachgelagerte Anwendungen vorzubereiten. Je nach Latenz- und Workflow-Anforderungen können Sie Ad-hoc-SQL-Updates ausführen, inkrementelle Ansichten im Cache speichern, Echtzeitstreams verarbeiten oder automatisierte Pipelines planen. Eine End-to-End-Übersicht über Workflows zur Datenintegration finden Sie unter Einführung in das Laden, Transformieren und Exportieren von Daten.

Methoden zur Datentransformation

So können Sie Daten in BigQuery transformieren:

  • Verwenden Sie die Datenbearbeitungssprache (Data Manipulation Language, DML), um Daten in Ihren BigQuery-Tabellen zu transformieren.
  • Verwenden Sie materialisierte Ansichten, um die Ergebnisse einer Abfrage automatisch im Cache zu speichern und so die Leistung und Effizienz zu steigern.
  • Mit kontinuierlichen Abfragen können Sie eingehende Daten in Echtzeit analysieren und die Ausgabezeilen kontinuierlich in eine BigQuery-Tabelle einfügen oder nach Pub/Sub oder Bigtable exportieren.
  • Verwenden Sie BigQuery-Pipelines oder Dataform, um Pipelines in BigQuery zu entwickeln, zu testen, zu versionieren und zu planen.
  • Verwenden Sie die Datenvorbereitung mit kontextbezogenen, KI-generierten Transformationsempfehlungen, um Daten für die Analyse zu bereinigen. Datenvorbereitungen werden von der Dataform API unterstützt.

In der folgenden Tabelle sind die verschiedenen Merkmale der einzelnen Transformationsmethoden aufgeführt.

Transformationsmethode Transformationsziel Definitionsmethode Transformationshäufigkeit
Datenbearbeitungssprache (DML) Tabelle (vorhanden) SQL-DML Vom Nutzer initiiert oder geplant
Materialisierte Ansichten Materialisierte Ansicht SQL-Abfrage Automatische oder manuelle Aktualisierung
Kontinuierliche Abfragen Tabelle, Pub/Sub-Thema, Bigtable-Tabelle SQL-Abfrage mit EXPORT DATA Kontinuierlich
Dataform Tabelle Dataform Core (SQLX) Geplant (Pipelines)
BigQuery-Pipelines Tabelle BigQuery-Pipelines Geplant (Pipelines)
Datenvorbereitung Tabelle Visueller Editor Geplant

Sie können auch den Änderungsverlauf einer BigQuery-Tabelle prüfen, um die Transformationen zu untersuchen, die in einem bestimmten Zeitraum an einer Tabelle vorgenommen wurden.

Daten mit DML transformieren

Sie können die Datenbearbeitungssprache (Data Manipulation Language, DML) verwenden, um Daten in Ihren BigQuery-Tabellen zu transformieren. DML-Anweisungen sind GoogleSQL-Abfragen, mit denen vorhandene Tabellendaten bearbeitet werden, um Zeilen hinzuzufügen oder zu löschen, Daten in vorhandenen Zeilen zu ändern oder Daten mit Werten aus einer anderen Tabelle zusammenzuführen. DML-Transformationen werden auch in partitionierten Tabellen unterstützt.

Sie können mehrere DML-Anweisungen gleichzeitig ausführen. BigQuery stellt dann mehrere DML-Anweisungen in die Warteschlange, die Ihre Daten nacheinander transformieren. BigQuery verwaltet die Ausführung gleichzeitiger DML-Anweisungen basierend auf dem Transformationstyp.

Daten mit materialisierten Ansichten transformieren

Materialisierte Ansichten sind vorausberechnete Ansichten, die die Ergebnisse einer SQL-Abfrage regelmäßig im Cache speichern, um die Leistung und Effizienz zu steigern. BigQuery nutzt vorausberechnete Ergebnisse aus materialisierten Ansichten und liest nach Möglichkeit nur Änderungen aus den Basistabellen, um aktuelle Ergebnisse zu berechnen.

Materialisierte Ansichten werden im Hintergrund vorberechnet, wenn sich die Basistabellen ändern. Alle inkrementellen Datenänderungen aus den Basistabellen werden automatisch zu den materialisierten Ansichten hinzugefügt, ohne dass der Nutzer eingreifen muss.

Daten mit kontinuierlichen Abfragen transformieren

Kontinuierliche Abfragen sind SQL-Anweisungen, die kontinuierlich ausgeführt werden. Mit kontinuierlichen Abfragen können Sie eingehende Daten in BigQuery in Echtzeit analysieren. Sie können die von einer kontinuierlichen Abfrage erzeugten Ausgabezeilen in eine BigQuery-Tabelle einfügen oder nach Pub/Sub oder Bigtable exportieren.

Daten mit Dataform transformieren

Mit Dataform können Sie die Datentransformation im ELT-Prozess (Extrahieren, Laden und Transformieren) für die Datenintegration verwalten. Nachdem Sie Rohdaten aus Quellsystemen extrahiert und in BigQuery geladen haben, können Sie sie mit Dataform in eine organisierte, getestete und dokumentierte Suite von Tabellen umwandeln. In DML verwenden Sie zwar einen imperativen Ansatz, indem Sie BigQuery anweisen, wie Ihre Daten transformiert werden sollen, in Dataform schreiben Sie jedoch deklarative Anweisungen, wobei Dataform dann die Transformation bestimmt, die zum Erreichen dieses Status erforderlich ist.

In Dataform können Sie SQL-Workflows für die Datentransformation von Datenquellendeklarationen in Ausgabetabellen, Ansichten oder materialisierte Ansichten entwickeln, testen und einer Versionsverwaltung unterziehen. Sie können SQL-Workflows mit Dataform-Core oder reinem JavaScript entwickeln. Der Dataform-Core ist eine Open-Source-Metasprache, die SQL mit SQLX und JavaScript erweitert. Mit Dataform-Core können Sie Abhängigkeiten verwalten, automatisierte Datenqualitätstests einrichten und Tabellen- oder Spaltenbeschreibungen im Code dokumentieren.

Dataform speichert Ihren SQL-Workflow-Code in Repositories und verwendet Git, um Dateiänderungen zu verfolgen. Mit Entwicklungsarbeitsbereichen in Dataform können Sie am Inhalt des Repositorys arbeiten, ohne die Arbeit anderer zu beeinträchtigen, die im selben Repository arbeiten. Sie können Dataform-Repositories mit Git-Drittanbietern verbinden, darunter Azure DevOps Services, Bitbucket, GitHub und GitLab.

Sie können SQL-Workflows mit Dataform-Release- und Workflowkonfigurationen ausführen oder planen. Alternativ können Sie Ausführungen entweder mit Managed Service for Apache Airflow oder mit Workflows und Cloud Scheduler planen. Während der Ausführung führt Dataform SQL-Abfragen in BigQuery in der Reihenfolge der Objektabhängigkeiten in Ihrem SQL-Workflow aus. Nach der Ausführung können Sie die definierten Tabellen und Ansichten für Analysen in BigQuery verwenden.

Weitere Informationen zum Erstellen von SQL-Workflows für die Datentransformation in Dataform finden Sie unter Dataform – Übersicht und Dataform-Features.

Daten mit BigQuery-Pipelines transformieren

BigQuery-Pipelines werden von Dataform unterstützt und ermöglichen es Ihnen, Datentransformationen in ELT- (Extract, Load, Transform) oder ETL-Prozessen (Extract, Transform, Load) zu erstellen und zu verwalten.

Sie können BigQuery-Pipelines in BigQuery Studio visuell erstellen und verwalten.

Weitere Informationen zum Erstellen von BigQuery-Pipelines finden Sie unter Pipelines erstellen.

Daten in BigQuery vorbereiten

Um den Aufwand für die Datenvorbereitung zu reduzieren, können Sie in BigQuery Daten mit von Gemini generierten Transformationsvorschlägen bereinigen. Die Datenvorbereitung in BigQuery bietet die folgende Unterstützung:

  • Transformationen und Regeln für die Datenqualität anwenden
  • Daten standardisieren und anreichern
  • Schemazuordnung automatisieren

Sie können die Ergebnisse in einer Vorschau Ihrer Daten validieren, bevor Sie die Änderungen auf alle Ihre Daten anwenden.

Weitere Informationen finden Sie unter Übersicht über die Datenvorbereitung in BigQuery.

Nächste Schritte