Übersicht über Workflows

In diesem Dokument erfahren Sie mehr über die Architektur und Ausführung von Workflows in Dataform.

Mit Dataform können Sie Workflows entwickeln, testen und versionieren, die Sie in BigQuery ausführen können, um Daten für Analysezwecke zu transformieren. Dataform-Workflows unterstützen BigQuery-Pipelines, Datenvorbereitungen, Notebooks und gespeicherte Abfragen.

Sie können Workflows mit Dataform-Core, mit SQLX-Dateien und optional mit JavaScript-Dateien oder mit JavaScriptentwickeln.

Ein Workflow kann aus den folgenden Objekten bestehen:

Deklarationen von Datenquellen
Deklarationen von BigQuery-Datenquellen, mit denen Sie in Dataform-Tabellendefinitionen und SQL-Vorgängen auf diese Datenquellen verweisen können.
Tabellen
Tabellen, die Sie in Dataform basierend auf den deklarierten Datenquellen oder anderen Tabellen in Ihrem Workflow erstellen. Dataform unterstützt die folgenden Tabellentypen: Tabelle, inkrementelle Tabelle, Ansicht und materialisierte Ansicht.
Assertionen
Abfragen für Datenqualitätstests, mit denen Sie Tabellendaten validieren können. Dataform führt Assertionen jedes Mal aus, wenn der Workflow aktualisiert wird, und benachrichtigt Sie, wenn eine Assertion fehlschlägt.
Benutzerdefinierte SQL-Vorgänge
SQL-Anweisungen, die Dataform unverändert in BigQuery ausführt.
Einschlüsse
JavaScript-Dateien mit Definitionen von Variablen und Funktionen, die Sie in Ihrem Workflow wiederverwenden können.

Mit dem Data-Engineering-Agenten entwickeln

Der Data-Engineering-Agent unterstützt Sie beim Erstellen und Verwalten von SQL-Workflows, indem er Code und Konfigurationen aus Prompts in natürlicher Sprache generiert. Neben der SQL Logik füllt der Agent Ihre Tabellenkonfigurationen proaktiv mit Knowledge Catalog-Metadaten (Vorschau), wie Feldbeschreibungen, Tabellenübersichten und allgemeinen Aspekten wie System- und Typinformationen. So sind Ihre Daten-Assets ab dem Zeitpunkt der Erstellung auffindbar.

Weitere Informationen finden Sie unter Data-Engineering-Agenten zum Erstellen und Ändern von Datenpipelines verwenden.

Visualisierung eines Workflows

Sie können Ihren Workflow in Form eines gerichteten azyklischen Graphen (Directed Acyclic Graph, DAG) visualisieren. Der DAG zeigt alle Objekte des Workflows, die in Ihrem Arbeitsbereich definiert sind, und die Beziehungen zwischen ihnen. Sie können im DAG heran- und herauszoomen und die Drag-and-drop-Navigation verwenden. Wenn in Ihrem Workflow Kompilierungsfehler auftreten, zeigt Dataform anstelle des DAG eine Fehlermeldung an.

Klicken Sie in Ihrem Arbeitsbereich auf Kompilierter Graph , um den DAG Ihres Workflows aufzurufen.

Ausführung eines Workflows

Sie müssen einem Dataform-Repository ein benutzerdefiniertes Dienstkonto für die Workflowausführung zuweisen. Alle anderen Repository-Vorgänge werden weiterhin vom Standard-Dataform-Dienst-Agenten ausgeführt.

In Ihrem Entwicklungsarbeitsbereich können Sie manuell eine Ausführung des gesamten Workflows, einer Auswahl von Aktionen oder einer Auswahl von Tags auslösen.

Sie können Ausführungen mit Dataform Releasekonfigurationen und Workflowkonfigurationen planen. Erstellen Sie zuerst eine Release-Konfiguration, um Kompilierungsergebnisse Ihres Repositorys zu erstellen. Erstellen Sie dann eine Workflowkonfiguration, wählen Sie eine Release-Konfiguration und Workflowaktionen aus, die ausgeführt werden sollen, und legen Sie den Ausführungszeitplan fest.

Alternativ können Sie Ausführungen entweder mit Managed Service for Apache Airflow oder mit Workflows und Cloud Scheduler planen.

Während der Ausführung führt Dataform SQL-Abfragen in BigQuery aus, wobei die Reihenfolge der Objektabhängigkeiten in Ihrem Workflow berücksichtigt wird. Nach der Ausführung können Sie die definierten Tabellen und Ansichten für alle Ihre Analysezwecke in BigQuery verwenden.

Konfigurationsoptionen für die Ausführung

Wenn Sie eine bestimmte Gruppe von Workflowaktionen ausführen möchten, können Sie den ausgewählten Dateien Dataform-Ausführungstags hinzufügen. Wenn Sie dann manuell eine Ausführung auslösen , werden nur die Dateien mit einem ausgewählten Tag ausgeführt.

Standardmäßig führt Dataform Ihren Workflow mit den Ausführungseinstellungen aus, die in der Datei workflow_settings.yaml definiert sind.

Mit Überschreibungen von Arbeitsbereichskompilierungen, können Sie Arbeitsbereiche in isolierte Ausführungsumgebungen umwandeln. Wenn Sie die Ausführung in einem Arbeitsbereich manuell auslösen, führt Dataform die Ausgabe an einem isolierten Speicherort in BigQuery aus.

Wenn Sie ein einzelnes Kompilierungsergebnis mit Überschreibungen der Kompilierung erstellen und ausführen möchten, können Sie Anfragen mit der Dataform API übergeben.

Mit Release-Konfigurationen, können Sie Überschreibungen der Kompilierung für Ihr gesamtes Repository sowie die Häufigkeit der Erstellung von Kompilierungsergebnissen mit den angewendeten Einstellungen konfigurieren.

Weitere Informationen zum Konfigurieren des Lebenszyklus von Kompilierung und Code in Dataform finden Sie unter Einführung in den Lebenszyklus von Code in Dataform.

Nächste Schritte