Entwicklungsarbeitsbereich erstellen

In diesem Dokument erfahren Sie, wie Sie Folgendes tun:

Überblick über Entwicklungsarbeitsbereiche

In Dataform interagieren Sie mit Ihrem Workflow-Code in einem Entwicklungsarbeitsbereich. Das ist Ihre eigene bearbeitbare Kopie eines Repositorys. In einem Arbeitsbereich können Sie Inhalte des Repositorys erstellen, bearbeiten oder löschen, ohne andere Nutzer zu beeinträchtigen, die im selben Repository arbeiten. Anschließend können Sie Ihre Änderungen committen und an das Repository übertragen.

Sie können Ihren Workflow mit Dataform-Core oder JavaScript entwickeln. Dataform kompiliert Ihren Code in Echtzeit in SQL-Abfragen.

In einem Entwicklungsarbeitsbereich können Sie folgende Aufgaben ausführen:

Komponenten eines Entwicklungsarbeitsbereichs

Ein Entwicklungsarbeitsbereich für Dataform besteht aus den Tabs, die in den folgenden Abschnitten beschrieben werden.

Tab „Code“

In der Entwicklungsumgebung auf dem Tab Code können Sie Dateien durchsuchen, Abfragen entwickeln, Ihre Änderungen versionieren und die Ausführung in BigQuery auslösen. Der Tab enthält die folgenden Komponenten, mit denen Sie Workflows entwickeln können:

  • Bereich Dateien: Hier wird die Dateistruktur Ihres Arbeitsbereichs angezeigt. Ihre Änderungen an der Dateistruktur werden automatisch gespeichert. Ausgewählte Dateien werden auf den Tabs des Entwicklungsbereichs geöffnet. Im Feld Zum Suchen eingeben können Sie nach Dateien oder Verzeichnissen in Ihrem Arbeitsbereich anhand ihres Pfads suchen.
  • Bereich Versionsverwaltung: Hier werden der Status der Versionsverwaltung Ihres Arbeitsbereichs und die Optionen für die Versionsverwaltung angezeigt.
  • Bereich Entwicklung: Hier werden geöffnete Dateien auf Tabs angezeigt. Änderungen an bearbeiteten Dateien werden automatisch gespeichert.
  • Schaltfläche Ausführen: Führt eine Vorschau der kompilierten SQL-Abfrage aus.
  • Schaltfläche Formatieren: Formatiert Ihren Dataform-Core- oder JavaScript-Code.
  • Status Kompilierung: Hier wird der Kompilierungsstatus des Codes in Ihrem Arbeitsbereich angezeigt.
  • Bereich Metadaten: Hier werden die Metadaten der bearbeiteten Datei angezeigt.
  • Bereich Kompilierte Abfragen: Hier werden die Abfragen in der bearbeiteten Datei in SQL kompiliert. Wenn die Abfragekompilierung fehlschlägt, werden im Bereich die Kompilierungsfehler angezeigt. Wenn die Abfragekompilierung erfolgreich ist, werden im Bereich die kompilierten Abfragen angezeigt und durch Testläufe in BigQuery validiert. Wenn die Abfragevalidierung fehlschlägt, werden im Bereich die Validierungsfehler angezeigt. Wenn die Abfragevalidierung erfolgreich ist, wird im Bereich angezeigt, wie viele Byte für die Ausführung der Abfragen in BigQuery verwendet werden.
  • Menü Ausführung starten: Hier werden die Optionen zum Auslösen der Ausführung des gesamten Workflows in Ihrem Arbeitsbereich oder seiner ausgewählten Elemente angezeigt.

Tab für kompiliertes Diagramm

Auf dem Tab Kompiliertes Diagramm können Sie den in Ihrem Arbeitsbereich definierten kompilierten Workflow als interaktives gerichtetes azyklisches Diagramm (Directed Acyclic Graph, DAG) sehen. Das Diagramm zeigt alle Aktionen in Ihrem Workflow und die Beziehungen zwischen ihnen. Wenn in Ihrem Workflow Kompilierungsfehler auftreten, wird auf dem Tab anstelle des Diagramms eine Fehlermeldung angezeigt.

Sie können im Diagramm heran- und herauszoomen und Drag-and-drop-Navigation verwenden.

Sie können das Diagramm nach den folgenden Eigenschaften filtern:

  • Name
  • Tag
  • Typ
    • Assertion
    • Deklaration
    • Inkrementelle Tabelle
    • Materialisierte Ansicht
    • Vorgänge
    • Tabelle
    • Unbekannt
    • Ansehen

Sie können mehrere Filter gleichzeitig auswählen. Dataform wendet sie mit der Bedingung OR an.

Sie können im Diagramm auf eine Aktion klicken, um ihre Details in den folgenden Bereichen anzusehen:

  • Bereich Metadaten: Hier werden der vollständige Name, der Typ, die Abhängigkeiten und die abhängigen Elemente der ausgewählten Aktion angezeigt.
  • Bereich Abfrage: Hier wird die kompilierte SQL-Abfrage der ausgewählten Aktion angezeigt.

Tab „Ausführungen“

Auf diesem Tab werden die Logs aller Ausführungen angezeigt, die im Arbeitsbereich ausgelöst wurden. Sie können auch Aktionen und ihre Details für eine ausgewählte Ausführung ansehen. Weitere Informationen finden Sie unter Ausführungsprotokolle überwachen.

Versionsverwaltung in einem Arbeitsbereich

In einem Arbeitsbereich interagieren Sie über die Git-basierte Versionsverwaltung mit dem Repository. Änderungen, die Sie an Dateien in Ihrem Arbeitsbereich vornehmen, sind zunächst nicht übertragene lokale Änderungen, die Sie committen und dann an Ihr Repository übertragen können, damit sie allen Repository-Nutzern zur Verfügung stehen.

Wenn Ihr Repository mit einem Remote-Git-Anbieter verbunden ist, übertragen Sie Änderungen aus Ihrem Arbeitsbereich an Ihren Hauptentwicklungszweig. Sie wählen den Hauptzweig aus, wenn Sie Ihr Repository mit dem Remote-Git-Anbieter verbinden. In einem nicht verbundenen Dataform-Repository übertragen Sie Änderungen an den Standardzweig.

Sie können auch alle Änderungen aus dem Dataform-Repository oder dem Remote-Repository abrufen und mit lokalen Änderungen in Ihrem Entwicklungsarbeitsbereich zusammenführen. Weitere Informationen zur Versionsverwaltung in Dataform finden Sie unter Versionsverwaltung für Code.

Hinweis

Erstellen Sie ein Dataform-Repository, falls noch nicht geschehen, create a Dataform repository.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen für Arbeitsbereiche die IAM-Rolle Dataform Editor (roles/dataform.editor) zuzuweisen, damit Sie die Berechtigungen erhalten, die Sie zum Erstellen, Initialisieren und Löschen eines Entwicklungsarbeitsbereichs benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Entwicklungsarbeitsbereich für Dataform erstellen

Wenn Sie zum ersten Mal einen Entwicklungsarbeitsbereich in einem neuen Repository erstellen, werden Sie von Dataform aufgefordert, den Entwicklungsarbeitsbereich mit einer Reihe von Konfigurationsdateien zu initialisieren, die für die Funktion von Dataform erforderlich sind.

Ein initialisierter Entwicklungsarbeitsbereich enthält die folgenden Verzeichnisse und Dateien:

  • definitions/: ein Verzeichnis für Asset-Definitionen in Dataform-Core oder JavaScript.

  • includes/: ein leeres Verzeichnis für Skripts und Variablen, die Sie im gesamten Repository wiederverwenden können.

  • workflow_settings.yaml: die Standardkonfigurationsdatei für Dataform mit der Google Cloud Projekt-ID und dem BigQuery-Schema, in dem Assets veröffentlicht werden sollen. Sie können die Standardeinstellungen überschreiben, um sie an Ihre Bedürfnisse anzupassen. Das ist aber keine Voraussetzung für die Verwendung von Dataform.

  • package.json: die Standardkonfigurationsdatei für Dataform-Abhängigkeiten mit der neuesten Version von @dataform/core. Mit dieser Datei können Sie Pakete importieren.

  • definitions/sample.sqlx: eine SQLX-Beispieldatei, die Ihnen den Einstieg erleichtert.

So erstellen Sie einen neuen Entwicklungsarbeitsbereich für Dataform:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Wählen Sie das Repository aus, in dem Sie den neuen Entwicklungsarbeitsbereich erstellen möchten.

  3. Klicken Sie auf der Repository-Seite auf Entwicklungsarbeitsbereich erstellen.

  4. Führen Sie im Fenster Entwicklungsarbeitsbereich erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Workspace-ID eine eindeutige ID für den Entwicklungsarbeitsbereich ein.

      IDs dürfen nur Zahlen, Buchstaben, Bindestriche und Unterstriche enthalten.

    2. Klicken Sie auf Erstellen.

Arbeitsbereich in einem Dataform-Repository initialisieren

So initialisieren Sie einen Entwicklungsarbeitsbereich für Dataform:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Wählen Sie das Repository aus, in dem Sie den leeren Arbeitsbereich initialisieren möchten.

  3. Klicken Sie auf dem Tab Entwicklungsarbeitsbereiche auf den Namen des leeren Arbeitsbereichs, den Sie initialisieren möchten.

  4. Klicken Sie auf der Seite des Entwicklungsarbeitsbereichs auf Arbeitsbereich initialisieren.

Dataform-Arbeitsbereich löschen

Für das Erstellen von Entwicklungsarbeitsbereichen für Dataform fallen keine Kosten an. Wenn Sie aber dennoch einen Entwicklungsarbeitsbereich löschen möchten, gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Wählen Sie das Repository aus, das den Arbeitsbereich enthält, den Sie löschen möchten.

  3. Um zu vermeiden, dass nicht übertragene Änderungen gelöscht werden, committen Sie Änderungen und übertragen Sie sie an Ihr Git-Repository.

  4. Wählen Sie auf dem Tab Entwicklungsarbeitsbereiche den Entwicklungsarbeitsbereich aus, den Sie löschen möchten, und klicken Sie dann auf Ausgewählte Arbeitsbereiche löschen.

    Sie können mehrere Arbeitsbereiche gleichzeitig löschen.

  5. Klicken Sie zur Bestätigung auf Löschen.

Nächste Schritte