Entwicklungsumgebungen erstellen

In dieser Kurzanleitung werden Sie durch die Schritte zum Erstellen einzelner Entwicklungsumgebungen in Dataform geführt, damit jeder Entwickler in seiner eigenen Entwicklungsumgebung arbeiten kann:

Hinweis

  1. Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistung unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Wenn Sie außerdem ein benutzerdefiniertes Dienstkonto zum Ausführen von Workflows in BigQuery verwenden möchten, wählen Sie ein benutzerdefiniertes Dienstkonto aus oder erstellen Sie eines.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen aller Aufgaben in dieser Kurzanleitung benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Rollen zuweisen

Zum Ausführen von Workflows in BigQuery können Sie ein benutzerdefiniertes Dienstkonto oder Ihr Google-Konto verwenden.

Ihr benutzerdefiniertes Dienstkonto muss die folgenden erforderlichen Rollen haben:

  • BigQuery-Dateneditor (roles/bigquery.dataEditor) für Projekte oder bestimmte BigQuery-Datasets, für die Dataform Lese- und Schreibzugriff benötigt. Dazu gehört in der Regel das Projekt, in dem sich Ihr Dataform-Repository befindet.
  • BigQuery-Datenbetrachter (roles/bigquery.dataViewer) für Projekte oder bestimmte BigQuery-Datasets, für die Dataform nur Lesezugriff benötigt.
  • BigQuery-Jobnutzer (roles/bigquery.jobUser) für das Projekt, in dem sich Ihr Dataform-Repository befindet.

Damit Dataform Ihr benutzerdefiniertes Dienstkonto verwenden kann, muss der standardmäßige Dataform-Dienst-Agent die folgenden Rollen für die benutzerdefinierte Dienstkontoressource haben:

So weisen Sie diese Rollen zu:

  1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

    IAM aufrufen

  2. Klicken Sie auf Zugriff erlauben.

  3. Geben Sie im Feld Neue Hauptkonten die ID Ihres benutzerdefinierten Dienstkontos ein.

  4. Wählen Sie im Menü Rolle auswählen die folgenden Rollen einzeln aus. Verwenden Sie für jede zusätzliche Rolle Weitere Rolle hinzufügen:

    • BigQuery-Dateneditor
    • BigQuery-Datenbetrachter
    • BigQuery-Jobnutzer

  5. Klicken Sie auf Speichern.

  6. Rufen Sie in der Google Cloud Console die Seite Dienstkonten auf.

    Zur Seite „Dienstkonten“

  7. Wählen Sie Ihr benutzerdefiniertes Dienstkonto aus.

  8. Rufen Sie Hauptkonten mit Zugriff auf und klicken Sie dann auf Zugriff erlauben.

  9. Geben Sie im Feld Neue Hauptkonten die ID Ihres standardmäßigen Dataform-Dienst-Agents ein.

    Die ID Ihres standardmäßigen Dataform-Dienst-Agents hat das folgende Format:

    service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    Ersetzen Sie PROJECT_NUMBER durch die numerische ID Ihres Google Cloud Projekts. Sie finden Ihre Google Cloud Projekt-ID im Google Cloud Console-Dashboard. Weitere Informationen finden Sie unter Projekte identifizieren.

  10. Fügen Sie in der Liste Rolle auswählen die folgenden Rollen hinzu:

    • Dienstkontonutzer
    • Ersteller von Dienstkonto-Token

  11. Klicken Sie auf Speichern.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Dataform den erforderlichen Zugriff gewähren.

Dataform-Repository erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf Repository erstellen.

  3. Führen Sie auf der Seite Repository erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Repository-ID den Wert quickstart-dev ein.

    2. Wählen Sie in der Liste Region die Option europe-west4 aus.

    3. Wählen Sie in der Liste Dienstkonto ein benutzerdefiniertes Dienstkonto für das Repository aus.

    4. Erzwingen Sie im Abschnitt Prüfungen auf Berechtigung „actAs“ die Berechtigungsprüfungen für Nutzeraktionen im Repository.

    5. Klicken Sie auf Erstellen.

  4. Klicken Sie auf Zu Repositories.

Überschreibungen von Arbeitsbereichskompilierungen konfigurieren

So erstellen Sie isolierte Entwicklungsumgebungen mit Überschreibungen von Dataform-Arbeitsbereichskompilierungen:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-dev.

  3. Klicken Sie auf Einstellungen und dann auf Bearbeiten

  4. Geben Sie im Bereich Überschreibungen von Arbeitsbereichskompilierungen im Feld Schema-Suffix den Wert ${workspaceName} ein.

    Wenn Sie eine Ausführung in einem Arbeitsbereich auslösen, hängt Dataform den Namen des Arbeitsbereichs als Suffix an das in den Workfloweinstellungenfestgelegte Standardschema an. In dieser Kurzanleitung werden die Dataform-Standardeinstellungen mit dem Standardschema dataform verwendet.

  5. Klicken Sie auf Speichern.

Dataform wendet Überschreibungen von Arbeitsbereichskompilierungen auf alle Arbeitsbereiche in Ihrem Repository an.

Wenn Sie mit dieser Konfiguration einen Workflow manuell in einem Arbeitsbereich ausführen, führt Dataform ihn mit Überschreibungen von Arbeitsbereichskompilierungen aus. Dataform führt den Workflow also im Schema dataform_workspaceName in BigQuery aus und wandelt den Arbeitsbereich in eine isolierte Entwicklungsumgebung um.

Wenn Sie beispielsweise eine Ausführung manuell in einem sasha-Arbeitsbereich auslösen, führt Dataform Ihren Workflow im Schema dataform_sasha in BigQuery aus.

Wenn Sie Workflows ohne Überschreibungen von Arbeitsbereichskompilierungen ausführen, aber die Überschreibungen von Arbeitsbereichskompilierungen für Entwicklungsumgebungen beibehalten möchten, können Sie Releasekonfigurationen erstellen, um andere Ausführungsumgebungen zu konfigurieren, z. B. staging und production.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden.

In BigQuery erstellte Datasets löschen

Löschen Sie Datasets mit Namen, die mit dataform beginnen, z. B. dataform-sasha, damit keine Gebühren für BigQuery-Assets anfallen.

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie ein Dataset aus.

  3. Klicken Sie auf das Menü „ Aktionen“ und wählen Sie Löschen aus.

  4. Geben Sie im Dialogfeld Dataset löschen den Wert delete in das Feld ein und klicken Sie auf Löschen.

Dataform-Repository löschen

Für das Erstellen von Dataform-Repositories fallen keine Kosten an. Möchten Sie dennoch ein Repository und seinen Inhalt löschen, gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie neben quickstart-dev auf das Menü Mehr und wählen Sie Löschen aus.

    1. Geben Sie im Fenster Repository löschen den Namen des Repositorys ein, um das Löschen zu bestätigen.

  3. Klicken Sie zur Bestätigung auf Löschen.

Nächste Schritte