Produktionsläufe planen

In dieser Kurzanleitung werden Sie durch die folgenden Schritte zum Planen von Produktionsläufen in Dataform geführt:

Hinweis

  1. Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Wählen Sie außerdem ein benutzerdefiniertes Dienstkonto aus oder erstellen Sie eines, um Workflows in BigQuery auszuführen.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen aller Aufgaben in dieser Kurzanleitung benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Rollen zuweisen

Wenn Sie Workflows in BigQuery ausführen möchten, können Sie ein benutzerdefiniertes Dienstkonto oder Ihr Google-Konto verwenden (Vorabversion). Anmeldedaten für benutzerdefinierte Dienstkonten sind jedoch die Standardoption für geplante Ausführungen. Die Verwendung von Anmeldedaten für Google-Konten wird für geplante Ausführungen nicht empfohlen.

Ihr benutzerdefiniertes Dienstkonto muss die folgenden erforderlichen Rollen haben:

  • BigQuery-Datenbearbeiter (roles/bigquery.dataEditor) für Projekte oder bestimmte BigQuery-Datasets, für die Dataform sowohl Lese- als auch Schreibzugriff benötigt. Dazu gehört in der Regel das Projekt, in dem Ihr Dataform-Repository gehostet wird.
  • BigQuery Data Viewer (roles/bigquery.dataViewer) für Projekte oder bestimmte BigQuery-Datasets, auf die Dataform schreibgeschützten Zugriff benötigt.
  • BigQuery-Jobnutzer (roles/bigquery.jobUser) für das Projekt, in dem sich Ihr Dataform-Repository befindet.

Damit Dataform Ihr benutzerdefiniertes Dienstkonto verwenden kann, muss der Standard-Dataform-Dienst-Agent die folgenden Rollen für die benutzerdefinierte Dienstkontoressource haben:

So weisen Sie diese Rollen zu:

  1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

    IAM aufrufen

  2. Klicken Sie auf Zugriff erlauben.

  3. Geben Sie im Feld Neue Hauptkonten die ID Ihres benutzerdefinierten Dienstkontos ein.

  4. Wählen Sie im Menü Rolle auswählen die folgenden Rollen einzeln aus. Verwenden Sie für jede zusätzliche Rolle Weitere Rolle hinzufügen:

    • BigQuery-Dateneditor
    • BigQuery-Datenbetrachter
    • BigQuery-Jobnutzer

  5. Klicken Sie auf Speichern.

  6. Rufen Sie in der Google Cloud Console die Seite Dienstkonten auf.

    Zur Seite „Dienstkonten“

  7. Wählen Sie Ihr benutzerdefiniertes Dienstkonto aus.

  8. Rufen Sie Hauptkonten mit Zugriff auf und klicken Sie auf Zugriff gewähren.

  9. Geben Sie im Feld Neue Hauptkonten die ID Ihres Dataform-Standarddienst-Agents ein.

    Die ID Ihres Dataform-Standarddienst-Agents hat das folgende Format:

    service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    Ersetzen Sie PROJECT_NUMBER durch die numerische ID IhresGoogle Cloud Projekts. Sie finden Ihre Google Cloud Projekt-ID imGoogle Cloud Console-Dashboard. Weitere Informationen finden Sie unter Projekte identifizieren.

  10. Fügen Sie in der Liste Rolle auswählen die folgenden Rollen hinzu:

    • Dienstkontonutzer
    • Ersteller von Dienstkonto-Token

  11. Klicken Sie auf Speichern.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Dataform den erforderlichen Zugriff gewähren.

Dataform-Repository erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf Repository erstellen.

  3. Führen Sie auf der Seite Repository erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Repository-ID den Wert quickstart-production ein.

    2. Wählen Sie in der Liste Region europe-west4 aus.

    3. Wählen Sie in der Liste Dienstkonto ein benutzerdefiniertes Dienstkonto für das Repository aus.

    4. Erzwingen Sie im Abschnitt Prüfungen auf Berechtigung „actAs“ die Berechtigungsprüfungen für Nutzeraktionen im Repository.

    5. Klicken Sie auf Erstellen.

  4. Klicken Sie auf Zu Repositories.

Releasekonfiguration und Workflowkonfiguration erstellen

So erstellen Sie Ergebnisse der Produktionskompilierung des Repositorys quickstart-production und planen die Ausführung von production-Tabellen:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Releases und Planung und dann auf Produktionsrelease erstellen.

  4. Konfigurieren Sie im Bereich Releasekonfiguration erstellen die folgenden Einstellungen:

    1. Geben Sie im Feld Release-ID den Wert production ein.
    2. Übernehmen Sie im Feld Git commitish den Standardwert main.
    3. Wählen Sie im Abschnitt Häufigkeit des Zeitplans im Menü Wiederholungen die Option Benutzerdefiniert aus.
    4. Geben Sie im Feld Benutzerdefinierter Zeitplan 0 16 * * * ein.

    5. Wählen Sie im Menü Zeitzone eine UTC+1-Zeitzone aus, z. B. Mitteleuropäische Zeit (MEZ).

      Jeden Tag um 16:00 Uhr UTC+1 kompiliert Dataform das Repository quickstart-production und wendet die in dieser Releasekonfiguration konfigurierten Kompilierungseinstellungen an, um production-Kompilierungsergebnisse zu erstellen.

  5. Klicken Sie auf Erstellen.

    Die Releasekonfiguration production erstellt jeden Tag um 16:00 Uhr UTC+1 ein Kompilierungsergebnis des gesamten Repositorys quickstart-production.

  6. Achte darauf, dass du dich auf dem Tab Veröffentlichungen und Planung befindest. Rufen Sie den Bereich Workflowkonfigurationen auf und klicken Sie auf Erstellen.

  7. Konfigurieren Sie im Bereich Workflowkonfiguration erstellen die folgenden Einstellungen:

    1. Geben Sie im Feld Konfigurations-ID den Wert production ein.
    2. Wählen Sie im Menü Releasekonfiguration die Option production aus.
    3. Wählen Sie im Abschnitt Häufigkeit des Zeitplans im Menü Wiederholungen die Option Benutzerdefiniert aus.
    4. Geben Sie im Feld Benutzerdefinierter Zeitplan 0 17 * * * ein.

    5. Wählen Sie im Menü Zeitzone eine UTC+1-Zeitzone aus, z. B. Mitteleuropäische Zeit (MEZ).

      Jeden Tag um 17:00 Uhr UTC+1 führt Dataform das aktuelle production-Kompilierungsergebnis des quickstart-production-Repositorys aus.

    6. Klicken Sie auf Alle Aktionen.

      Dataform führt alle Workflow-Aktionen im production-Kompilierungsergebnis aus.

  8. Klicken Sie auf Erstellen.

    Die Workflowkonfiguration production führt jeden Tag um 17:00 Uhr UTC+1 das gesamte aktuelle Kompilierungsergebnis aus, das von der Produktionsreleasekonfiguration erstellt wird.

Frühere Ergebnisse der production-Kompilierung ansehen

So rufen Sie frühere Ergebnisse der geplanten production-Kompilierung auf:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Wählen Sie das quickstart-production-Repository aus.

  3. Klicke auf Veröffentlichungen und Planung.

  4. Klicken Sie im Abschnitt Releasekonfigurationen auf production.

Frühere production-Workflowausführungen ansehen

So rufen Sie bisherige Workflow-Ausführungen von production auf:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Wählen Sie das quickstart-production-Repository aus.

  3. Klicken Sie auf Workflow-Ausführungslogs.

  4. Wählen Sie einen Workflowlauf aus, um detailliertere Informationen zu sehen, einschließlich des Status jeder Aktion und aller Protokolle.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

In BigQuery erstelltes Dataset löschen

Führen Sie die folgenden Schritte aus, um das Dataset dataform_production zu löschen und so Kosten für BigQuery-Assets zu vermeiden:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie dataform_production aus.

  3. Klicken Sie auf das Menü  Aktionen und wählen Sie Löschen aus.

  4. Geben Sie im Dialogfeld Dataset löschen Löschen ein und klicken Sie auf Löschen.

Dataform-Releasekonfiguration löschen

Für das Erstellen von Dataform-Releasekonfigurationen fallen keine Kosten an. Möchten Sie jedoch die Releasekonfiguration production löschen, gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Releases und Planung und rufen Sie den Abschnitt Releasekonfigurationen auf.

  4. Klicken Sie neben der production-Releasekonfiguration auf das Menü  Mehr und dann auf Löschen.

  5. Klicken Sie im Dialogfeld Releasekonfiguration löschen auf Löschen.

Dataform-Workflowkonfiguration löschen

Führen Sie die folgenden Schritte aus, um die Workflowkonfiguration der Dataform-production zu löschen und so Kosten für BigQuery-Assets zu vermeiden:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie auf quickstart-production.

  3. Klicken Sie auf Releases und Planung und rufen Sie den Bereich Workflowkonfigurationen auf.

  4. Klicken Sie neben der Workflowkonfiguration production auf das Menü  Mehr und dann auf Löschen.

  5. Klicken Sie im Dialogfeld Releasekonfiguration löschen auf Löschen.

Dataform-Repository löschen

Für das Erstellen von Dataform-Repositories fallen keine Kosten an. Möchten Sie dennoch ein Repository und seinen Inhalt löschen, gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zu Dataform

  2. Klicken Sie neben quickstart-production auf das Menü  Mehr und wählen Sie Löschen aus.

  3. Geben Sie im Fenster Repository löschen den Namen des Repositorys ein, um das Löschen zu bestätigen.

  4. Klicken Sie zur Bestätigung auf Löschen.

Nächste Schritte