Informationen zu Exportjobs

Auf dieser Seite wird beschrieben, wie Sie die in Batch gespeicherten Informationen für Ihre Jobs mithilfe von Workflows in eine BigQuery-Tabelle exportieren. Insbesondere erfahren Sie, wie Sie den Beispielworkflow export-jobs ausführen und die resultierenden Jobinformationen in BigQuery aufrufen.

Das Exportieren von Jobinformationen ist nützlich, wenn Sie die Informationen beibehalten möchten nachdem ein Job automatisch oder manuell gelöscht wurde oder die Informationen außerhalb von Batch analysieren möchten. Wenn Sie stattdessen nur Informationen zu Aufgaben- und Jobstatusänderungen nach BigQuery exportieren möchten, lesen Sie den Abschnitt Jobs mithilfe von Benachrichtigungen überwachen.

Informationen zum Exportieren von Jobinformationen, die in anderen Google Cloud Diensten gespeichert sind, finden Sie in der Exportdokumentation für diesen Dienst. Beispiele:

• Cloud Logging-Logs exportieren.
• Cloud Monitoring-Messwerte exportieren.

Hinweis: Workflows und BigQuery sind separate Google Cloud Produkte mit eigenen Preisen. Weitere Informationen finden Sie unter Workflows-Preise und BigQuery-Preise.

Hinweis

1. Wenn Sie Batch noch nicht verwendet haben, lesen Sie den Artikel Erste Schritte mit Batch und aktivieren Sie Batch, indem Sie die Voraussetzungen für Projekte und Nutzererfüllen.

2. Aktivieren Sie die BigQuery API und die Workflows API.

   Erforderliche Rollen zum Aktivieren von APIs

   Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen.

   APIs aktivieren

3. Optional: Geben Sie ein vorhandenes BigQuery-Dataset oder eine BigQuery-Tabelle in Ihrem Projekt an, in dem bzw. der Sie die Jobinformationen speichern möchten. Eine vorhandene Tabelle muss ein passendes Schema haben.

   Andernfalls können Sie den Workflow „export-jobs“ verwenden, um ein neues Dataset oder eine neue Tabelle zu erstellen.

4. Bereiten Sie ein Dienstkonto für den Workflow „export-jobs“ vor. Gehen Sie dazu so vor:

   1. Erstellen Sie ein neues Dienstkonto oder geben Sie ein vorhandenes Dienstkonto an.

   2. Damit das Dienstkonto die erforderlichen Berechtigungen zum Ausführen des Workflows „export-jobs“ hat, bitten Sie Ihren Administrator, dem Dienstkonto die folgenden IAM-Rollen für das Projekt zuzuweisen:

      Wichtig: Sie müssen diese Rollen dem Dienstkonto und nicht Ihrem Nutzerkonto zuweisen. Wenn die Rollen nicht dem richtigen Hauptkonto zugewiesen werden, können Berechtigungsfehler auftreten.
      • Logs schreiben: Logautor (roles/logging.logWriter)
      • BigQuery-Datasets und -Tabellen erstellen und bearbeiten: BigQuery-Administrator (roles/bigquery.admin)
      • Batch-Jobs ansehen und löschen: Bearbeiter von Batchjobs (roles/batch.jobsEditor)

      Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

      Ihr Administrator kann dem Dienstkonto möglicherweise auch die erforderlichen Berechtigungen über benutzerdefinierte Rollen oder andere vordefinierte Rollen erteilen.

5. Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen, Bereitstellen und Ausführen des Workflows „export-jobs“ benötigen:

   • Jobs ansehen: Betrachter von Batchjobs (roles/batch.jobsViewer)
   • Dienstkonten ansehen: Dienstkonten ansehen (roles/iam.serviceAccountViewer)
   • BigQuery-Datasets und -Tabellen ansehen: BigQuery-Datenbetrachter (roles/bigquery.dataViewer)
   • Workflows erstellen, bereitstellen und ausführen: Workflow-Bearbeiter (roles/workflows.editor)

6. Achten Sie darauf, dass Nutzer in Ihrem Projekt die exportierten Jobinformationen ansehen können.

   Damit ein Nutzer die erforderlichen Berechtigungen zum Exportieren von Jobinformationen hat, bitten Sie Ihren Administrator, dem Nutzer die IAM-Rolle „BigQuery-Datenbetrachter“ (roles/bigquery.dataViewer) für die Tabelle, das Dataset oder das Projekt zuzuweisen.

   Hinweis:Sie können nur Zugriff auf vorhandene Ressourcen gewähren. Wenn Sie Jobinformationen nicht in eine bereits vorhandene Tabelle oder ein bereits vorhandenes Dataset exportieren möchten, müssen Sie diesen Zugriff entweder für das Projekt oder nach dem Exportieren der Jobinformationen gewähren.

Jobinformationen exportieren

In diesem Abschnitt wird beschrieben, wie Sie Jobinformationen mithilfe des Workflows export-jobs exportieren, der aus dem export-to-bigquery Codebeispiel stammt. Der Workflow „export-jobs“ exportiert die Informationen für die Jobs Ihres Projekts, die sich in der angegebenen Region befinden und die angegebenen Filterkriterien erfüllen.

Wichtig:Der Workflow „export-jobs“ kann Jobinformationen nur aus einer Region gleichzeitig exportieren. Wenn Sie Informationen für Jobs in mehreren Regionen oder für mehrere Teilmengen in einer Region exportieren möchten, konfigurieren, erstellen, stellen Sie für jeden Anwendungsfall einen eigenen Workflow „export-jobs“ bereit und führen Sie ihn aus.

Wir empfehlen, für jeden Anwendungsfall eigene Workflows zu erstellen. Sie können zwar einen Workflow ändern und noch einmal ausführen, aber mit eigenen Workflows lässt sich leichter nachvollziehen, wann Sie welche Jobs zuletzt exportiert haben, und Sie können Workflows so planen, dass Ihre Jobs automatisch exportiert werden.

Der Workflow „export-jobs“ exportiert Jobinformationen in eine bestimmte Tabelle in einem bestimmten Dataset. Diese werden automatisch vom Workflow erstellt, wenn sie in Ihrem Projekt noch nicht vorhanden sind. Standardmäßig werden mit dem Workflow „export-jobs“ auch die exportierten Jobs aus Batch gelöscht. Sie können den Workflow „export-jobs“ aber optional so bearbeiten, dass die Jobs nicht gelöscht werden.

Führen Sie für jeden Workflow „export-jobs“, den Sie verwenden möchten, die folgenden Schritte aus:

1. Konfigurieren Sie die Workflowdefinition.
2. Erstellen und stellen Sie den Workflow bereit.
3. Führen Sie den Workflow aus. Wiederholen Sie diesen Schritt jedes Mal, wenn Sie die angegebenen Jobs exportieren möchten.

Workflowdefinition konfigurieren

1. Laden Sie die export-to-bigquery-delete-batch-jobs.yaml Datei von GitHub herunter.

2. Öffnen Sie die Datei export-to-bigquery-delete-batch-jobs.yaml in einem Texteditor. Nehmen Sie dann die folgenden Änderungen vor:

   1. Ersetzen Sie sys.get_env("GOOGLE_CLOUD_PROJECT_ID") durch Ihre Projekt-ID formatiert als String, z. B. "my-project-id".

   2. Ersetzen Sie sys.get_env("GOOGLE_CLOUD_LOCATION") durch die Region, die die zu exportierenden Jobs enthält, formatiert als String, z. B. "us-central1".

   3. Optional: Bearbeiten Sie die Filterkriterien, die angeben, welche Jobs exportiert werden sollen.

      Standardmäßig gibt der Workflow „export-jobs“ die Filterkriterien "(status.state:SUCCEEDED OR status.state:FAILED OR status.state:CANCELLED) AND create_time<=\"2023-05-01T00:00:00Z\"" an. Mit diesen Standardfilterkriterien werden nur Informationen für Jobs exportiert, die den Status SUCCEEDED, FAILED oder CANCELLED haben und vor oder bis zum 2023-05-01T00:00:00Z RFC 3339 Zeitstempel erstellt wurden.

   4. Optional: Ersetzen Sie default_dataset_id durch einen anderen Namen für das Dataset, das der Workflow „export-jobs“ verwenden oder erstellen soll.

   5. Optional: Ersetzen Sie default_table_id durch einen anderen Namen für die Tabelle, die der Workflow „export-jobs“ verwenden oder erstellen soll.

   6. Wenn die exportierten Jobs nicht vom Workflow gelöscht werden sollen, gehen Sie so vor:

      Tipp: Wenn Sie exportierte Jobs nicht löschen, können bei der erneuten Ausführung desselben Workflows „export-jobs“ doppelte Zeilen erstellt werden. Um dies zu vermeiden, können Sie die Filterkriterien für create_time vor jeder erneuten Ausführung so aktualisieren, dass nur Jobs berücksichtigt werden, die nach der vorherigen Ausführung erstellt wurden. Informationen dazu, wie Sie sehen können, wann ein Workflow zuvor ausgeführt wurde, finden Sie unter Ergebnisse der Workflowausführung aufrufen.

      1. Entfernen Sie die folgenden Zeilen:

                 - log_delete_step:
                     call: sys.log
                     args:
                       text: ${"Deleting Batch job " + j.name}
                       severity: NOTICE
                 - delete_job:
                     call: googleapis.batch.v1.projects.locations.jobs.delete
                     args:
                       name: ${j.name}
         

      2. Entfernen Sie + " and deleted".

   7. Speichern Sie die Datei. Lassen Sie die Datei geöffnet.

Workflow erstellen und bereitstellen

1. Rufen Sie in der Google Cloud Console die Seite Workflows auf:

   Zur Seite "Workflows"

2. Klicken Sie auf der Seite Workflows auf Erstellen.

3. Geben Sie im Feld Workflowname einen Namen für den Workflow ein, z. B. export-batch-jobs-us-central1.

4. Wählen Sie in der Liste Dienstkonto das vorbereitete Dienstkonto aus.

5. Klicken Sie auf Weiter.

6. Ersetzen Sie im Workflow-Editor den Beispielworkflow durch den Inhalt der Datei export-to-bigquery-delete-batch-jobs.yaml. Anschließend können Sie die Datei schließen.

7. Klicken Sie auf Bereitstellen. Die Seite Workflowdetails wird geöffnet.

Workflow ausführen

Tipp: Wenn Sie den Workflow „export-jobs“ automatisch ausführen möchten, lesen Sie stattdessen den Artikel Workflow mit Cloud Scheduler planen in der Workflows-Dokumentation. Da beispielsweise jeder Job 60 Tage nach Abschluss automatisch gelöscht wird, können Sie alle Ihre Jobs (die nicht manuell gelöscht werden) exportieren, indem Sie einen oder mehrere Workflows „export-jobs“ so planen, dass Jobs alle 59 Tage exportiert und gelöscht werden.

1. Klicken Sie auf der Seite Workflowdetails auf Ausführen. Die Seite Workflow ausführen wird geöffnet.

2. Klicken Sie auf der Seite Workflow ausführen auf Ausführen.

3. Warten Sie auf der Seite Ausführungsdetails, bis die Ausführung des Workflows abgeschlossen ist. Die Ausführungszeit zum Exportieren und Löschen einiger Jobs beträgt in der Regel einige Sekunden. Die Ausführung kann jedoch länger dauern, wenn Sie viele Jobs exportieren und löschen.

   Wenn die Ausführung des Workflows abgeschlossen ist, werden die Ergebnisse im Bereich Ausgabe angezeigt.

Exportierte Jobinformationen ansehen

In diesem Abschnitt wird beschrieben, wie Sie die von dem Workflow „export-jobs“ erstellten Tabellendaten ansehen. Mit den folgenden Schritten können Sie beispielsweise prüfen, ob der Workflow erfolgreich ausgeführt wurde, und die Tabellendaten durchsuchen. Weitere Informationen zum Ansehen und Verwenden der exportierten Jobinformationen, z. B. zum Schreiben von Abfragen, finden Sie in der BigQuery-Dokumentation unter Tabellendaten verwalten.

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf:

   BigQuery aufrufen

2. Öffnen Sie im Bereich Explorer die Tabelle mit den exportierten Jobinformationen:

   1. Geben Sie im Feld BigQuery-Ressourcen suchen den Namen der Tabelle aus Ihrem Workflow „export-jobs“ ein. Der Standardtabellenname ist beispielsweise default_table_id.
   2. Klicken Sie auf den Namen der Tabelle. Die Seite mit den Tabellendetails wird geöffnet.

   3. Klicken Sie auf der Seite mit den Tabellendetails auf den Tab Details.

      Notieren Sie sich auf dem Tab Details den Zeitstempel unter Zuletzt geändert und die Anzahl der Zeilen.

   4. Klicken Sie auf der Seite mit den Tabellendetails auf den Tab Vorschau.

Nächste Schritte

• Weitere Informationen zu Workflows.
• Weitere Informationen zu BigQuery.
• Weitere Informationen zu Batch:
  • Jobs im Projekt aufrufen
  • Jobs löschen
  • Weiteren Job erstellen