Workflows mit Cloud-Audit-Logs (gcloud CLI) auslösen

Standard

In dieser Kurzanleitung erfahren Sie, wie Sie einen Workflow mit einem Eventarc-Trigger ausführen, der Cloud-Audit-Logs-Ereignisse aus BigQuery empfängt. BigQuery hostet öffentliche Datasets, auf die Sie zugreifen und sie in Ihre Anwendungen einbinden können. Der Trigger führt den Workflow aus, indem er auf einen BigQuery-Job wartet, der ein öffentliches Dataset abfragt. Anschließend werden die Ereignisse als Laufzeitargumente an den Zielworkflow übergeben.

Sie können diese Kurzanleitung mit der Google Cloud CLI ausführen.

Mit Workflows einen Workflow erstellen und bereitstellen, der Daten aus einem Ereignis extrahiert und zurückgibt.
einen Eventarc-Trigger erstellen, der einen BigQuery-Job mit einem Workflow-Ereignisempfänger verbindet
Ereignis erstellen, indem Sie einen BigQuery-Job mit dem bq-Befehlszeilentool ausführen Dieses Ereignis wird als Laufzeitargument an den Zielworkflow übergeben.
Ereignisdaten in der Workflowausgabe ansehen.

Vorbereitung

Von Ihrer Organisation definierte Sicherheitsbeschränkungen verhindern möglicherweise, dass die folgenden Schritte ausgeführt werden. Informationen zur Fehlerbehebung finden Sie unter Anwendungen in einer eingeschränkten Google Cloud Umgebung entwickeln.

Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Google Cloud-Nutzer sind, erstellen Sie ein Konto, um zu sehen, wie sich unsere Produkte in realen Szenarien schlagen. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

Installieren Sie die Google Cloud CLI.

Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren:

gcloud init

Erstellen Sie ein Google Cloud Projekt oder wählen Sie eines aus.

Rollen, die zum Auswählen oder Erstellen eines Projekts erforderlich sind

Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können ein beliebiges Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Projektersteller“ (roles/resourcemanager.projectCreator), die die resourcemanager.projects.create Berechtigung enthält. Rollen zuweisen.

Projekt erstellen: Google Cloud
```
gcloud projects create PROJECT_ID
```
Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud Projekt, das Sie erstellen.
Wählen Sie das von Ihnen erstellte Google Cloud Projekt aus:
```
gcloud config set project PROJECT_ID
```
Ersetzen Sie PROJECT_ID durch Ihren Google Cloud Projektnamen.

Prüfen Sie, ob für Ihr Google Cloud Projekt die Abrechnung aktiviert ist.

Installieren Sie die Google Cloud CLI.

Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren:

gcloud init

Erstellen Sie ein Google Cloud Projekt oder wählen Sie eines aus.

Rollen, die zum Auswählen oder Erstellen eines Projekts erforderlich sind

Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können ein beliebiges Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Projektersteller“ (roles/resourcemanager.projectCreator), die die resourcemanager.projects.create Berechtigung enthält. Rollen zuweisen.

Projekt erstellen: Google Cloud
```
gcloud projects create PROJECT_ID
```
Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud Projekt, das Sie erstellen.
Wählen Sie das von Ihnen erstellte Google Cloud Projekt aus:
```
gcloud config set project PROJECT_ID
```
Ersetzen Sie PROJECT_ID durch Ihren Google Cloud Projektnamen.

Prüfen Sie, ob für Ihr Google Cloud Projekt die Abrechnung aktiviert ist.

gcloud-Komponenten aktualisieren:
```
gcloud components update
```

Melden Sie sich mit Ihrem -Konto an:
```
gcloud auth login
```

Aktivieren Sie die Compute Engine API, die Eventarc-, Pub/Sub- und Workflows APIs.

gcloud services enable \
compute.googleapis.com \
eventarc.googleapis.com \
pubsub.googleapis.com \
workflows.googleapis.com \
workflowexecutions.googleapis.com

Legen Sie die in dieser Kurzanleitung verwendeten Konfigurationsvariablen fest:

export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
export PROJECT_ID=PROJECT_ID
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

Wenn Sie der Projektersteller sind, wird Ihnen die einfache Rolle „Inhaber“ (roles/owner) zugewiesen. Standardmäßig enthält diese IAM-Rolle (Identity and Access Management) die Berechtigungen, die für den vollständigen Zugriff auf die meisten Google Cloud Ressourcen erforderlich sind. Sie können diesen Schritt überspringen.

Wenn Sie nicht der Projektersteller sind, müssen dem entsprechenden Hauptkonto die erforderlichen Berechtigungen für das Projekt erteilt werden. Ein Hauptkonto kann beispielsweise ein Google-Konto (für Endnutzer) oder ein Dienstkonto (für Anwendungen und Computing-Arbeitslasten) sein. Weitere Informationen finden Sie auf der Seite Rollen und Berechtigungen für Ihr Ereignisziel.
Erforderliche Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Kurzanleitung benötigen,
- Eventarc Admin (roles/eventarc.admin)
- Zugriffsberechtigter für Logbetrachtung (roles/logging.viewAccessor)
- Projekt-IAM-Administrator (roles/resourcemanager.projectIamAdmin)
- Service Account Admin (roles/iam.serviceAccountAdmin)
- Service Account User (roles/iam.serviceAccountUser)
- Service Usage Admin (roles/serviceusage.serviceUsageAdmin)
- Workflow-Administrator (roles/workflows.admin)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Notieren Sie sich das Compute Engine Standarddienstkonto, das Sie an einen Eventarc-Trigger anhängen, um die Identität des Triggers zu Testzwecken darzustellen. Dieses Dienstkonto wird automatisch nach der Aktivierung oder Verwendung eines Dienstes, der Compute Engine verwendet, mit dem folgenden E-Mail-Format erstellt: Google Cloud
```
PROJECT_NUMBER-compute@developer.gserviceaccount.com
```
Ersetzen Sie PROJECT_NUMBER durch Ihre Google Cloud Projektnummer. Sie finden Ihre Projektnummer auf der Willkommens seite der Google Cloud Console oder durch Ausführen des folgenden Befehls:
```
gcloud projects describe PROJECT_ID --format='value(projectNumber)'
```
Für Produktionsumgebungen empfehlen wir dringend, ein neues Dienstkonto zu erstellen und ihm eine oder mehrere IAM-Rollen zuzuweisen, die die erforderlichen Mindestberechtigungen enthalten und dem Grundsatz der geringsten Berechtigungfolgen.

Hinweis:
Die Einschränkung für die Organisationsrichtlinie iam.automaticIamGrantsForDefaultServiceAccounts verhindert, dass die Rolle „Bearbeiter“ automatisch Standarddienstkonten zugewiesen wird. Wenn Sie Ihre Organisation nach dem 3. Mai 2024 erstellt haben, wird diese Einschränkung standardmäßig erzwungen.

Wir empfehlen dringend, diese Einschränkung zu erzwingen, um die automatische Rollenzuweisung zu deaktivieren. Wenn Sie die automatische Rollenzuweisung deaktivieren, müssen Sie entscheiden, welche Rollen den Standarddienstkonten zugeteilt werden sollen, und diese Rollen dann selbst zuweisen.

Wenn das Standarddienstkonto bereits die Rolle "Bearbeiter" hat, sollten Sie die Rolle "Bearbeiter" durch weniger strikte Rollen ersetzen.Verwenden Sie zum sicheren Ändern der Rollen des Dienstkontos Policy Simulator, um die Auswirkungen von der Änderung zu sehen, und weisen Sie die entsprechenden Rollen zu und widerrufen Sie sie.
Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle „ Eventarc Ereignisempfänger“ (roles/eventarc.eventReceiver) für das Projekt zu, damit der Eventarc-Trigger Ereignisse vom Ereignisanbieter empfangen kann.
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/eventarc.eventReceiver
```
Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle "Workflow-Aufrufer" (roles/workflows.invoker) für das Projekt zu, damit das Konto die Berechtigung zum Auslösen Ihres Workflows hat. ausgeführt werden.
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/workflows.invoker
```

Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle "Logging-Logs-Autor" (roles/logging.logWriter) für das Projekt zu, damit der Workflow Logs an Cloud Logging senden kann.

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/logging.logWriter

Wenn Sie den Cloud Pub/Sub-Dienst-Agent am oder vor dem 8. April 2021 aktiviert haben, um authentifizierte Pub/Sub-Push-Anfragen zu unterstützen, weisen Sie dem von Google verwalteten Dienstkonto die Rolle „Ersteller von Dienstkonto-Tokens“ (roles/iam.serviceAccountTokenCreator) zu. Andernfalls wird diese Rolle standardmäßig zugewiesen:
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
    --role=roles/iam.serviceAccountTokenCreator
```

Workflow erstellen und bereitstellen

Workflow erstellen und bereitstellen, der ausgeführt wird, wenn ein BigQuery-Jobabschluss einen Workflow mit einer HTTP-Anfrage auslöst.

Öffnen Sie ein Terminal oder eine Cloud Shell.
Erstellen Sie in Ihrem Basisverzeichnis eine neue Datei mit dem Namen myFirstWorkflow.yaml oder myFirstWorkflow.json.

Kopieren Sie Folgendes, fügen Sie es in die neue Datei ein und speichern Sie sie:

YAML

main:
  params: [event]
  steps:
      - log_event:
          call: sys.log
          args:
              text: ${event}
              severity: INFO
      - extract_data:
          assign:
          - data: ${event.data.protoPayload}
      - return_data:
              return:
                  data: ${data}

JSON

{
  "main": {
    "params": [
      "event"
    ],
    "steps": [
      {
        "log_event": {
          "call": "sys.log",
          "args": {
            "text": "${event}",
            "severity": "INFO"
          }
        }
      },
      {
        "extract_data": {
          "assign": [
            {
              "data": "${event.data.protoPayload}"
            }
          ]
        }
      },
      {
        "return_data": {
          "return": {
            "data": "${data}"
          }
        }
      }
    ]
  }
}

Stellen Sie den Workflow bereit:
```
export MY_WORKFLOW=myFirstWorkflow
gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml
```
.yaml: Ersetzen Sie diesen Wert durch .json, wenn Sie die JSON-Version des Beispielworkflows kopiert haben.

Eventarc-Trigger erstellen

Führen Sie den gcloud eventarc triggers create Befehl aus, um einen Eventarc-Trigger zu erstellen, der Ereignisse aus BigQuery an ein Workflows-Ziel weiterleitet.

Erstellen Sie einen Trigger, der BigQuery-Ereignisse filtert:

gcloud eventarc triggers create events-cal-trigger \
    --destination-workflow=${MY_WORKFLOW} \
    --destination-workflow-location=${WORKFLOW_LOCATION} \
    --event-filters="type=google.cloud.audit.log.v1.written" \
    --event-filters="serviceName=bigquery.googleapis.com" \
    --event-filters="methodName=google.cloud.bigquery.v2.JobService.InsertJob" \
    --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"

Dadurch wird ein Trigger mit dem Namen events-cal-trigger erstellt.

Beachten Sie, dass das Erstellen eines Eventarc-Triggers in einem Google Cloud Projekt möglicherweise zu einer Verzögerung bei der Bereitstellung des Eventarc-Dienst-Agents kommt. Dieses Problem lässt sich normalerweise durch erneutes Erstellen des Triggers beheben. Weitere Informationen finden Sie unter Fehler „Berechtigung verweigert“.

Führen Sie diesen Befehl aus, um zu prüfen, ob events-cal-trigger erfolgreich erstellt wurde:

gcloud eventarc triggers describe events-cal-trigger --location=${TRIGGER_LOCATION}

Die Ausgabe enthält die Erstellungszeit und den Standort des Triggers und sollte in etwa so aussehen:

createTime: '2021-10-14T15:15:43.872360951Z'
[...]
name: projects/PROJECT_ID/locations/us-central1/triggers/events-cal-trigger

Ereignis erstellen und abrufen

Führen Sie mit dem bq-Befehlszeilentool einen BigQuery-Job aus, um Ereignisse zu generieren und den Workflow auszulösen.

Führen Sie einen BigQuery-Job aus, der auf ein öffentliches Dataset zugreift und Informationen daraus abruft, um einen Workflow auszulösen:
```
bq query --nouse_legacy_sql \
'SELECT
COUNT(*)
FROM
`bigquery-public-data`.samples.shakespeare'
```
Die generierten Ereignisse werden als Laufzeitargumente an den Workflow übergeben, der die Nutzlastdaten als Ergebnis der Workflowausführung zurückgibt.
So prüfen Sie, ob der Workflow ausgelöst wurde: Listen Sie die letzten beiden Ausführungen auf:
```
gcloud workflows executions list ${MY_WORKFLOW} --limit=2
```
Durch den BigQuery-Job werden zwei Workflowausführungen ausgelöst. (Ein Ereignis signalisiert die Jobänderung, das andere die Jobeinfügung selbst.) Die Ausgabe enthält für jede Ausführung einen NAME und einen STATE mit dem Wert SUCCEEDED und sollte in etwa so aussehen:
```
NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
STATE: SUCCEEDED
START_TIME: 2024-02-06T14:16:14.390549813Z
END_TIME: 2024-02-06T14:16:14.870102511Z
NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/35d7c730-7ba5-4055-afee-c04ed706b179
STATE: SUCCEEDED
START_TIME: 2024-02-06T14:16:14.389882601Z
END_TIME: 2024-02-06T14:16:14.829942525Z
```
In der Ausgabe steht a073ad6a-c76b-4437-8d39-2ab3ade289d2 aus dem Feld NAME für die ID der Workflowausführung. Kopieren Sie Ihre Ausführungs-ID, um sie im nächsten Schritt zu verwenden.

Führen Sie den folgenden Befehl aus, um den Ausführungsstatus anzuzeigen:

gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}

Ersetzen Sie WORKFLOW_EXECUTION_ID durch die ID der Workflowausführung, die dem Zeitpunkt entspricht, zu dem der BigQuery-Job abgeschlossen wurde.

Die Ausgabe sollte in etwa so aussehen:

argument: [...]
duration: 0.277917625s
endTime: '2024-02-06T14:16:14.870102511Z'
name: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
result: '{"data": [...]}'
startTime: '2024-02-06T14:16:14.390549813Z'
state: SUCCEEDED

Prüfen Sie, ob die startTime, an der der BigQuery-Job abgeschlossen wurde, und der START_TIME der Workflowausführung einander entsprechen.

Sie haben erfolgreich ein BigQuery-Ereignis generiert, das einen Workflow-Ereignisempfänger mithilfe von Eventarc ausgelöst hat.

Bereinigen

Löschen Sie den erstellten Workflow:
```
gcloud workflows delete ${MY_WORKFLOW}
```
Wenn Sie gefragt werden, ob Sie fortfahren möchten, geben Sie y ein.

Löschen Sie den von Ihnen erstellten Trigger:

gcloud eventarc triggers delete events-cal-trigger

Alternativ können Sie Ihr Google Cloud Projekt löschen, um wiederkehrende Gebühren zu vermeiden. Durch das Löschen des Google Cloud Projekts wird die Abrechnung für alle in diesem Projekt verwendeten Ressourcen beendet.
Achtung: Das Löschen von Projekten hat folgende Auswirkungen:
- Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
- Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.
Projekt löschen: Google Cloud
```
gcloud projects delete PROJECT_ID
```

Workflows mit Cloud-Audit-Logs (gcloud CLI) auslösen

Vorbereitung

Erforderliche Berechtigungen

Workflow erstellen und bereitstellen

YAML

JSON

Eventarc-Trigger erstellen

Ereignis erstellen und abrufen

Bereinigen

Nächste Schritte