运行可并行执行其他工作流的工作流

本教程将介绍如何创建和运行父级工作流，以并行执行多个子级工作流。

在下图中，子级工作流的四个并行执行作业被调用。这样，父级工作流就可以在并行分支中处理数据，并缩短整体执行时间。父级工作流会等待所有子级工作流执行作业完成，然后返回成功和失败执行作业的摘要，从而简化任何错误检测。

目标

在此教程中，您将学习以下操作：

1. 创建和部署可从父级工作流接收数据的子级工作流。
2. 创建和部署使用并行 for 循环执行多个子级工作流的父级工作流。
3. 运行父级工作流，该工作流会调用子级工作流的并行执行作业。
4. 所有成功和失败的子级工作流执行作业的结果都将存储在映射中并返回。

您可以在 Google Cloud 控制台中运行以下命令，也可以在终端或 Cloud Shell 中使用 Google Cloud CLI 运行这些命令。

费用

在本文档中，您将使用的以下收费组件： Google Cloud

• Workflows

您可使用 价格计算器 根据您的预计使用情况来估算费用。

新 Google Cloud 用户可能有资格申请免费试用。

准备工作

您的组织定义的安全限制条件可能会导致您无法完成以下步骤。如需了解相关问题排查信息，请参阅 在受限的环境中开发应用 Google Cloud 。

控制台

登录您的 Google 账号。

如果您还没有 Google 账号，请 注册新账号。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Workflow Executions and Workflows APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the Workflows > Workflows Invoker role to the service account.

   To grant the role, find the Select a role list, then select Workflows > Workflows Invoker.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Workflow Executions and Workflows APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the Workflows > Workflows Invoker role to the service account.

   To grant the role, find the Select a role list, then select Workflows > Workflows Invoker.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

gcloud

登录您的 Google 账号。
如果您还没有 Google 账号，请 注册新账号。
安装 Google Cloud CLI。
如果您使用的是外部身份提供方 (IdP)，则必须先使用联合身份登录 gcloud CLI。
如需初始化 gcloud CLI，请运行以下命令：
gcloud init
创建或选择 Google Cloud 项目。
选择或创建项目所需角色
• 选择项目：选择项目不需要特定的 IAM 角色，您可以选择已被授予角色的任何项目。
• 创建项目：如需创建项目，您需要拥有 Project Creator 角色 (roles/resourcemanager.projectCreator)，该角色包含 resourcemanager.projects.create 权限。了解如何授予 角色。
注意：如果您不打算保留在此过程中创建的 资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以 删除所创建的项目，并移除与该项目关联的所有资源。
• 创建 Google Cloud 项目：

  gcloud projects create PROJECT_ID

  将 PROJECT_ID 替换为您要创建的 Google Cloud 项目名称。

• 选择您创建的 Google Cloud 项目：

  gcloud config set project PROJECT_ID

  将 PROJECT_ID 替换为您的 Google Cloud 项目名称。
验证是否已为您的 Google Cloud 项目启用结算功能。
启用 Workflow Executions 和 Workflows API：
启用 API 所需的角色
如需启用 API，您需要拥有 Service Usage Admin IAM 角色 (roles/serviceusage.serviceUsageAdmin)，该角色包含 serviceusage.services.enable 权限。了解如何授予 角色。
gcloud services enable workflowexecutions.googleapis.com workflows.googleapis.com
设置身份验证：
1. 确保您拥有 Create Service Accounts IAM 角色 (roles/iam.serviceAccountCreator) 和 Project IAM Admin 角色 (roles/resourcemanager.projectIamAdmin)。了解如何授予角色。

2. 创建服务帐号：

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   将 SERVICE_ACCOUNT_NAME 替换为服务帐号的名称。

3. 向服务帐号授予 roles/workflows.invoker IAM 角色：

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/workflows.invoker

   请替换以下内容：

   • SERVICE_ACCOUNT_NAME：服务账号的名称
   • PROJECT_ID：您在其中创建服务帐号的项目的 ID
   注意：--role 标志会影响服务帐号可以访问项目中的哪些资源。您可以撤消这些角色或稍后授予其他角色。

安装 Google Cloud CLI。

如果您使用的是外部身份提供方 (IdP)，则必须先使用联合身份登录 gcloud CLI。

如需初始化 gcloud CLI，请运行以下命令：

gcloud init

创建或选择 Google Cloud 项目。

选择或创建项目所需角色

• 选择项目：选择项目不需要特定的 IAM 角色，您可以选择已被授予角色的任何项目。
• 创建项目：如需创建项目，您需要拥有 Project Creator 角色 (roles/resourcemanager.projectCreator)，该角色包含 resourcemanager.projects.create 权限。了解如何授予 角色。

注意：如果您不打算保留在此过程中创建的 资源，请创建新的项目，而不要选择现有的项目。完成本教程介绍的步骤后，您可以 删除所创建的项目，并移除与该项目关联的所有资源。

• 创建 Google Cloud 项目：

  gcloud projects create PROJECT_ID

  将 PROJECT_ID 替换为您要创建的 Google Cloud 项目名称。

• 选择您创建的 Google Cloud 项目：

  gcloud config set project PROJECT_ID

  将 PROJECT_ID 替换为您的 Google Cloud 项目名称。

验证是否已为您的 Google Cloud 项目启用结算功能。

启用 Workflow Executions 和 Workflows API：

启用 API 所需的角色

如需启用 API，您需要拥有 Service Usage Admin IAM 角色 (roles/serviceusage.serviceUsageAdmin)，该角色包含 serviceusage.services.enable 权限。了解如何授予 角色。

gcloud services enable workflowexecutions.googleapis.com workflows.googleapis.com

设置身份验证：

1. 确保您拥有 Create Service Accounts IAM 角色 (roles/iam.serviceAccountCreator) 和 Project IAM Admin 角色 (roles/resourcemanager.projectIamAdmin)。了解如何授予角色。

2. 创建服务帐号：

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   将 SERVICE_ACCOUNT_NAME 替换为服务帐号的名称。

3. 向服务帐号授予 roles/workflows.invoker IAM 角色：

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/workflows.invoker

   请替换以下内容：

   • SERVICE_ACCOUNT_NAME：服务账号的名称
   • PROJECT_ID：您在其中创建服务帐号的项目的 ID
   注意：--role 标志会影响服务帐号可以访问项目中的哪些资源。您可以撤消这些角色或稍后授予其他角色。

创建和部署子级工作流

子级工作流可以接收和处理来自父级工作流的数据。子级工作流通过执行以下操作来演示此功能：

• 接收一个整数作为实参
• 休眠 10 秒以模拟一些处理

• 返回一个指示器（基于整数是奇数还是偶数），以模拟工作流执行的成功或失败

控制台

1. 在 Google Cloud 控制台中，前往 Workflows 页面。

   进入 Workflows

2. 点击 创建。

3. 输入新工作流的名称 workflow-child。

4. 在区域 列表中，选择 us-central1 。

5. 选择您之前创建的服务账号 。

6. 点击下一步 。

7. 在工作流编辑器中，输入工作流的定义：

   main:
     params: [args]
     steps:
       - init:
           assign:
             - iteration : ${args.iteration}
       - wait:
           call: sys.sleep
           args:
               seconds: 10
       - check_iteration_even_or_odd:
           switch:
             - condition: ${iteration % 2 == 0}
               next: raise_error
       - return_message:
           return: ${"Hello world"+iteration}
       - raise_error:
           raise: ${"Error with iteration "+iteration}

8. 点击部署 。

gcloud

1. 为工作流创建源代码文件：

   touch workflow-child.yaml

2. 在文本编辑器中打开源代码文件，并将以下工作流复制到该文件中。

   main:
     params: [args]
     steps:
       - init:
           assign:
             - iteration : ${args.iteration}
       - wait:
           call: sys.sleep
           args:
               seconds: 10
       - check_iteration_even_or_odd:
           switch:
             - condition: ${iteration % 2 == 0}
               next: raise_error
       - return_message:
           return: ${"Hello world"+iteration}
       - raise_error:
           raise: ${"Error with iteration "+iteration}

3. 部署工作流：

   gcloud workflows deploy workflow-child \
       --source=workflow-child.yaml \
       --location=us-central1 \
       --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

   将 SERVICE_ACCOUNT_NAME 替换为您之前创建的服务帐号的名称。

创建和部署父级工作流

父级工作流使用并行 for 循环执行子级工作流的多个分支。

1. 复制工作流定义的源代码。它由以下部分组成：

   1. 映射用于存储子级工作流执行作业的结果。 如需了解详情，请参阅映射。

      main:
        steps:
          - init:
              assign:
                - execution_results: {} # results from each execution
                - execution_results.success: {} # successful executions saved under 'success' key
                - execution_results.failure: {} # failed executions saved under 'failure' key

   2. 并行执行 for 循环以调用子级工作流。 如需了解详情，请参阅 并行步骤和 迭代。

      - execute_child_workflows:
          parallel:
            shared: [execution_results]
            for:
              value: iteration
              in: [1, 2, 3, 4]
              steps:
                  - iterate:

   3. 使用连接器调用子级工作流。子级工作流的每次迭代都会传递 iteration 实参。父级工作流会等待并存储每个子级工作流执行作业的结果。如需了解详情，请参阅 Workflows Executions API 连接器 和 运行时实参。

      try:
        steps:
          - execute_child_workflow:
              call: googleapis.workflowexecutions.v1.projects.locations.workflows.executions.run
              args:
                workflow_id: workflow-child
                #location: ...
                #project_id: ...
                argument:
                  iteration: ${iteration}
              result: execution_result
          - save_successful_execution:
              assign:
                - execution_results.success[string(iteration)]: ${execution_result}
      except:
          as: e
          steps:
            - save_failed_execution:
                assign:
                  - execution_results.failure[string(iteration)]: ${e}

   4. 返回执行结果。如需了解详情，请参阅 完成工作流的执行。

      - return_execution_results:
          return: ${execution_results}

2. 部署工作流：

   控制台

   1. 在 Google Cloud 控制台中，前往 Workflows 页面：

      进入 Workflows

   2. 点击 创建。

   3. 输入新工作流的名称 workflow-parent。

   4. 在区域 列表中，选择 us-central1 。

   5. 选择您之前创建的服务账号 。

   6. 点击下一步 。

   7. 在工作流编辑器中，粘贴父级工作流的定义。

   8. 点击部署 。

   gcloud

   1. 为工作流创建源代码文件：

      touch workflow-parent.yaml

   2. 在文本编辑器中打开源代码文件，然后粘贴父级工作流的定义。

   3. 部署工作流：

      gcloud workflows deploy workflow-parent \
          --source=workflow-parent.yaml \
          --location=us-central1 \
          --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

      将 SERVICE_ACCOUNT_NAME 替换为您之前创建的服务帐号的名称。

执行父级工作流

执行父级工作流，以便子级工作流的调用并行运行。执行作业应大约需要 10 秒才能完成。

控制台

1. 在 Google Cloud 控制台中，前往 Workflows 页面：

   进入 Workflows

2. 在 Workflows 页面上，点击 workflow-parent 工作流以转到其详情页面。

3. 在工作流详情 页面上，点击 执行。

4. 再次点击执行 。

5. 在输出 窗格中查看工作流的结果。

   结果应与以下内容类似，表明迭代 2 和 4 出现错误，而迭代 1 和 3 成功。

   "failure": {
     "2": {
       "message": "Execution failed or cancelled.",
       "operation": {
         "argument": "{\"iteration\":2}",
         "duration": "10.157992541s",
         "endTime": "2023-07-11T13:13:13.028424329Z",
         "error": {
           "context": "RuntimeError: \"Error with iteration 2\"\nin step \"raise_error\", routine \"main\", line: 18",
           "payload": "\"Error with iteration 2\"",
   ...
     "4": {
       "message": "Execution failed or cancelled.",
       "operation": {
         "argument": "{\"iteration\":4}",
         "duration": "10.157929734s",
         "endTime": "2023-07-11T13:13:13.061289142Z",
         "error": {
           "context": "RuntimeError: \"Error with iteration 4\"\nin step \"raise_error\", routine \"main\", line: 18",
           "payload": "\"Error with iteration 4\"",
   ...
   "success": {
     "1": "Hello world1",
     "3": "Hello world3"

gcloud

执行工作流：

gcloud workflows run workflow-parent \
    --location=us-central1

结果应与以下内容类似，表明迭代 2 和 4 出现错误，而迭代 1 和 3 成功。

Waiting for execution [06c753e4-6947-4c62-ac0b-2a9d53fb1b8f] to complete...done.
argument: 'null'
duration: 14.065415004s
endTime: '2023-07-11T12:50:43.929023883Z'
name: projects/386837416586/locations/us-central1/workflows/workflow-parent/executions/06c753e4-6947-4c62-ac0b-2a9d53fb1b8f
result: '{"failure":{"2":{"message":"Execution failed or cancelled.","operation":{"argument":"{\"iteration\":2}","duration":"10.143718070s","endTime":"2023-07-11T12:50:40.673209821Z","error":{"context":"RuntimeError:
...
"Error with iteration 2\"\nin step \"raise_error\", routine \"main\", line: 18","payload":"\"Error
...
"Error with iteration 4\"\nin step \"raise_error\", routine \"main\", line: 18","payload":"\"Error
...
"success":{"1":"Hello world1","3":"Hello world3"}}'
startTime: '2023-07-11T12:50:29.863608879Z'
state: SUCCEEDED

您已成功创建和部署工作流，该工作流会调用子工作流，在并行分支中执行子工作流的四个迭代，并返回每个子工作流执行作业的成功或失败指示器。

清理

如果您为本教程创建了一个新项目，请删除项目。 如果您使用的是现有项目，希望保留此项目且不保留本教程中添加的任何更改，请删除为教程创建的资源。

删除项目

为了避免产生费用，最简单的方法是删除您为本教程创建的项目。

要删除项目，请执行以下操作：

警告：删除项目会产生以下影响

• 项目中的所有内容都会被删除。如果您将现有项目用于本文档中的任务，则删除该项目后，还将删除您已在该项目中完成的任何其他工作。
• 自定义项目 ID 丢失。创建此项目时，您可能创建了要在将来使用的自定义项目 ID。要保留使用该项目 ID 的网址（例如 appspot.com 网址），请删除项目内的所选资源，而不是删除整个项目。

如果您打算探索多个架构、教程或快速入门，则重复使用项目 可以帮助您避免超出项目配额限制。

1. 在 Google Cloud 控制台中，前往 管理资源 页面。

   转到“管理资源”

2. 在项目列表中，选择要删除的项目，然后点击删除。
3. 在对话框中输入项目 ID，然后点击 关闭以删除项目。

删除教程资源

删除在本教程中创建的工作流：

gcloud workflows delete workflow-child
gcloud workflows delete workflow-parent

后续步骤

• 如需详细了解 Workflows 语法，请参阅Workflows 语法参考文档。
• 如需详细了解 Workflows 连接器，请参阅了解连接器。