Menggunakan antrean Cloud Tasks untuk melakukan buffering eksekusi alur kerja Anda

Tutorial ini menunjukkan cara membuat antrean Cloud Tasks yang dapat mengatur kecepatan eksekusi alur kerja.

Ada jumlah maksimum eksekusi alur kerja aktif yang dapat terjadi secara bersamaan. Setelah kuota ini habis, dan jika penumpukan eksekusi dinonaktifkan, atau jika kuota untuk eksekusi yang tertunda telah tercapai, setiap eksekusi baru akan gagal dengan kode status HTTP 429 Too many requests. Dengan mengaktifkan antrean Cloud Tasks untuk menjalankan alur kerja turunan pada kecepatan yang Anda tentukan, Anda dapat menghindari masalah terkait kuota Workflows dan mencapai kecepatan eksekusi yang lebih baik.

Perhatikan bahwa Cloud Tasks dirancang untuk memberikan pengiriman "setidaknya sekali"; namun, Workflows tidak memastikan pemrosesan permintaan duplikat yang tepat satu kali dari Cloud Tasks.

Dalam diagram berikut, alur kerja induk memanggil alur kerja turunan yang diatur oleh antrean Cloud Tasks yang menerapkan kecepatan pengiriman.

Alur kerja induk memanggil iterasi alur kerja turunan melalui Antrean Cloud Tasks

Membuat antrean Cloud Tasks

Buat antrean Cloud Tasks yang dapat Anda gunakan dalam alur kerja induk dan yang memungkinkan Anda mengatur kecepatan eksekusi alur kerja.

Konsol

  1. Di konsol Google Cloud , buka halaman Cloud Tasks:

    Buka Cloud Tasks

  2. Klik Buat antrean push.

  3. Masukkan Nama antrean, queue-workflow-child.

  4. Di daftar Region, pilih us-central1 (Iowa).

  5. Klik Buat.

gcloud

QUEUE=queue-workflow-child
LOCATION=us-central1
gcloud tasks queues create $QUEUE --location=$LOCATION

Membuat dan men-deploy alur kerja turunan

Alur kerja turunan dapat menerima dan memproses data dari alur kerja induk. Buat dan deploy alur kerja turunan yang melakukan hal berikut:

  • Menerima iteration sebagai argumen
  • Tidur selama 10 detik untuk menyimulasikan beberapa pemrosesan

  • Menampilkan string setelah eksekusi berhasil

Konsol

  1. Di konsol Google Cloud , buka halaman Workflows.

    Buka Workflows

  2. Klik Buat.

  3. Masukkan nama, workflow-child, untuk alur kerja baru.

  4. Di daftar Region, pilih us-central1 (Iowa).

  5. Dalam daftar Service account, pilih Compute Engine default service account.

  6. Klik Berikutnya.

  7. Di editor alur kerja, masukkan definisi berikut untuk alur kerja Anda:

    main:
  params: [args]
  steps:
    - init:
        assign:
          - iteration : ${args.iteration}
    - wait:
        call: sys.sleep
        args:
            seconds: 10
    - return_message:
        return: ${"Hello world"+iteration}

  8. Klik Deploy.

gcloud

  1. Buat file kode sumber untuk alur kerja Anda:

    touch workflow-child.yaml

  2. Buka file kode sumber Anda di editor teks dan salin alur kerja berikut ke file.

    main:
  params: [args]
  steps:
    - init:
        assign:
          - iteration : ${args.iteration}
    - wait:
        call: sys.sleep
        args:
            seconds: 10
    - return_message:
        return: ${"Hello world"+iteration}

  3. Deploy alur kerja:

    gcloud workflows deploy workflow-child \
    --source=workflow-child.yaml \
    --location=us-central1 \
    --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

Membuat dan men-deploy alur kerja induk

Alur kerja induk menjalankan beberapa cabang alur kerja turunan menggunakan loop for.

  1. Salin kode sumber yang menentukan alur kerja induk:

    main:
  steps:
    - init:
        assign:
          - project_id: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
          - project_number: ${sys.get_env("GOOGLE_CLOUD_PROJECT_NUMBER")}
          - location: ${sys.get_env("GOOGLE_CLOUD_LOCATION")}
          - workflow_child_name: "workflow-child"
          - queue_name: "queue-workflow-child"
    - enqueue_tasks_to_execute_child_workflow:
        for:
          value: iteration
          range: [1, 100]
          steps:
              - iterate:
                  assign:
                    - data:
                        iteration: ${iteration}
                    - exec:
                        # Encode object to JSON string in expression for workflow argument
                        argument: ${json.encode_to_string(data)}
              - create_task_to_execute_child_workflow:
                  call: googleapis.cloudtasks.v2.projects.locations.queues.tasks.create
                  args:
                      parent: ${"projects/" + project_id + "/locations/" + location + "/queues/" + queue_name}
                      body:
                        task:
                          httpRequest:
                            body: ${base64.encode(json.encode(exec))}
                            url: ${"https://workflowexecutions.googleapis.com/v1/projects/" + project_id + "/locations/" + location + "/workflows/" + workflow_child_name + "/executions"}
                            oauthToken:
                              serviceAccountEmail: ${project_number + "-compute@developer.gserviceaccount.com"}

    Alur kerja terdiri dari bagian berikut:

    • Peta yang digunakan untuk menetapkan konstanta yang merujuk ke alur kerja turunan dan nama antrean Cloud Tasks. Untuk mengetahui informasi selengkapnya, lihat bagian Maps.

    • Loop for yang dieksekusi untuk memanggil alur kerja turunan secara iteratif. Untuk mengetahui informasi selengkapnya, lihat Iterasi.

    • Langkah alur kerja yang membuat dan menambahkan sejumlah besar tugas ke antrean Cloud Tasks untuk menjalankan alur kerja turunan. Untuk mengetahui informasi selengkapnya, lihat Konektor Cloud Tasks API.

  2. Deploy alur kerja:

    Konsol

    1. Di konsol Google Cloud , buka halaman Workflows:

      Buka Workflows

    2. Klik Buat.

    3. Masukkan nama, workflow-parent, untuk alur kerja baru.

    4. Di daftar Region, pilih us-central1 (Iowa).

    5. Dalam daftar Service account, pilih Compute Engine default service account.

    6. Klik Berikutnya.

    7. Di editor alur kerja, tempelkan definisi untuk alur kerja induk.

    8. Klik Deploy.

    gcloud

    1. Buat file kode sumber untuk alur kerja Anda:

      touch workflow-parent.yaml

    2. Buka file kode sumber Anda di editor teks dan tempel definisi untuk alur kerja induk.

    3. Deploy alur kerja:

      gcloud workflows deploy workflow-parent \
    --source=workflow-parent.yaml \
    --location=us-central1 \
    --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

Menjalankan alur kerja induk tanpa batas kecepatan

Jalankan alur kerja induk untuk memanggil alur kerja turunan melalui antrean Cloud Tasks. Eksekusi akan memerlukan waktu sekitar 10 detik untuk diselesaikan.

Konsol

  1. Di konsol Google Cloud , buka halaman Workflows:

    Buka Workflows

  2. Di halaman Workflows, klik alur kerja workflow-parent untuk membuka halaman detailnya.

  3. Di halaman Workflow details, klik Execute.

  4. Klik Execute lagi.

  5. Saat alur kerja induk berjalan, kembali ke halaman Workflows, lalu klik alur kerja workflow-child untuk membuka halaman detailnya.

  6. Klik tab Executions.

    Anda akan melihat eksekusi alur kerja turunan, yang berjalan pada waktu yang sama, mirip dengan berikut ini:

    Detail eksekusi alur kerja turunan yang berjalan di sekitar waktu yang sama.

gcloud

  1. Menjalankan alur kerja:

    gcloud workflows run workflow-parent \
     --location=us-central1

  2. Untuk memverifikasi bahwa eksekusi alur kerja dipicu, buat daftar empat eksekusi terakhir:

    gcloud workflows executions list workflow-child --limit=4

    Karena jumlah eksekusi (100) berada di bawah batas serentak Workflows, hasilnya akan mirip dengan berikut ini. Masalah kuota dapat muncul jika Anda mengirimkan ribuan eksekusi secara bersamaan. 

    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/1570d06e-d133-4536-a859-b7b6a1a85524
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:15.093934448Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/82724960-7d92-4961-aa2c-a0f0be46212c
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:14.903007626Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/598126fb-37f9-45bc-91d8-aea7d795d702
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:14.698260524Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/d2e9960b-f93f-4df4-a594-3e7e5c2be53f
STATE: ACTIVE
START_TIME: 2023-07-27T00:56:14.503818840Z
END_TIME:

Anda telah membuat dan men-deploy alur kerja yang memanggil 100 iterasi alur kerja turunan.

Menjalankan alur kerja induk dengan batas kapasitas

Terapkan batas frekuensi satu pengiriman per detik ke antrean Cloud Tasks, lalu jalankan alur kerja induk.

Konsol

  1. Di konsol Google Cloud , buka halaman Cloud Tasks:

    Buka Cloud Tasks

  2. Klik queue-workflow-child, antrean Cloud Tasks yang Anda buat, lalu klik Edit antrean.

  3. Di bagian Rate limits for task dispatches, untuk kolom Max dispatches, ketik 1.

  4. Klik Simpan.

  5. Buka halaman Workflows:

    Buka Workflows

  6. Klik alur kerja workflow-parent untuk membuka halaman detailnya.

  7. Di halaman Workflow details, klik Execute.

  8. Klik Execute lagi.

  9. Saat alur kerja induk berjalan, kembali ke halaman Workflows, lalu klik alur kerja workflow-child untuk membuka halaman detailnya.

  10. Klik tab Executions.

    Anda akan melihat eksekusi alur kerja turunan, yang berjalan pada satu permintaan per detik, mirip dengan berikut ini:

    Detail alur kerja turunan yang dieksekusi pada permintaan per detik.

gcloud

  1. Perbarui antrean Cloud Tasks untuk menerapkan batas frekuensi satu pengiriman per detik:

    gcloud tasks queues update $QUEUE \
    --max-dispatches-per-second=1 \
    --location=us-central1

  2. Menjalankan alur kerja:

    gcloud workflows run workflow-parent \
   --location=us-central1

  3. Untuk memverifikasi bahwa eksekusi alur kerja dipicu, buat daftar empat eksekusi terakhir:

    gcloud workflows executions list workflow-child --limit=4

    Hasilnya akan mirip dengan berikut, dengan satu alur kerja yang dieksekusi per detik: 

    NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/becf4957-9fb2-40d9-835d-0ff2dd0c1249
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:24.446361457Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/6c1e7c4b-7ac6-4121-b351-1e2d56d10903
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:23.448213989Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/f2ba5027-af40-4cd3-8cd0-b8033bcc6211
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:22.431485914Z
END_TIME:
NAME: projects/620278351741/locations/us-central1/workflows/workflow-child/executions/ecc61ee5-fe87-49eb-8803-89dba929f6c8
STATE: ACTIVE
START_TIME: 2023-07-27T01:07:21.443466369Z
END_TIME:

Anda telah berhasil men-deploy alur kerja yang memanggil 100 iterasi alur kerja turunan dengan kecepatan pengiriman satu eksekusi per detik.