工作流程排程解決方案

本節說明可用於排定工作流程時間的 Google Cloud 選項。

Dataproc 工作流程範本

Dataproc 工作流程範本提供靈活且容易使用的機制,可用來管理及執行工作流程。工作流程範本是一種可重複使用的工作流程設定,定義了一張工作圖,其中含有要在哪裡執行工作的相關資訊。

Cloud Scheduler

Cloud Scheduler 是全代管的企業級 Cron 工作排程器。 無論是批次工作、大數據工作,還是雲端基礎架構的相關作業,幾乎任何工作都能交由這項工具輕鬆排程。這項功能提供簡單的時間式排程功能 (例如每日或每小時),不需要撰寫程式碼。

優點:

  • 可根據熟悉的 cron 運算式,建立工作流程範本的時間式例項

  • 不需要撰寫程式碼

教學課程:使用 Cloud Scheduler 的工作流程

Cloud Functions

Cloud Run functions 是一個簡易運算解決方案,可讓您建立獨立的單一用途函式來回應雲端事件,而不需管理伺服器或執行階段環境。您可以透過 Cloud Run 函式,在發生 Pub/Sub 事件或 Cloud Storage 中的檔案變更時啟動工作流程。對於需要計算時間式參數的工作流程,您可以使用 Cloud Run 函式搭配 Cloud Scheduler。

優點:

  • 可因應資料事件 (例如 Cloud Storage 中的新檔案或 Pub/Sub 事件) 建立工作流程例項。

  • 使用 Dataproc GoNode.jsPython 用戶端程式庫,只需撰寫少量程式碼

  • 動態產生工作流程和工作流程參數

教學課程:使用 Cloud Run 函式的工作流程

Cloud Composer

Cloud Composer 是代管式 Apache Airflow 服務,可用於建立、安排、監控及管理工作流程。

優點:

  • 支援時間式和事件式排程

  • 使用運算子簡化對 Dataproc 的呼叫

  • 動態產生工作流程和工作流程參數

  • 建立跨多項 Google Cloud 產品的資料流程

教學課程:使用 Cloud Composer 的工作流程