部署及執行管道

本頁面說明在 Cloud Data Fusion 中部署及執行管道的基本概念。

部署管道

設計及偵錯資料管道完成後，如果對「預覽」中顯示的資料感到滿意，即可部署管道。

部署管道時，Cloud Data Fusion Studio 會在背景建立工作流程和對應的 Apache Spark 工作。

執行管道

部署管道後，您可以透過下列方式執行管道：

  • 如要視需要執行管道，請開啟已部署的管道，然後按一下「執行」。
  • 如要排定管道在特定時間執行，請開啟已部署的管道，然後點選「Schedule」(排定時間)。
  • 如要在其他管道完成時觸發管道，請開啟已部署的管道，然後按一下「Incoming triggers」(傳入的觸發條件)。

Pipeline Studio 每次執行管道時，都會儲存管道的記錄。您可以在不同版本的管線執行階段之間切換。

如果管道有巨集，請為每個巨集設定執行階段引數。您也可以在執行已部署的管道前，檢查及變更管道設定。您可以在管道執行階段查看狀態變化，例如「佈建中」、「啟動中」、「執行中」和「成功」。您也可以隨時停止管道。

啟用檢測後，您可以點選管道中任何節點 (例如來源、轉換或接收器) 的「Properties」，探索管道產生的指標。

如要進一步瞭解管道執行作業，請按一下「摘要」。

查看跑步記錄

管道執行完成後，您可以查看執行記錄。根據預設，您可以查看過去 30 天的執行記錄。Cloud Data Fusion 會在該期限過後刪除這些檔案。您可以使用 REST API 延長這段時間。

REST API

如要保留超過 30 天的執行記錄，請使用下列指令更新 app.run.records.ttl 選項：

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/PROJECT_NAME/locations/REGION_NAME/instances/INSTANCE_NAME?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "DAYS", "app.run.records.ttl.frequency.hours": "HOURS" } }'

更改下列內容：

  • PROJECT_NAME： Google Cloud 專案名稱
  • REGION_NAME：Cloud Data Fusion 執行個體的區域，例如 us-east4
  • INSTANCE_NAME：Cloud Data Fusion 執行個體 ID
  • DAYS：保留舊版管道執行記錄的時間長度 (以天為單位)，例如 30。
  • HOURS：檢查及刪除舊執行記錄的頻率 (以小時為單位)，例如 24。

範例：

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/project-1/locations/us-east4/instances/data-fusion-instance-1?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "30", "app.run.records.ttl.frequency.hours": "24" } }'

後續步驟