部署及執行管道

在 Cloud Data Fusion 部署管道，即可將資料整合設計轉換為可執行的工作流程。部署完成後，您可以視需求執行管道、設定自動排程，或設定傳入觸發條件來管理資料執行作業。

部署管道

完成資料管道的設計和偵錯，並對預覽畫面中顯示的資料感到滿意後，即可部署管道。

部署管道時，Cloud Data Fusion Studio 會在背景建立工作流程和對應的 Apache Spark 工作。

執行管道

部署管道後，您可以透過下列方式執行管道：

  • 如要視需要執行管道，請開啟已部署的管道，然後按一下「Run」(執行)。
  • 如要排定管道在特定時間執行，請開啟已部署的管道，然後按一下「Schedule」(排程)。
  • 如要在其他管道完成時觸發管道，請開啟已部署的管道，然後按一下「Incoming triggers」(傳入觸發條件)。

Pipeline Studio 會在每次執行管道時儲存記錄。您可以在管線的不同執行階段版本之間切換。

如果管道含有巨集，請為每個巨集設定執行階段引數。您也可以先查看及變更管道設定，再執行已部署的管道。在管道執行階段，您會看到狀態變更，例如「Provisioning」(佈建中)、「Starting」(啟動中)、「Running」(執行中)和「Succeeded」(成功)。您也可以隨時停止管道。

啟用檢測功能後，只要點選管道中任何節點 (例如來源、轉換或接收器) 的「Properties」(屬性)，即可查看管道產生的指標。

如要進一步瞭解管道執行作業，請按一下「Summary」(摘要)。

查看執行記錄

管道執行完畢後，您可以查看執行記錄。根據預設，您可以查看過去 30 天的執行記錄。Cloud Data Fusion 會在該期限後刪除這些資料。您可以使用 REST API 延長這段期間。

REST API

如要保留執行記錄超過 30 天，請使用下列指令更新 app.run.records.ttl 選項：

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/PROJECT_NAME/locations/REGION_NAME/instances/INSTANCE_NAME?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "DAYS", "app.run.records.ttl.frequency.hours": "HOURS" } }'

更改下列內容：

  • PROJECT_NAME： Google Cloud 專案名稱
  • REGION_NAME：Cloud Data Fusion 執行個體的區域，例如 us-east4
  • INSTANCE_NAME：Cloud Data Fusion 執行個體 ID
  • DAYS：舊管道執行記錄的保留時間 (以天為單位)，例如 30。
  • HOURS：檢查及刪除舊執行記錄的頻率 (以小時為單位)，例如 24。

範例：

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/project-1/locations/us-east4/instances/data-fusion-instance-1?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "30", "app.run.records.ttl.frequency.hours": "24" } }'

後續步驟