在 Dataflow 串流管道中,延遲或順序不正確的記錄可能會導致管道的浮水印停滯。這類記錄是由時間差異所造成,例如離線裝置或時鐘偏差用戶端的事件。如果浮水印停滯,會導致時間範圍結果和事件時間計時器延遲,且延遲的資料最終清除時,worker 使用率可能會突然飆升。
您可以為 Streaming Engine 工作啟用積極推進浮水印功能,避免延遲記錄拖慢管道。啟用這項功能後,Dataflow 會繼續處理延遲的記錄,但這些記錄不會延遲浮水印,因此視窗和計時器可按排程執行。
啟用積極推進浮水印功能,可達成下列目標:
- 可預測的延遲時間:準時輸出視窗化匯總,並按排程執行事件時間計時器,不必等待延遲記錄處理完畢。
- 更平穩的工作站使用率:準時資料會推進浮水印,因此視窗會關閉,計時器也會穩定執行,避免因待處理視窗一次全部關閉,導致工作站使用率飆升。
總覽
在串流管道中,浮水印是表示 Dataflow 已追蹤到目前為止的資料已處理完畢的門檻。視窗化匯總會輸出準時結果,而事件時間計時器只會在浮水印通過視窗結尾或計時器時間戳記後執行。
根據預設,浮水印會以未處理事件的最小時間戳記為依據,且絕不會往回移動。如果記錄到達時,事件時間戳記晚於目前的浮水印,浮水印會暫停,直到該記錄處理完畢。由於下游浮水印無法超過上游浮水印,因此停滯的上游浮水印會導致其後的所有階段停滯。當延遲記錄在管道中移動時,每個階段的水位標記都會保持停滯狀態,直到記錄在該階段處理完畢為止。即使管道在其他方面運作正常,這種連鎖效應也會延遲所有下游階段準時資料的視窗結果和事件時間計時器。當延遲的記錄最終清除時,浮水印會快速向前跳躍,通常會觸發一連串的視窗關閉,進而提高 worker 使用率。
積極浮水印推進功能會將延遲記錄與浮水印進度分離,進而變更 Streaming Engine 工作的這項行為。當記錄送達時,如果事件時間戳記晚於目前的水位標記,Dataflow 會處理記錄,而不會保留階段的水位標記。水位標記會根據準時資料繼續推進,而延遲記錄則會根據管道的允許延遲設定進行處理和輸出。
使用積極浮水印推進的時機
在下列情況下,浮水印進度會因晚於目前浮水印到達的記錄而停滯,此時積極推進浮水印會很有效:
- 延遲資料突發:行動裝置、IoT 感應器或 網路設備離線數小時或數天,在本機緩衝事件,並在重新連線時 輸出大量歷來資料。
- Pub/Sub 中的事件時間順序不正確:Pub/Sub 主題中,訊息抵達時的事件時間戳記早於來源浮水印,或是在稀疏填入的主題中,閒置訂閱項目的浮水印在訊息之間推進至實際時間。
- Kafka 分區復原:Kafka 來源設定了事件時間或
CreateTime,其中分區的水位標記在分區閒置時推進,然後分區收到舊記錄的待處理工作。 - 自訂過去時間戳記:使用者轉換,使用
outputWithTimestamp輸出含有歷來時間戳記的記錄。
延遲資料與視窗匯總
如果沒有積極推進浮水印,停滯的浮水印會讓視窗保持開啟。如果浮水印停滯的時間夠長,之後才抵達的延遲記錄可能會被視為準時,這可提供一些非預期的保護,防止資料延遲。採用積極推進浮水印後,延遲記錄就不會再拖延浮水印,因此更多記錄會正確歸類為延遲。在允許的延遲時間內,延遲記錄會輸出至延遲窗格,而延遲記錄則會從視窗結果中排除。
不適用積極推進浮水印的情況
積極推進浮水印無法解決因準時資料處理速度緩慢而導致的浮水印延遲問題。如果轉換作業因運算量大、外部 RPC 速度慢,或 worker CPU 和記憶體瓶頸,而需要長時間處理準時記錄,浮水印就會因這些速度慢的元素而延遲。積極推進浮水印只會分離已落後於浮水印的資料。不會加快緩慢的即時處理速度。
支援與限制
在 Streaming Engine (Java、Python 和 Go) 上執行的所有 Apache Beam SDK 版本,都支援積極推進浮水印。無須升級 SDK。
積極推進浮水印有下列規定和限制:
- 必須使用 Streaming Engine:管道必須使用 Streaming Engine。
- 僅限串流工作:您只能為串流管道啟用積極推進浮水印功能。
- 允許的延遲時間:如要處理視窗化匯總或有狀態處理中的延遲記錄,請先設定允許的延遲時間,涵蓋預期的延遲時間,再啟用積極浮水印推進功能。晚於允許延遲時間的記錄會遭到捨棄。詳情請參閱「延遲資料」。
- 有界來源:如果串流工作中的所有來源都是有界來源,工作不會在輸入結束時自行完成。如要停止工作,請耗盡工作。
- 僅限新工作或替換工作:您無法變更執行中工作的積極浮水印推進功能。如要為現有管道啟用或停用這項功能,您必須使用管道更新選項部署替換工作。
事前準備
啟用積極推進浮水印功能前,請先完成下列事項:
- 設定允許的延遲時間,以涵蓋預期的延遲時間。
- 確認管道的觸發條件、累積模式和
PaneInfo處理方式適用於延遲窗格。
啟用積極推進浮水印功能後,請在 Google Cloud 控制台的「Job info」(工作資訊) 面板中,監控「Custom counters」(自訂計數器) 下方的 droppedDueToLateness 計數器,確認捨棄的遲到資料比率仍符合您的用途需求。
啟用積極推進浮水印
如要啟用積極推進浮水印功能,請在啟動管道時設定 enable_eager_watermark_advancement 服務選項:
Java
--dataflowServiceOptions=enable_eager_watermark_advancement
Python
--dataflow_service_options=enable_eager_watermark_advancement
Go
--dataflow_service_options=enable_eager_watermark_advancement
gcloud
使用 gcloud dataflow jobs run 指令執行範本,或使用 gcloud dataflow flex-template run 指令執行 Flex 範本時,請加入 --enable-streaming-engine 和 --additional-experiments 旗標:
gcloud dataflow flex-template run JOB_NAME \
--template-file-gcs-location=TEMPLATE_LOCATION \
--region=REGION \
--enable-streaming-engine \
--additional-experiments=enable_eager_watermark_advancement
替換下列值:
JOB_NAME:Dataflow 工作的名稱TEMPLATE_LOCATION:Flex 範本規格檔案的 Cloud Storage 路徑REGION:執行工作的區域
Terraform
在 google_dataflow_flex_template_job 或 google_dataflow_job 資源上設定 additional_experiments:
resource "google_dataflow_flex_template_job" "pipeline" {
# ...
enable_streaming_engine = true
additional_experiments = ["enable_eager_watermark_advancement"]
}
REST
啟動 Flex 範本時,請使用 RuntimeEnvironment 物件或 FlexTemplateRuntimeEnvironment 物件中的 additionalExperiments 欄位:
{
"additionalExperiments": ["enable_eager_watermark_advancement"]
}
控制台
前往 Google Cloud 控制台的 Dataflow「Jobs」(工作) 頁面。
點選「依據範本建立工作」。
從「Dataflow template」(Dataflow 範本) 選單中選取範本。
展開「Optional parameters」(選用參數)。
在「Additional experiments」(其他實驗) 欄位中,輸入
enable_eager_watermark_advancement。按一下「Run Job」(執行工作)。
確認已啟用積極推進浮水印功能
工作啟動或更新時,如果已啟用積極推進浮水印,工作記錄會包含下列訊息:
Eager watermark advancement is enabled for this job.
當更新開啟或關閉積極進展浮水印時,工作記錄會包含類似下列的訊息:
Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true
您也可以查看「Job info」(工作資訊) 面板的「Pipeline options」(管道選項) 部分。enable_eager_watermark_advancement 選項會顯示在 dataflowServiceOptions 列中,如果您將其設為實驗,則會顯示在 experiments 列中。
停用積極推進浮水印
您無法在執行中的工作停用積極推進浮水印功能。如要為現有管道停用這項功能,請使用 --update 管道選項啟動替換工作,並從替換選項中省略 enable_eager_watermark_advancement。詳情請參閱「更新串流管道」。由於浮水印不會倒退,因此替換工作的浮水印會從前一個工作的浮水印繼續,並恢復預設的推進行為。
監控積極浮水印進度
如果工作已啟用積極進展浮水印,Dataflow 會向 Cloud Monitoring 回報下列各階段指標。請將這些指標與標準 dataflow.googleapis.com/job/per_stage_data_watermark_age (資料更新間隔) 指標搭配使用,評估延遲資料和浮水印延遲時間:
dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data:如果停用積極推進浮水印,階段的資料浮水印時間長度。這項指標與per_stage_data_watermark_age的差異,就是積極推進浮水印所移除的浮水印延遲時間。dataflow.googleapis.com/job/per_stage_oldest_pending_element_age:階段或上游最舊待處理元素 (包括延遲記錄) 的存在時間。如果管道採用視窗化匯總,這項指標與per_stage_data_watermark_age的差異,大約等於最舊延遲記錄落後浮水印的時間。如果這個差異接近允許的延遲時間,延遲記錄就有可能遭到捨棄。如要確認是否有任何延遲記錄遭到捨棄,請查看Google Cloud 控制台「Custom counters」(自訂計數器) 下方的droppedDueToLateness計數器 (請參閱「事前準備」)。
這兩項指標都以秒為單位,並包含 stage 標籤。詳情請參閱「使用 Monitoring」。
後續步驟
- 進一步瞭解浮水印和延遲資料。
- 瞭解如何更新串流管道。
- 疑難排解串流工作緩慢或停滯的問題。