排解 Dataflow 中的瓶頸

當某個步驟、階段或 worker 導致整體工作速度變慢時,就會發生瓶頸。瓶頸可能會導致 worker 閒置,並增加延遲時間。

如果 Dataflow 偵測到瓶頸,工作圖表會顯示快訊,「Step Info」(步驟資訊) 面板則會列出瓶頸類型和原因 (如有)。Dataflow 也會將瓶頸偵測資訊匯出至 Monitoring 指標,以時間序列的形式呈現資料。方便您查看過去或一段時間內的瓶頸。

瞭解瓶頸

Dataflow 執行串流管道時,工作會由一系列元件組成,例如串流重組、user-defined function (DoFn) 處理執行緒,以及永久狀態檢查點。為促進資料流動,Dataflow 會使用佇列連結這些元件。資料會從上游推送至下游。

在許多管道中,整體處理量會受限於單一元件,導致管道出現「瓶頸」。資料通過瓶頸的速度,會限制管道接受及處理輸入資料的速度。

舉例來說,假設某個管道在串流重組的下游進行 DoFn 處理。兩者之間的佇列會緩衝處理已重組但未處理的資料。如果 DoFn 處理作業無法以串流重組產生資料的速度消耗資料,佇列就會增加。如果瓶頸持續存在,佇列可能會達到容量上限。此時,系統會暫停進一步重組,並將待處理工作向上游傳播。更上游的佇列也會累積待處理項目,最終導致資料來源速度變慢,也就是整個管道無法跟上輸入速度。

發生瓶頸時,即使管道中只有一個點造成待處理項目,管道的大部分部分仍可能顯示為健康狀態不良。這種行為可能會導致難以偵錯瓶頸。瓶頸偵測的目標是找出精確位置和原因,消除猜測,以便修正根本原因。

如果延遲時間超過五分鐘的門檻,Dataflow 就會偵測到瓶頸。如果延遲時間未超過這個門檻,Dataflow 就不會偵測到瓶頸。

瓶頸偵測不一定需要您採取行動,具體取決於您的用途。管道可以正常運作,暫時延遲時間超過五分鐘。如果您的用途可以接受這種情況,可能就不需要解決指出的瓶頸。

瓶頸類型

Dataflow 偵測到瓶頸時,監控介面會指出問題的嚴重程度。瓶頸可分為下列類別:

處理作業停滯且無法繼續進行
管道進度會在這個步驟完全停止。
處理作業持續進行中,但進度落後。
管道無法在資料傳入時立即處理。因此待處理工作越來越多。
處理作業持續進行中,但有待處理的工作
管道正在處理資料,且處理速率與輸入速率相當。處理速度夠快,待處理工作不會增加,但累積的待處理工作也沒有明顯減少。
處理作業持續進行中,且即將進行待處理的工作
待處理項目正在減少,但目前的瓶頸導致管道無法更快趕上進度。如果您啟動的管道有待處理工作,這種狀態可能正常,不需要任何介入。監控進度,看看待處理項目是否持續減少。

瓶頸成因

本節列出可偵測到的瓶頸原因。請參考這項資訊來解決問題。在某些情況下,可能有多個原因,且彼此相關。舉例來說,如果 worker 佈建不足,vCPU 使用率可能會偏高。vCPU 使用率偏高可能會導致作業速度變慢,進而增加佇列延遲。可能原因分析可能會將這些全部顯示為瓶頸的原因。

作業處理時間過長

這項運算中的部分作業處理時間過長。每當輸入套件傳送至執行 DoFn 的 worker,且經過相當長的時間仍未產生結果,就會發生這種情況。

這通常是因為使用者程式碼中有一項長時間執行的作業。其他問題可能會導致作業處理時間過長。舉例來說,DoFn 內擲回並重試的錯誤、長時間重試,或因 OOM 等因素導致 worker 控管工具異常終止,都可能導致處理時間過長。

如果受影響的運算位於使用者程式碼中,請設法最佳化程式碼或限制執行時間。為協助偵錯,工作站記錄會顯示停滯超過 5 分鐘的任何作業的堆疊追蹤。

金鑰修訂版本過大

請參閱「金鑰修訂版本過大例外狀況」。

BigQuery 接收器權限遭拒

這項錯誤表示執行管道的服務帳戶沒有寫入 BigQuery 資源的必要權限。

如要使用 worker 記錄驗證這個問題,請按照下列步驟操作:

  1. 在 Google Cloud 控制台,開啟 Dataflow 的「Job details」(工作詳細資料) 頁面。
  2. 在底部面板中,按一下「記錄」分頁標籤,然後選取「工作站記錄」。
  3. 尋找指出權限或存取權遭拒的錯誤訊息 (例如 PERMISSION_DENIED、403 Forbidden、Access Denied 或 actuallyForbidden)。
  4. 檢查記錄訊息,找出目的地資料集或資料表,以及缺少的特定權限 (例如 bigquery.tables.updateData)。

如何解決這個問題:

  • 確認服務帳戶已獲派目的地資料集和資料表的 BigQuery 資料編輯者 (roles/bigquery.dataEditor) 角色。
  • 如要跨專案寫入,請務必直接在託管 BigQuery 資料集的目的地專案中,將權限授予服務帳戶,並確認 VPC Service Controls (如已啟用) 允許兩個專案之間通訊。

如果上述步驟無法解決問題,請參閱「BigQuery 預先定義的角色和權限」,找出並授予特定設定所需的精細權限。

BigQuery 接收器資源已用盡

這項錯誤表示管道已超出 BigQuery 配額限制。最可能的原因是目的地 BigQuery 專案的配額不足,無法處理寫入的資料量。

如要使用 worker 記錄驗證這個問題,請按照下列步驟操作:

  1. 在 Google Cloud 控制台,開啟 Dataflow 的「Job details」(工作詳細資料) 頁面。
  2. 在底部面板中,按一下「記錄」分頁標籤,然後選取「工作站記錄」。
  3. 尋找指出資源或配額已用盡,或超出頻率限制的錯誤訊息 (例如 RESOURCE_EXHAUSTED、429 Too Many Requests、quotaExceeded 或 rateLimitExceeded)。
  4. 檢查記錄訊息,確認超出哪項作業和配額限制 (例如 Storage Write API AppendRows 處理量或連線限制,或串流資料即時插入頻率限制)。

如何解決這個問題:

  • 判斷管道使用的 BigQuery 接收器實作項目 (例如 Storage Write API 或串流資料即時插入)。
  • 在 Google Cloud 控制台查看 BigQuery 配額用量。請特別留意與接收器類型相關的配額,例如並行連線、處理量或每秒串流插入資料列。
  • 如果經常接近或超過這些限制,建議申請提高配額。

如果上述步驟無法找出超出特定限制的原因,請參閱「排解配額和限制錯誤」一文,進一步調查。

BigQuery 接收器 RPC 失敗

這項錯誤表示從管道傳送至 BigQuery 的 RPC 要求失敗。可能原因包括暫時性網路或服務問題、要求酬載無效、結構定義不符,或逾時和超過期限錯誤。

如要使用 worker 記錄驗證這個問題,請按照下列步驟操作:

  1. 在 Google Cloud 控制台,開啟 Dataflow 的「Job details」(工作詳細資料) 頁面。
  2. 在底部面板中,按一下「記錄」分頁標籤,然後選取「工作站記錄」。
  3. 尋找與 BigQuery 寫入作業相關的錯誤訊息或例外狀況,例如 DEADLINE_EXCEEDED、UNAVAILABLE、INVALID_ARGUMENT 或結構定義驗證錯誤。
  4. 檢查堆疊追蹤和錯誤訊息,判斷 BigQuery API 傳回的特定失敗模式。

如何解決這個問題:

  • 在 worker 記錄中找出特定錯誤訊息或狀態碼後,請參閱 BigQuery 錯誤訊息參考資料,瞭解該錯誤的疑難排解指南。
  • 如果管道使用 Storage Write API,請參閱 BigQuery Storage Write API 說明文件的「錯誤處理」一節,瞭解如何處理特定寫入和串流錯誤。
BigQuery 接收器已節流

這個原因表示從管道到 BigQuery 的寫入要求成功,但延遲時間過長或受到節流。如果管道接近 BigQuery 處理量或傳輸中位元組配額,BigQuery 會減緩寫入要求速度來調節流量,或 BigQuery 後端延遲時間增加,就會發生這個問題。

如要驗證這個問題,請按照下列步驟操作:

  1. 在 Google Cloud 控制台,開啟 Dataflow 的「Job details」(工作詳細資料) 頁面。
  2. 點選「工作指標」或「步驟資訊」分頁標籤,確認 BigQuery 接收器步驟的處理時間是否增加。
  3. 在 Google Cloud 控制台,開啟目的地 BigQuery 專案的「Quotas & System Limits」(配額與系統限制) 頁面,檢查用量是否接近 BigQuery 寫入配額。

如何解決這個問題:

  • 判斷管道使用的 BigQuery 接收器實作方式,例如 Storage Write API 或串流資料即時插入。
  • 在 Google Cloud 控制台查看 BigQuery 配額用量。請特別留意與接收器類型相關的配額,例如 Storage Write API 附加處理量、並行連線數,或每秒串流資料即時插入列數。即使要求未因明確的配額錯誤而失敗,BigQuery 仍可能在用量接近配額上限時限制要求。
  • 如果經常接近這些限制,建議申請提高配額。

如果上述步驟無法找出即將達到上限的具體項目,請參閱「排解配額和限制錯誤」一文,進一步調查。

所有作業的處理時間偏長

這項運算中的作業一律需要很長時間,表示使用者提供的 DoFn 有問題。

這個原因與「處理時間過長的操作」不同;該原因會影響部分操作,而這個原因則表示這項運算中的所有操作都會受到影響。

檢查 worker 記錄檔,找出錯誤、例外狀況或堆疊追蹤,判斷執行緒是否緩慢或停滯。如果您使用 Apache Beam SDK for Python,且作業本身設計為長時間執行 (例如緩慢的外部 API 呼叫或高延遲 I/O),請考慮使用 Async DoFn。這項功能可防止處理作業因這些長時間執行的工作而遭到封鎖,進而提高處理量。

永久狀態讀取速度緩慢

運算作業在執行 DoFn 時,會花費大量時間讀取永久狀態。這可能是因為永久狀態過大,或讀取次數過多。建議您縮減永久狀態的大小或讀取頻率。結合多個狀態讀取作業,或在適當情況下使用對應狀態而非值狀態,藉此最佳化狀態存取模式。如果基礎永久狀態速度緩慢,也可能導致這個問題。

永久狀態寫入速度緩慢

在提交處理結果期間,運算作業花費大量時間寫入永久狀態。這可能是因為永久狀態過大。建議縮減永久狀態大小。在適當情況下,合併多個狀態寫入作業,最佳化狀態存取模式。這也可能是暫時性問題,因為基礎永久狀態的速度緩慢。

已拒絕的修訂版本

資料處理無效,因此無法提交至永久狀態。這通常是因為超過其中一項作業限制。如要瞭解詳情,請查看記錄或與支援團隊聯絡。

Apache Kafka 來源分區不足

Apache Kafka 來源運算的分區不足。如要解決這個問題,請嘗試下列做法:

  • 增加 Kafka 分區數量。
  • 設定 Kafka IO 讀取時,請加入使用 .withRedistribute() 重新分配,更有效率地平行處理資料。加入 .withRedistributeNumKeys(N),其中 N > partitions 可提供金鑰總數的上限。限制鍵的數量可透過記錄組合提高效率。
  • 如要盡可能降低重新分配重組的成本,請使用 .withOffsetDeduplication()。這個模式可盡量減少重組時需要保留的資料量,同時仍提供「僅限一次」處理。

詳情請參閱「從 Apache Kafka 讀取資料到 Dataflow」頁面的「平行處理」一節。

Apache Kafka 來源有大量永久狀態

Apache Kafka 來源運算作業正在重新分配大量資料,這可能會導致延遲時間和費用增加。如要解決這個問題,請嘗試下列做法:

  • 如果管道需要僅需處理一次,請使用偏移簡化模式,盡可能降低重新分配重組的成本。這個模式可盡量減少重組時需要保留的資料量,同時仍提供「僅限一次」處理。
  • 如果管道至少處理一次就足夠,則可啟用允許重複設定。

詳情請參閱「從 Apache Kafka 讀取資料到 Dataflow」。

來源平行處理量不足

來源運算的平行處理量不足。如果可以,請提高來源中的平行處理程度。如果無法提高平行處理程度,且工作使用「至少一次」模式,請嘗試在管道中新增 Redistribute 轉換。

熱鍵或鍵平行處理量不足

工作有熱鍵或鍵平行處理量不足。

Dataflow 會依序處理每個資料分割鍵的訊息。Dataflow 處理特定索引鍵的一批訊息時,該索引鍵的其他收到的訊息會排入佇列,直到目前批次處理完畢。

如果 Dataflow 無法平行處理足夠的不重複鍵,就可能造成瓶頸。例如,資料可能只有少數幾個不同的鍵,或某些鍵在資料中過度呈現 (「熱鍵」)。如要解決這個問題,請修改管道邏輯,重新分配資料。例如,在分組索引鍵中加入隨機後置字串,藉此拆解熱鍵,並在後續步驟中匯總結果。詳情請參閱「排解熱鍵問題」。

vCPU 佈建不足

工作的 worker vCPU 數量不足。如果工作已擴充至最大規模、vCPU 使用率偏高,且仍有待處理工作,就會發生這種情況。您可能需要增加為這項工作佈建的工作站數量上限。舉例來說,您可以更新自動調度資源範圍,提高這個數字。或者,您也可以設法變更管道程式碼或工作負載,降低 vCPU 用量。您可以使用 Cloud Profiler 尋找最佳化機會。

vCPU 使用率偏高,正在等待擴充資源

這項工作的 vCPU 使用率偏高,但仍有擴充資源的空間。在擴充之前,這種情況可能只是暫時性的。您可以監控自動調度資源,查看自動調度資源決策。如果這種情況持續很長一段時間或頻繁發生,您可能需要變更自動調度資源設定,方法是設定不同的工作站使用率提示,讓工作更主動地向上調度資源。

vCPU 負載不平衡,導致某些離群 worker 產生瓶頸

工作有足夠的 worker vCPU,但部分 worker 的 vCPU 使用率非常高。這通常是因為工作分配不均。可能的原因包括來源分區負載不均或熱鍵。

如要解決這個問題,請嘗試下列做法:

  • 判斷負載不均的原因,並嘗試修正。例如,確保來源分區平均分配。
  • 如果無法修正負載不均的問題,建議您變更 worker VM 形態,增加每個 worker 的 vCPU 數量,降低尖峰使用率。如要進一步瞭解如何設定每個 worker 的 vCPU,請參閱「設定 Dataflow worker VM」。
與 worker 通訊時發生問題

Dataflow 無法與所有 worker VM 通訊。檢查工作 worker VM 的狀態。可能的原因包括:

  • 佈建 worker VM 時發生問題。
  • 工作執行期間,worker VM 集區遭到刪除。
  • 網路問題。
Pub/Sub 來源發生提取錯誤。

從 Pub/Sub 來源提取時發生錯誤。請確認必要的主題和訂閱項目存在,並驗證配額和設定。您也可以查看記錄,找出錯誤。

Pub/Sub 來源平行處理量不足

Pub/Sub 來源運算的 Pub/Sub 金鑰數量不足。如要增加金鑰數量,請設定 num_pubsub_keys 服務選項。詳情請參閱「Pub/Sub 來源平行處理」。

Pub/Sub 來源因不明原因受到限制

Pub/Sub 來源運算在從 Pub/Sub 讀取資料時受到限制,原因不明。這個問題可能只是暫時性的。 請檢查 Pub/Sub 設定問題、缺少的 IAM 權限或配額限制。不過,如果上述各個部分都不是根本原因,且問題仍未解決,請與支援團隊聯絡。

Pub/Sub 接收器發布作業緩慢或停滯

Pub/Sub 接收器運算作業緩慢或停滯。這可能是設定問題或配額限制所致。

工作佇列時間過長

由於鍵數量龐大,且鍵處理速度較慢,因此最舊的合格工作存在時間較長。在這種情況下,每項作業可能不會異常冗長,但整體排隊延遲時間會很長。

Dataflow 會為每個 sharding 索引鍵使用單一處理執行緒,且處理執行緒數量有限。排隊延遲時間約等於鍵與執行緒的比率,乘以鍵的每個處理套件的執行緒延遲時間:

(key count / total harness threads) * latency per bundle

請嘗試下列修復方法:

  • 增加 worker 數量。請參閱「串流自動調度資源」。
  • 增加 worker 控管執行緒數量。設定 numberOfWorkerHarnessThreads/number_of_worker_harness_threads 管道選項。
  • 減少金鑰數量。
  • 縮短作業延遲時間。
Streaming Engine 後端發生暫時性問題

Streaming Engine 後端發生設定或操作問題。這個問題可能只是暫時性的。如果問題仍未解決,請聯絡支援團隊。

無法判斷原因

無法確定待處理工作的成因。這個問題可能只是暫時性的。如果問題仍未解決,請聯絡支援團隊。

瓶頸指標

下列工作指標提供瓶頸相關資訊:

後續步驟