當某個步驟、階段或 worker 導致整體工作速度變慢時,就會發生瓶頸。瓶頸可能會導致 worker 閒置,並增加延遲時間。
如果 Dataflow 偵測到瓶頸,工作圖表會顯示快訊,「Step Info」(步驟資訊) 面板則會列出瓶頸類型和原因 (如有)。Dataflow 也會將瓶頸偵測資訊匯出至 Monitoring 指標,以時間序列的形式呈現資料。方便您查看過去或一段時間內的瓶頸。
瞭解瓶頸
Dataflow 執行串流管道時,工作會由一系列元件組成,例如串流重組、user-defined function (DoFn) 處理執行緒,以及永久狀態檢查點。為促進資料流動,Dataflow 會使用佇列連結這些元件。資料會從上游推送至下游。
在許多管道中,整體處理量會受限於單一元件,導致管道出現「瓶頸」。資料通過瓶頸的速度,會限制管道接受及處理輸入資料的速度。
舉例來說,假設某個管道在串流重組的下游進行 DoFn 處理。兩者之間的佇列會緩衝處理已重組但未處理的資料。如果 DoFn 處理作業無法以串流重組產生資料的速度消耗資料,佇列就會增加。如果瓶頸持續存在,佇列可能會達到容量上限。此時,系統會暫停進一步重組,並將待處理工作向上游傳播。更上游的佇列也會累積待處理項目,最終導致資料來源速度變慢,也就是整個管道無法跟上輸入速度。
發生瓶頸時,即使管道中只有一個點造成待處理項目,管道的大部分部分仍可能顯示為健康狀態不良。這種行為可能會導致難以偵錯瓶頸。瓶頸偵測的目標是找出精確位置和原因,消除猜測,以便修正根本原因。
如果延遲時間超過五分鐘的門檻,Dataflow 就會偵測到瓶頸。如果延遲時間未超過這個門檻,Dataflow 就不會偵測到瓶頸。
瓶頸偵測不一定需要您採取行動,具體取決於您的用途。管道可以正常運作,暫時延遲時間超過五分鐘。如果您的用途可以接受這種情況,可能就不需要解決指出的瓶頸。
瓶頸類型
Dataflow 偵測到瓶頸時,監控介面會指出問題的嚴重程度。瓶頸可分為下列類別:
- 處理作業停滯且無法繼續進行
- 管道進度會在這個步驟完全停止。
- 處理作業持續進行中,但進度落後。
- 管道無法在資料傳入時立即處理。因此待處理工作越來越多。
- 處理作業持續進行中,但有待處理的工作
- 管道正在處理資料,且處理速率與輸入速率相當。處理速度夠快,待處理工作不會增加,但累積的待處理工作也沒有明顯減少。
- 處理作業持續進行中,且即將進行待處理的工作
- 待處理項目正在減少,但目前的瓶頸導致管道無法更快趕上進度。如果您啟動的管道有待處理工作,這種狀態可能正常,不需要任何介入。監控進度,看看待處理項目是否持續減少。
瓶頸成因
本節列出可偵測到的瓶頸原因。請參考這項資訊來解決問題。在某些情況下,可能有多個原因,且彼此相關。舉例來說,如果 worker 佈建不足,vCPU 使用率可能會偏高。vCPU 使用率偏高可能會導致作業速度變慢,進而增加佇列延遲。可能原因分析可能會將這些全部顯示為瓶頸的原因。
- 作業處理時間過長
這項運算中的部分作業處理時間過長。每當輸入套件傳送至執行
DoFn的 worker,且經過相當長的時間仍未產生結果,就會發生這種情況。這通常是因為使用者程式碼中有一項長時間執行的作業。其他問題可能會導致作業處理時間過長。舉例來說,
DoFn內擲回並重試的錯誤、長時間重試,或因 OOM 等因素導致 worker 控管工具異常終止,都可能導致處理時間過長。如果受影響的運算位於使用者程式碼中,請設法最佳化程式碼或限制執行時間。為協助偵錯,工作站記錄會顯示停滯超過 5 分鐘的任何作業的堆疊追蹤。
- 金鑰修訂版本過大
請參閱「金鑰修訂版本過大例外狀況」。
- BigQuery 接收器權限遭拒
這項錯誤表示執行管道的服務帳戶沒有寫入 BigQuery 資源的必要權限。
如要使用 worker 記錄驗證這個問題,請按照下列步驟操作:
- 在 Google Cloud 控制台,開啟 Dataflow 的「Job details」(工作詳細資料) 頁面。
- 在底部面板中,按一下「記錄」分頁標籤,然後選取「工作站記錄」。
- 尋找指出權限或存取權遭拒的錯誤訊息 (例如
PERMISSION_DENIED、403 Forbidden、Access Denied或actuallyForbidden)。 - 檢查記錄訊息,找出目的地資料集或資料表,以及缺少的特定權限 (例如
bigquery.tables.updateData)。
如何解決這個問題:
- 確認服務帳戶已獲派目的地資料集和資料表的 BigQuery 資料編輯者 (
roles/bigquery.dataEditor) 角色。 - 如要跨專案寫入,請務必直接在託管 BigQuery 資料集的目的地專案中,將權限授予服務帳戶,並確認 VPC Service Controls (如已啟用) 允許兩個專案之間通訊。
如果上述步驟無法解決問題,請參閱「BigQuery 預先定義的角色和權限」,找出並授予特定設定所需的精細權限。
- BigQuery 接收器資源已用盡
這項錯誤表示管道已超出 BigQuery 配額限制。最可能的原因是目的地 BigQuery 專案的配額不足,無法處理寫入的資料量。
如要使用 worker 記錄驗證這個問題,請按照下列步驟操作:
- 在 Google Cloud 控制台,開啟 Dataflow 的「Job details」(工作詳細資料) 頁面。
- 在底部面板中,按一下「記錄」分頁標籤,然後選取「工作站記錄」。
- 尋找指出資源或配額已用盡,或超出頻率限制的錯誤訊息 (例如
RESOURCE_EXHAUSTED、429 Too Many Requests、quotaExceeded或rateLimitExceeded)。 - 檢查記錄訊息,確認超出哪項作業和配額限制 (例如 Storage Write API
AppendRows處理量或連線限制,或串流資料即時插入頻率限制)。
如何解決這個問題:
- 判斷管道使用的 BigQuery 接收器實作項目 (例如 Storage Write API 或串流資料即時插入)。
- 在 Google Cloud 控制台查看 BigQuery 配額用量。請特別留意與接收器類型相關的配額,例如並行連線、處理量或每秒串流插入資料列。
- 如果經常接近或超過這些限制,建議申請提高配額。
如果上述步驟無法找出超出特定限制的原因,請參閱「排解配額和限制錯誤」一文,進一步調查。
- BigQuery 接收器 RPC 失敗
這項錯誤表示從管道傳送至 BigQuery 的 RPC 要求失敗。可能原因包括暫時性網路或服務問題、要求酬載無效、結構定義不符,或逾時和超過期限錯誤。
如要使用 worker 記錄驗證這個問題,請按照下列步驟操作:
- 在 Google Cloud 控制台,開啟 Dataflow 的「Job details」(工作詳細資料) 頁面。
- 在底部面板中,按一下「記錄」分頁標籤,然後選取「工作站記錄」。
- 尋找與 BigQuery 寫入作業相關的錯誤訊息或例外狀況,例如
DEADLINE_EXCEEDED、UNAVAILABLE、INVALID_ARGUMENT或結構定義驗證錯誤。 - 檢查堆疊追蹤和錯誤訊息,判斷 BigQuery API 傳回的特定失敗模式。
如何解決這個問題:
- 在 worker 記錄中找出特定錯誤訊息或狀態碼後,請參閱 BigQuery 錯誤訊息參考資料,瞭解該錯誤的疑難排解指南。
- 如果管道使用 Storage Write API,請參閱 BigQuery Storage Write API 說明文件的「錯誤處理」一節,瞭解如何處理特定寫入和串流錯誤。
- BigQuery 接收器已節流
這個原因表示從管道到 BigQuery 的寫入要求成功,但延遲時間過長或受到節流。如果管道接近 BigQuery 處理量或傳輸中位元組配額,BigQuery 會減緩寫入要求速度來調節流量,或 BigQuery 後端延遲時間增加,就會發生這個問題。
如要驗證這個問題,請按照下列步驟操作:
- 在 Google Cloud 控制台,開啟 Dataflow 的「Job details」(工作詳細資料) 頁面。
- 點選「工作指標」或「步驟資訊」分頁標籤,確認 BigQuery 接收器步驟的處理時間是否增加。
- 在 Google Cloud 控制台,開啟目的地 BigQuery 專案的「Quotas & System Limits」(配額與系統限制) 頁面,檢查用量是否接近 BigQuery 寫入配額。
如何解決這個問題:
- 判斷管道使用的 BigQuery 接收器實作方式,例如 Storage Write API 或串流資料即時插入。
- 在 Google Cloud 控制台查看 BigQuery 配額用量。請特別留意與接收器類型相關的配額,例如 Storage Write API 附加處理量、並行連線數,或每秒串流資料即時插入列數。即使要求未因明確的配額錯誤而失敗,BigQuery 仍可能在用量接近配額上限時限制要求。
- 如果經常接近這些限制,建議申請提高配額。
如果上述步驟無法找出即將達到上限的具體項目,請參閱「排解配額和限制錯誤」一文,進一步調查。
- 所有作業的處理時間偏長
這項運算中的作業一律需要很長時間,表示使用者提供的
DoFn有問題。這個原因與「處理時間過長的操作」不同;該原因會影響部分操作,而這個原因則表示這項運算中的所有操作都會受到影響。
檢查 worker 記錄檔,找出錯誤、例外狀況或堆疊追蹤,判斷執行緒是否緩慢或停滯。如果您使用 Apache Beam SDK for Python,且作業本身設計為長時間執行 (例如緩慢的外部 API 呼叫或高延遲 I/O),請考慮使用 Async DoFn。這項功能可防止處理作業因這些長時間執行的工作而遭到封鎖,進而提高處理量。
- 永久狀態讀取速度緩慢
運算作業在執行
DoFn時,會花費大量時間讀取永久狀態。這可能是因為永久狀態過大,或讀取次數過多。建議您縮減永久狀態的大小或讀取頻率。結合多個狀態讀取作業,或在適當情況下使用對應狀態而非值狀態,藉此最佳化狀態存取模式。如果基礎永久狀態速度緩慢,也可能導致這個問題。- 永久狀態寫入速度緩慢
在提交處理結果期間,運算作業花費大量時間寫入永久狀態。這可能是因為永久狀態過大。建議縮減永久狀態大小。在適當情況下,合併多個狀態寫入作業,最佳化狀態存取模式。這也可能是暫時性問題,因為基礎永久狀態的速度緩慢。
- 已拒絕的修訂版本
- Apache Kafka 來源分區不足
Apache Kafka 來源運算的分區不足。如要解決這個問題,請嘗試下列做法:
- 增加 Kafka 分區數量。
- 設定 Kafka IO 讀取時,請加入使用
.withRedistribute()重新分配,更有效率地平行處理資料。加入.withRedistributeNumKeys(N),其中N > partitions可提供金鑰總數的上限。限制鍵的數量可透過記錄組合提高效率。 - 如要盡可能降低重新分配重組的成本,請使用
.withOffsetDeduplication()。這個模式可盡量減少重組時需要保留的資料量,同時仍提供「僅限一次」處理。
詳情請參閱「從 Apache Kafka 讀取資料到 Dataflow」頁面的「平行處理」一節。
- Apache Kafka 來源有大量永久狀態
Apache Kafka 來源運算作業正在重新分配大量資料,這可能會導致延遲時間和費用增加。如要解決這個問題,請嘗試下列做法:
詳情請參閱「從 Apache Kafka 讀取資料到 Dataflow」。
- 來源平行處理量不足
來源運算的平行處理量不足。如果可以,請提高來源中的平行處理程度。如果無法提高平行處理程度,且工作使用「至少一次」模式,請嘗試在管道中新增
Redistribute轉換。- 熱鍵或鍵平行處理量不足
工作有熱鍵或鍵平行處理量不足。
Dataflow 會依序處理每個資料分割鍵的訊息。Dataflow 處理特定索引鍵的一批訊息時,該索引鍵的其他收到的訊息會排入佇列,直到目前批次處理完畢。
如果 Dataflow 無法平行處理足夠的不重複鍵,就可能造成瓶頸。例如,資料可能只有少數幾個不同的鍵,或某些鍵在資料中過度呈現 (「熱鍵」)。如要解決這個問題,請修改管道邏輯,重新分配資料。例如,在分組索引鍵中加入隨機後置字串,藉此拆解熱鍵,並在後續步驟中匯總結果。詳情請參閱「排解熱鍵問題」。
- vCPU 佈建不足
工作的 worker vCPU 數量不足。如果工作已擴充至最大規模、vCPU 使用率偏高,且仍有待處理工作,就會發生這種情況。您可能需要增加為這項工作佈建的工作站數量上限。舉例來說,您可以更新自動調度資源範圍,提高這個數字。或者,您也可以設法變更管道程式碼或工作負載,降低 vCPU 用量。您可以使用 Cloud Profiler 尋找最佳化機會。
- vCPU 使用率偏高,正在等待擴充資源
這項工作的 vCPU 使用率偏高,但仍有擴充資源的空間。在擴充之前,這種情況可能只是暫時性的。您可以監控自動調度資源,查看自動調度資源決策。如果這種情況持續很長一段時間或頻繁發生,您可能需要變更自動調度資源設定,方法是設定不同的工作站使用率提示,讓工作更主動地向上調度資源。
- vCPU 負載不平衡,導致某些離群 worker 產生瓶頸
工作有足夠的 worker vCPU,但部分 worker 的 vCPU 使用率非常高。這通常是因為工作分配不均。可能的原因包括來源分區負載不均或熱鍵。
如要解決這個問題,請嘗試下列做法:
- 判斷負載不均的原因,並嘗試修正。例如,確保來源分區平均分配。
- 如果無法修正負載不均的問題,建議您變更 worker VM 形態,增加每個 worker 的 vCPU 數量,降低尖峰使用率。如要進一步瞭解如何設定每個 worker 的 vCPU,請參閱「設定 Dataflow worker VM」。
- 與 worker 通訊時發生問題
Dataflow 無法與所有 worker VM 通訊。檢查工作 worker VM 的狀態。可能的原因包括:
- 佈建 worker VM 時發生問題。
- 工作執行期間,worker VM 集區遭到刪除。
- 網路問題。
- Pub/Sub 來源發生提取錯誤。
從 Pub/Sub 來源提取時發生錯誤。請確認必要的主題和訂閱項目存在,並驗證配額和設定。您也可以查看記錄,找出錯誤。
- Pub/Sub 來源平行處理量不足
Pub/Sub 來源運算的 Pub/Sub 金鑰數量不足。如要增加金鑰數量,請設定
num_pubsub_keys服務選項。詳情請參閱「Pub/Sub 來源平行處理」。- Pub/Sub 來源因不明原因受到限制
Pub/Sub 來源運算在從 Pub/Sub 讀取資料時受到限制,原因不明。這個問題可能只是暫時性的。 請檢查 Pub/Sub 設定問題、缺少的 IAM 權限或配額限制。不過,如果上述各個部分都不是根本原因,且問題仍未解決,請與支援團隊聯絡。
- Pub/Sub 接收器發布作業緩慢或停滯
Pub/Sub 接收器運算作業緩慢或停滯。這可能是設定問題或配額限制所致。
- 工作佇列時間過長
由於鍵數量龐大,且鍵處理速度較慢,因此最舊的合格工作存在時間較長。在這種情況下,每項作業可能不會異常冗長,但整體排隊延遲時間會很長。
Dataflow 會為每個 sharding 索引鍵使用單一處理執行緒,且處理執行緒數量有限。排隊延遲時間約等於鍵與執行緒的比率,乘以鍵的每個處理套件的執行緒延遲時間:
(key count / total harness threads) * latency per bundle請嘗試下列修復方法:
- Streaming Engine 後端發生暫時性問題
Streaming Engine 後端發生設定或操作問題。這個問題可能只是暫時性的。如果問題仍未解決,請聯絡支援團隊。
- 無法判斷原因
無法確定待處理工作的成因。這個問題可能只是暫時性的。如果問題仍未解決,請聯絡支援團隊。
瓶頸指標
下列工作指標提供瓶頸相關資訊:
dataflow.googleapis.com/job/is_bottleneck:布林值,指出階段是否為有效瓶頸,並附上標籤,指定瓶頸類型和可能原因。dataflow.googleapis.com/job/backlogged_keys:在瓶頸階段備份的金鑰數量。dataflow.googleapis.com/job/recommended_parallelism:建議的平行處理值,可緩解受影響階段的瓶頸。