Dataflow 會收集工作指標,協助您偵錯、排解效能問題或最佳化管道。Dataflow 監控介面會顯示這些指標的圖表。您也可以使用 Cloud Monitoring 建立警告,或建構 Metrics Explorer 查詢。
存取工作指標
如要查看工作的指標,請按照下列步驟操作:
在 Google Cloud 控制台,依序前往「Dataflow」>「Jobs」(工作) 頁面。
選取工作。
按一下「Job metrics」(工作指標) 分頁標籤。
選取要查看的指標。
如要存取工作指標圖表中的其他資訊,請按一下 「Explore data」(探索資料)。
每項指標都會整理到下列資訊主頁:
如需 Dataflow 指標的完整清單,請參閱 Google Cloud 指標。
支援與限制
使用 Dataflow 指標時,請注意下列事項。
有時工作資料會間歇性無法使用。如果缺少資料,工作監控圖表會出現空白。
部分圖表僅適用於串流管道。
如要寫入指標資料,使用者自行管理的服務帳戶必須具備 IAM API 權限
monitoring.timeSeries.create。Dataflow 工作者角色包含這項權限。Dataflow 服務會在工作完成後,回報預留的 CPU 作業時間。如果是無限制 (串流) 工作,則只有在工作取消或失敗後,系統才會回報預留的 CPU 作業時間。因此,工作指標不包含串流工作的預留 CPU 作業時間。
自動調度資源指標
水平自動調度資源可讓 Dataflow 選擇適當數量的 worker 執行個體來執行工作,並視需要新增或移除 worker。
「工作指標」分頁的「自動調度資源」部分會顯示 worker 數量和目標 worker 數量隨時間變化的情形。如果工作使用 Streaming Engine,也會顯示 worker 數量下限和上限。
如要查看自動調度資源變更記錄,請按一下「More history」(更多記錄)。系統會顯示表格,其中包含工作 worker 記錄的相關資訊。
如要查看串流工作的其他自動調度資源資訊,請按一下「Autoscaling」(自動調度資源) 分頁標籤。詳情請參閱「監控 Dataflow 自動調度資源」。
總覽指標
「總覽指標」下方會顯示下列指標。
資料更新間隔
這項指標僅適用於串流工作。
資料更新間隔是指資料元素處理時間 (處理時間) 與資料元素時間戳記 (事件時間) 之間的差距。值越高,代表事件時間與處理時間之間的延遲時間越長。
資料更新間隔圖表會顯示任何時間點的最大資料更新間隔值。Dataflow 會平行處理多個元素,因此圖表會反映相對於事件時間延遲最長的元素。
如果部分輸入資料尚未處理,輸出浮水印可能會延遲,進而影響資料更新間隔。如果浮水印時間與事件時間有顯著差異,可能表示作業緩慢或停滯。詳情請參閱 Apache Beam 說明文件中的「浮水印和延遲資料」。
資訊主頁包含下列兩張圖表:
- 各個階段的資料更新間隔
- 資料更新間隔
在下圖中,醒目顯示的區域顯示事件時間與輸出浮水印時間之間有很大的差異,表示作業速度緩慢。
下列問題可能會導致這項指標的值偏高:
- 效能瓶頸:如果管道的階段系統延遲時間過長,或記錄顯示轉換作業停滯,管道可能有效能問題,導致資料更新間隔增加。如要進一步調查,請參閱「疑難排解串流工作緩慢或停滯的問題」。
- 資料來源瓶頸:如果資料來源的待處理項目越來越多,元素在等待處理時,事件時間戳記可能會與浮水印不一致。待處理項目過多通常是由效能瓶頸或資料來源問題造成,建議您監控管道使用的來源,以便偵測這類問題。
- Pub/Sub 等無序來源即使以高頻率輸出,仍可能產生卡住的水位標記。之所以會發生這種情況,是因為元素並非按照時間戳記順序輸出,而浮水印是以未處理的最小時間戳記為依據。
- 頻繁重試:如果看到任何錯誤,指出元素無法處理並重試,則重試元素的舊時間戳記可能會提高資料更新間隔。常見 Dataflow 錯誤清單可協助您排解問題。
如果您為工作啟用積極推進浮水印,Dataflow 也會在 Metrics Explorer 中回報下列各階段指標:
job/per_stage_data_watermark_age_with_late_data:如果停用積極浮水印推進功能,階段的資料浮水印年齡會是多少。job/per_stage_oldest_pending_element_age:階段或上游最舊待處理元素的存在時間,包括延遲記錄。
詳情請參閱「監控積極浮水印進度」。
如果是最近更新的串流工作,可能無法取得工作狀態和浮水印的相關資訊。更新作業會進行多項變更,需要幾分鐘的時間才會反映在 Dataflow 監控介面中。更新工作後,請等待五分鐘,再重新整理監控介面。
系統延遲時間
這項指標僅適用於串流工作。
系統延遲時間是指資料項目處理或等待處理的目前最長秒數。這項指標包含元素在來源中等待的時間。舉例來說,如果輸出目的地在一段時間內停止接受寫入要求,資料可能會在來源累積,導致系統延遲時間增加。如果寫入作業恢復,且管道能夠趕上進度,系統延遲時間就會回到基準水準。
以下狀況是其他需要考量的地方:
- 如果有多個來源和接收器,系統延遲時間是指元素在來源中等待寫入所有接收器的最長時間。
- 有時,來源不會提供元素在來源中等待的時間範圍值。此外,元素可能沒有中繼資料來定義事件時間。在這種情況下,系統延遲時間是從管道首次收到元素的時間開始計算。
資訊主頁包含下列兩張圖表:
- 各個階段的系統延遲時間
- 系統延遲時間
處理量
處理量是指在任何時間點處理的資料量。資訊主頁包含下列圖表:
- 每個步驟的處理量 (以每秒元素數為單位)
- 每個步驟的處理量 (以每秒位元組數為單位)
工作站的「錯誤」記錄項目數量
「Worker error log count」(工作站錯誤記錄數量) 會顯示任何時間點所有工作站的錯誤率。
串流指標
「串流指標」下方會顯示下列指標。
待處理工作量
這項指標僅適用於串流工作。
「待處理項目」資訊主頁會提供待處理元素的相關資訊。資訊主頁包含下列兩張圖表:
- 待處理工作秒數 (僅限 Streaming Engine)
- 待處理位元組數 (使用和不使用 Streaming Engine)
「Backlog seconds」(待處理工作秒數) 圖表顯示在沒有新資料傳入且處理量不變的情況下,完成目前待處理工作所需的預估時間 (以秒為單位)。預估待處理時間是根據輸入來源的待處理位元組和處理量計算得出。串流自動調度資源功能會使用這項指標,判斷何時應擴充或縮減資源。
「待處理作業位元組」圖表會顯示階段中已知的未處理輸入位元組數量。這項指標會比較各階段與上游階段剩餘要耗用的位元組。如要準確回報這項指標,必須正確設定管道擷取的每個來源。Pub/Sub 和 BigQuery 等內建來源已預先支援,但自訂來源需要額外實作。詳情請參閱「自訂無限制來源的自動調度資源」。
處理中
這項指標僅適用於串流工作。
在 Dataflow 服務上執行 Apache Beam 管道時,管道工作會在 worker VM 上執行。「Processing」(處理中) 資訊主頁會提供工作在 worker VM 上處理的時間長度資訊。資訊主頁包含下列兩張圖表:
- 使用者處理延遲時間熱視圖
- 各個階段的使用者處理延遲時間
「User processing latencies heatmap」(使用者處理延遲時間熱視圖) 顯示第 50、第 95 和第 99 個百分位數分布的最大作業延遲時間。使用熱視圖,查看是否有任何長尾作業導致整體系統延遲時間過長,或對整體資料更新間隔造成負面影響。
如要在上游問題影響下游之前修正問題,請針對第 50 個百分位數的高延遲設定警告政策。
「User processing latencies by stage」(各個階段的使用者處理延遲時間) 圖表顯示 worker 處理的所有工作第 99 個百分位數 (以階段劃分)。如果使用者程式碼造成瓶頸,這張圖表會顯示瓶頸所在的階段。您可以按照下列步驟對管道進行偵錯:
使用圖表找出延遲時間異常偏高的階段。
在工作詳細資料頁面的「Execution details」(執行詳細資料) 分頁中,針對「Graph view」(圖表檢視) 選取「Stage workflow」(階段工作流程)。在「Stage workflow」(階段工作流程) 圖表中,找出延遲時間異常偏高的階段。
如要查看相關聯的使用者作業,請在圖表中按一下該階段的節點。
如要查看其他詳細資料,請前往 Cloud Profiler,並使用 Cloud Profiler 對正確日期範圍內的堆疊追蹤進行偵錯。找出您在上一個步驟中識別的使用者作業。
各執行中工作項目狀態的時間
這項指標僅適用於串流工作。
「Time per active work item state」(每個執行中工作項目狀態的時間) 指標 (worker/time_per_active_work_item_state) 會提供工作項目生命週期重要階段的延遲時間資訊。與高階匯總指標不同,這項評估可將階段層級的延遲時間細分為不同階段,精確歸因延遲時間。舉例來說,您可以根據資料擷取 (READ)、使用者程式碼執行 (ACTIVE) 和狀態持續性 (COMMIT) 等階段,檢查延遲時間。
Runner 版本支援
雖然 Streaming Java Runner 完整支援這項指標,但 Portable Runner 僅部分支援。
下表匯總了延遲狀態和執行器支援情況。
| 延遲狀態 | 支援串流 Java Runner | Portable Runner 支援 |
|---|---|---|
GET_WORK |
支援 | 不支援 |
QUEUED |
支援 | 支援 |
ACTIVE |
支援 | 支援 |
READ |
支援 | 支援 |
COMMIT |
支援 | 支援 |
延遲狀態定義和疑難排解
以下各節將定義各個延遲狀態,並提供疑難排解資訊。
GET_WORK
- 這是指使用者 worker 要求工作項目,以及 Dataflow 後端指派及傳送工作項目所需的時間。
- 在一般 ETL 階段,如果時間穩定維持在 0 到 1 秒,代表連線狀態良好。實際值會因工作負載複雜度和資料量而異。
QUEUED
- 這是指工作項目在 worker 本機緩衝區中等待執行緒可供處理的時間。
- 如果
QUEUED延遲時間超過 1 秒,表示工作抵達的速度快於執行緒處理的速度。對於一般 ETL 階段,延遲時間低於 1 秒即視為正常。實際值會因工作負載複雜度和資料量而異。
ACTIVE
- 這是執行
DoFn程式碼所花費的時間。 ACTIVE延遲時間是指處理一組元素 (而非單一元素) 所花費的時間。- 如果這個延遲時間值突然增加,可能表示外部 RPC 呼叫或運算成本高昂的極端情況造成節流。使用
DoFn指標找出造成延遲的特定DoFns。
READ
- 這是擷取資料所花費的時間,包括
GroupByKey作業期間的明確狀態讀取和隱含讀取。 READ時間過長通常是因為單一鍵讀取量過大。調查狀態存取模式,或使用狀態和計時器,避免封鎖執行緒。
COMMIT
- 這是指將結果 (狀態更新和輸出元素) 傳送至 Dataflow 後端,並收到確認訊息所需的時間。
COMMIT時間過長通常是因為寫入大型酬載或更新大型狀態物件。使用瓶頸狀態檢查熱鍵。
平行處理工作數量
這項指標僅適用於 Streaming Engine 工作。
「Parallel processing」(平行處理) 圖表會顯示各階段用於資料處理的大約金鑰數量。Dataflow 會根據管道的平行處理程度調度資源。
Dataflow 執行管道時,處理作業會分散到多個 Compute Engine 虛擬機器 (VM),也稱為 worker。Dataflow 服務會自動平行處理管道中的處理邏輯,並將其分配給 worker。任何指定金鑰的處理作業都會序列化,因此階段的金鑰總數代表該階段可用的平行處理量上限。
平行處理指標可用於找出熱鍵,或管道緩慢/停滯的瓶頸。
保留設定
這項指標僅適用於串流工作。
「Persistence」(持續性) 資訊主頁會提供特定管道階段寫入及讀取永久儲存空間的速率,以每秒位元組數為單位。讀取和寫入的位元組包括使用者狀態作業,以及永久重組、移除重複項目、側邊輸入和浮水印追蹤的狀態。管道編碼器和快取會影響讀取和寫入的位元組。由於內部儲存空間用量和快取,儲存空間位元組數可能與處理的位元組數不同。
資訊主頁包含下列兩張圖表:
- 儲存空間寫入
- 儲存空間讀取
重複項目
這項指標僅適用於串流工作。
「Duplicates」(重複) 圖表會顯示特定階段處理的訊息中,有多少訊息因重複而遭篩除。Dataflow 支援多種來源和接收器,可保證at least once傳送。at least once 傳送方式的缺點是可能會導致重複。Dataflow 採用exactly once傳送機制,因此會自動篩除重複項目。下游階段不必重新處理相同元素,因此狀態和輸出內容不會受到影響。減少每個階段產生的重複資料,即可最佳化管道的資源和效能。
計時器
這項指標僅適用於串流工作。
「計時器」資訊主頁會提供特定管道階段中,待處理和已處理的計時器數量資訊。由於視窗仰賴計時器,因此這項指標可讓您追蹤視窗的進度。
資訊主頁包含下列兩張圖表:
- 依階段顯示的待處理計時器
- 依階段顯示的計時器處理
這些圖表顯示在特定時間點,視窗待處理或處理中的速率。「Timers pending by stage」(依階段顯示的待處理計時器) 圖表會顯示有多少時間區間因瓶頸而延遲。「Timers processing by stage」(依階段顯示的已處理計時器) 圖表會指出有多少視窗正在收集元素。
這些圖表會顯示所有工作計時器,因此如果程式碼的其他部分使用計時器,這些計時器也會顯示在圖表中。
資源指標
「Resource metrics」(資源指標) 下方會顯示下列指標。
CPU 使用率
CPU 使用率是指使用的 CPU 數量除以可用於處理的 CPU 數量。這項指標會以百分比顯示,代表個別 worker 的使用率。資訊主頁包含下列四個圖表:
- CPU 使用率 (所有 worker)
- CPU 使用率 (統計資料)
- CPU 使用率 (最高的 4 項)
- CPU 使用率 (最低的 4 項)
記憶體使用率
記憶體使用率是指 worker 預估使用的記憶體量,以每秒位元組數為單位。資訊主頁包含下列兩張圖表:
- 工作站記憶體最高使用率 (每秒位元組數預估值)
- 記憶體使用率 (預估每秒位元組數)
「Max worker memory utilization」(工作站記憶體使用率上限) 圖表會提供 Dataflow 工作中,各時間點使用最多記憶體的工作站相關資訊。如果在工作期間的不同時間點,使用最多記憶體的工作站有所變更,圖表中的同一條線會顯示多個工作站的資料。折線圖中的每個資料點,都會顯示當時使用最多記憶體的工作站資料。圖表會比較 worker 的預估記憶體用量與記憶體限制 (以位元組為單位)。
您可以運用這張圖表來排解記憶體不足 (OOM) 問題。這個圖表不會顯示 worker 記憶體不足當機情形。
「記憶體使用率」圖表會顯示 Dataflow 工作中所有 worker 的預估記憶體用量,以及記憶體限制 (以位元組為單位)。
輸入和輸出指標
如果串流 Dataflow 工作使用 Pub/Sub 讀取或寫入記錄,「Job metrics」(工作指標) 分頁會顯示 Pub/Sub 讀取或寫入的指標。
所有相同類型的輸入指標都會合併,所有輸出指標也會合併。例如,所有 Pub/Sub 指標都會歸入同一個部分。每種指標類型都會歸入獨立區段。如要變更顯示的指標,請在左側選取最符合所需指標的部分。下圖顯示所有可用的區段。
「輸入指標」和「輸出指標」部分會顯示下列兩個圖表。
每秒要求數
每秒要求數是指來源或接收器在一段時間內,讀取或寫入資料的 API 要求速率。如果這個速率降至零,或相較於預期行為,在長時間內大幅降低,則管道可能無法執行特定作業。此外,可能沒有可讀取的資料。在這種情況下,請檢查系統浮水印較高的工作步驟。此外,請檢查 worker 記錄檔,看看是否有錯誤或處理速度緩慢的跡象。
各錯誤類型的每秒回應錯誤
「各錯誤類型的每秒回應錯誤」是指來源或接收端讀取或寫入資料時,API 要求失敗的比率。如果這類錯誤頻繁發生,這些 API 要求可能會降低處理速度。這類失敗的 API 要求必須經過調查。如要排解這些問題,請參閱一般輸入和輸出錯誤代碼。此外,也請查看來源或接收端使用的任何特定錯誤代碼說明文件,例如 Pub/Sub 錯誤代碼。
如要進一步瞭解可使用這些指標進行偵錯的情境,請參閱「疑難排解緩慢或停滯的工作」中的「偵錯工具」。
使用 Cloud Monitoring
Dataflow 與 Cloud Monitoring 完全整合。Cloud Monitoring 可用於下列工作:
- 在工作超過使用者定義的門檻時建立快訊。
- 使用 Metrics Explorer 建立查詢,並調整指標的時間範圍。
- 查看 Dataflow 監控介面未顯示的指標。
如需建立快訊和使用 Metrics Explorer 的操作說明,請參閱「使用 Cloud Monitoring 監控 Dataflow 管道」。
如需 Dataflow 指標的完整清單,請參閱 Google Cloud 指標說明文件。
建立 Cloud Monitoring 警告
Cloud Monitoring 可讓您在 Dataflow 工作超過使用者定義的門檻時建立警告。如要透過指標圖表建立 Cloud Monitoring 警告,請按一下「Create alerting policy」(建立警告政策)。
如果無法查看監控圖表或建立快訊,可能需要額外的監控權限。
前往 Metrics Explorer 查看
您可以在 Metrics Explorer 中查看 Dataflow 指標圖表,並在該處建立查詢及調整指標的時間範圍。
如要在 Metrics Explorer 中查看 Dataflow 圖表,請在「Job metrics」(工作指標) 檢視畫面中,開啟 「More chart options」(更多圖表選項),然後點選「View in Metrics Explorer」(前往 Metrics Explorer 查看)。
調整指標的時間範圍時,您可以選取預先定義的時間長度,或選取自訂時間間隔來分析工作。
根據預設,如果是串流工作和執行中的批次工作,畫面會顯示該工作過去六小時的指標。對於已停止或完成的串流工作,預設顯示畫面會顯示工作時間長度的整個執行階段。
Dataflow I/O 指標
您可以在 Metrics Explorer 中查看下列 Dataflow I/O 指標:
job/pubsub/write_count:Dataflow 工作中 PubsubIO.Write 的 Pub/Sub 發布要求。job/pubsub/read_count:Dataflow 工作中 PubsubIO.Read 的 Pub/Sub 提取要求。job/bigquery/write_count:Dataflow 工作中 BigQueryIO.Write 的 BigQuery 發布要求。在 Apache Beam 2.28.0 以上版本中,使用 WriteToBigQuery 轉換並啟用method='STREAMING_INSERTS'的 Python 管道,可提供job/bigquery/write_count指標。這項指標適用於批次和串流管道。- 如果管道使用 BigQuery 來源或接收器,請使用 BigQuery Storage API 指標排解配額問題。
DoFn 指標
如果串流工作使用 Streaming Engine,且不使用可攜式執行工具,您可以查看下列個別使用者定義 DoFns 的指標:
job/dofn_latency_average:過去 3 分鐘內,單一DoFn的平均訊息處理時間,以毫秒為單位。job/dofn_latency_max:過去 3 分鐘內,單一DoFn的訊息處理時間上限,以毫秒為單位。job/dofn_latency_min:過去 3 分鐘內,單一DoFn的最短訊息處理時間,以毫秒為單位。job/dofn_latency_num_messages:過去 3 分鐘內,單一DoFn處理的訊息數量。job/dofn_latency_total:過去 3 分鐘內,單一DoFn訊息處理器中所有訊息的總處理時間,以毫秒為單位。job/oldest_active_message_age:DoFn內最舊的有效訊息處理時間,以毫秒為單位。
這些指標需要 Apache Beam SDK 2.53.0 以上版本。如要查看這些指標,請使用 Metrics Explorer。
您可以根據這些指標,找出哪些 DoFns 對工作處理延遲時間的影響最大。舉例來說,如果工作停滯,請使用 job/oldest_active_message_age 指標找出含有最舊有效訊息的 DoFn。下圖顯示 DoFn 的這項指標大幅上升:
如要查看DoFn的名稱,請將滑鼠游標懸停在圖表線上。