本頁面提供疑難排解提示和偵錯策略,協助您使用 Dataflow Flex 範本。根據預設,Flex 範本啟動程序的逾時時間為 12 分鐘。這項啟動程序包括提取範本容器映像檔,以及執行程式碼來建構工作圖。如果啟動作業未在 12 分鐘內完成,工作就會失敗,並顯示「Timeout in polling result file」(輪詢結果檔案逾時) 錯誤。這項資訊可協助您偵測輪詢逾時、判斷逾時原因,並修正問題。
在 Google Cloud 控制台載入範本清單時發生錯誤
在 Google Cloud 控制台,當您嘗試在 Dataflow 的「Create job from template」(依據範本建立工作) 頁面中查看範本清單時,會看到類似下列的錯誤:
Error retrieving templates. Custom templates can still be used.
如果貴組織使用主體存取權邊界 (PAB) 政策,主體 (例如使用者或服務帳戶) 可能無法查看及執行 Google 提供的範本。如要解決這個問題,請嘗試透過主體存取邊界政策存取 Google 提供的範本中的指引。
輪詢逾時錯誤
工作可能會傳回下列其中一則錯誤訊息:
Timeout in polling result file: FILE_PATH. Possible causes are:
1. Your launch takes too long time to finish. Please check the logs on stackdriver.
2. Service account SERVICE_ACCOUNT may not have enough permissions to pull
container image IMAGE_PATH or create new objects in FILE_PATH.
3. Transient errors occurred, please try again.
Timeout in polling result file: FILE_PATH.
Service account: SERVICE_ACCOUNT
Image URL: IMAGE_PATH
Troubleshooting guide at https://cloud.google.com/dataflow/docs/guides/common-errors#timeout-polling
發生這項錯誤的原因如下:
- 基礎 Docker 映像檔已遭覆寫。
- 填入 SERVICE_ACCOUNT 的服務帳戶缺少部分必要權限。
- 外部 IP 位址已停用,且 VM 無法連線至 Google API 和服務使用的外部 IP 位址。
- 啟動器 VM 無法解析或存取 gcr.io。
- 大型 Flex 範本容器映像檔。
- 建立圖表的程式需要太久才能完成。
- 在啟動器 VM 中執行的程式碼需要太長時間才能完成。
- 網路或 Cloud Storage 發生間歇性錯誤。
- 管道選項會遭到覆寫。
- Python 使用者:安裝或暫存依附元件的時間過長。
- 發生暫時性錯誤。
如要解決這個問題,請先查看工作記錄,確認是否有暫時性錯誤,然後重試。
請按照「早期啟動問題」一節的指引啟用序列埠記錄功能,這可能會顯示其他資訊。
如果上述步驟無法解決問題,請嘗試下列疑難排解步驟。
選用:執行範本,進一步診斷問題
如要進一步找出上述哪些原因可能導致這項錯誤,請採用下列策略:
執行 Google 提供的 WordCount 範本。請務必提供用途專屬的參數,例如 Shared VPC 專案的子網路、worker VM 的私人 IP,以及要使用的 Dataflow worker 服務帳戶。如要進一步瞭解如何提供這些參數,請參閱 gcloud 參考資料和 API 參考資料。
如果能順利完成這項工作,代表網路、IAM 權限和Private Google Access可能已正確設定。
完成「使用工作建構工具執行管道」快速入門導覽課程,以 Flex 範本的形式執行工作。如果工作在啟動 worker VM 前失敗,請存取啟動器 VM,並嘗試使用類似下列的指令下載範例 Docker 映像檔:
docker run --entrypoint /bin/bash -it gcr.io/dataflow-templates/2025-03-11-00_rc02/yaml-template如果這個指令失敗,可能是下載映像檔時發生網路問題。在這種情況下,請與內部網路團隊合作。
執行 Google 提供的 Flex 範本並查看結果。如果 Google 提供的範本工作順利完成,表示問題可能與您的特定自訂範本程式碼檔案有關。在這種情況下,您需要繼續排解特定程式碼的問題,才能解決問題。
驗證 Docker 進入點
如果您是從自訂 Docker 映像檔執行範本,而非使用提供的範本,請嘗試這個步驟。
使用下列指令檢查容器進入點:
docker inspect $TEMPLATE_IMAGE
預期輸出內容如下:
Java
/opt/google/dataflow/java_template_launcher
Python
/opt/google/dataflow/python_template_launcher
如果輸出內容不同,代表 Docker 容器的進入點遭到覆寫。將「$TEMPLATE_IMAGE」還原為預設值。
檢查服務帳戶權限
確認訊息中提及的服務帳戶具備下列權限:
- 該帳戶必須能讀取及寫入訊息中填入
${file_path}的 Cloud Storage 路徑。 - 該帳戶必須能讀取訊息中填入
${image_url}的 Docker 映像檔。
設定私人 Google 存取權
如果停用外部 IP 位址,您必須允許 Compute Engine VM 連線至 Google API 和服務使用的外部 IP 位址集。在 VM 網路介面使用的子網路上,啟用 Private Google Access。
如需設定詳細資料,請參閱「設定 Private Google Access」。
根據預設,如果 Compute Engine VM 的網路介面未指派外部 IP 位址,則只能將封包傳送至其他內部 IP 位址目的地。
GCR.io 存取問題
Flex 範本啟動器 VM 必須能存取 gcr.io,才能提取 Logging 代理程式容器 (gcr.io/dataflow-templates-base/template-launcher-logger-distroless)。這個代理程式負責將啟動器記錄串流至 Cloud Logging。如果啟動器 VM 無法解析或連線至 gcr.io,啟動程序可能會停止回應,導致輪詢逾時。
即使自訂範本映像檔儲存在 Artifact Registry,也可能發生這個問題,因為 Logging 代理程式一律會從 gcr.io 提取。
如何診斷及解決這個問題:
啟用序列埠記錄:按照「早期啟動問題」一節中的步驟操作。如果發現
cloud-init程序卡住,或出現與gcr-wait-online.service相關的錯誤,可能是 DNS 或網路問題。透過 SSH 連線至啟動器 VM:在啟動器 VM 仍在執行時,使用
gcloud compute ssh指令連線至該 VM:gcloud compute ssh launcher-JOB_ID --tunnel-through-iap將
JOB_ID替換為 Dataflow 工作的 ID。驗證 DNS 解析:在啟動器 VM 中執行下列指令:
curl -I https://gcr.io如果指令失敗並顯示
"Could not resolve host"錯誤,表示 DNS 設定缺少gcr.io項目。檢查是否有卡住的啟動服務:查看
cloud-init輸出記錄:sudo cat /var/log/cloud-init-output.log尋找指出程序正在等待網路或
gcr.io變成可存取的訊息。
此外,請確認虛擬私有雲的 DNS 設定允許解析 gcr.io。在某些私人網路設定中,您可能需要為 gcr.io 新增特定 DNS A 記錄,指向受限制的 Google API 或私人 Google API IP 範圍。
大型容器映像檔
如果 Flex 範本容器映像檔很大,提取及啟動範本的時間可能會超過預設的 12 分鐘逾時時間,導致工作失敗。
如要緩解問題,請嘗試下列策略:
- 最佳化映像檔,縮減大小,加快提取程序。
- 使用
--launcher-machine-type旗標選取 CPU 核心數較多的機器類型,有助於加快提取映像檔和啟動速度。 - 如要延長啟動逾時時間,超過預設的 12 分鐘 (720 秒) 限制,請使用 gcloud CLI 中的
--launcher-vm-timeout-secs旗標,或 REST API 和 Managed Service for Apache Airflow 中的ft_launch_timeout_secs啟動選項。如需範例,請參閱「延長 Flex 範本啟動逾時時間」。
檢查啟動器程式是否無法結束
建構管道的程式必須先完成,才能啟動管道。輪詢錯誤可能表示這項作業耗時過長。
您可以採取下列幾項行動,在程式碼中找出原因:
- 確認沒有任何執行緒會阻止程式退出。部分用戶端可能會建立自己的執行緒,如果這些用戶端未關閉,程式會一直等待這些執行緒加入。
- 在定義管道的程式碼中,請勿使用
waitUntilFinish(適用於 Java) 或wait_until_finish(適用於 Python)。這些函式會阻止程式退出,導致 Flex 範本無法啟動管道。
直接啟動且不使用範本的管道則不受這些限制。因此,如果管道直接運作,但無法做為範本運作,則使用範本可能是根本原因。找出並修正範本中的問題,或許就能解決問題。
啟動器 VM 中長時間執行的程式碼
如果主程式中的程式碼執行時間過長,Flex 範本可能會在管道啟動前逾時。如果程式碼在初始化期間執行複雜的運算,或對外部資源進行同步呼叫,就可能發生這種情況。
如要診斷這個問題,請查看工作記錄,找出需要長時間才能完成的作業。例如要求外部資源、查詢大量資料,或可移至管道執行階段的繁重初始化邏輯。如果最佳化初始化作業後,管道啟動時間仍超過 12 分鐘,請參閱「延長 Flex 範本啟動逾時時間」。
間歇性網路或 Cloud Storage 錯誤
如果網路延遲時間過長,或 Cloud Storage API 發生暫時性問題,可能會間歇性出現「Timeout in polling result file」或「Failed to read the result file」錯誤。虛擬私有雲 (尤其是 Private Google Access 路徑) 經常發生網路爭用,通常會導致 400 至 500 毫秒的延遲。
「輪詢結果檔案時逾時」通常是緩慢失敗,而「無法讀取結果檔案」則是快速失敗,但兩者通常都代表相同的基礎連線問題。
如要診斷這些間歇性失敗,請按照下列步驟操作:
- 檢查網路延遲時間:監控虛擬私有雲中的網路延遲時間。如果延遲時間持續過長,啟動器 VM 嘗試從 Cloud Storage 寫入或讀取工作結果檔案時,可能會發生逾時。
監控 Cloud Storage API 指標:
在 Google Cloud 控制台中,前往「APIs & Services」(API 與服務) 資訊主頁。
篩選並選取「Cloud Storage API」。
查看「Traffic」(流量) (傳送和接收的位元組) 和「Error rate」(錯誤率) 圖表。
查看 5xx 錯誤 (例如 503 錯誤) 是否在工作失敗時激增。
如果發現錯誤或延遲時間大幅增加,請調查虛擬私有雲的網路效能,或聯絡 Cloud 客戶服務,尋求潛在服務中斷問題的協助。
確認是否已隱藏必要的管道選項
使用 Flex 範本時,您可以在管道初始化期間設定部分管道選項,但無法設定所有選項。詳情請參閱本文的「無法讀取工作檔案」一節。
Python 使用者:管理依附元件
如果您執行的 Python Flex 範本工作在 requirements.txt 檔案中提供額外的依附元件,工作可能無法啟動。如果下載或安裝需求檔案中指定的依附元件,所需時間超過啟動 Flex 範本的分配時間,就會發生這項失敗。
為盡可能提高工作效能,請在建構範本時預先封裝依附元件,避免在範本啟動期間下載或安裝依附元件。詳情請參閱「設定 Flex 範本」中的「Python 的套件依附元件」一節。如果暫存依附元件或建構執行圖仍超過預設的 12 分鐘啟動逾時時間,請參閱「延長 Flex 範本啟動逾時時間」。
延長 Flex 範本啟動逾時時間
根據預設,Dataflow 會在 Flex 範本啟動階段強制執行 720 秒 (12 分鐘) 的逾時限制。如果提取大型容器映像檔、暫存依附元件或建構複雜的執行圖表所需時間超過 720 秒,您可以為啟動方法設定啟動逾時選項,增加逾時時間。
gcloud CLI
如要在透過 gcloud CLI 執行 Flex 範本時延長啟動器 VM 逾時時間,請將 --launcher-vm-timeout-secs 旗標傳遞至 gcloud dataflow flex-template run 指令:
gcloud dataflow flex-template run JOB_NAME \
--template-file-gcs-location=TEMPLATE_GCS_PATH \
--region=REGION \
--launcher-vm-timeout-secs=TIMEOUT_SECONDS
替換下列值:
JOB_NAME:Dataflow 工作的名稱。TEMPLATE_GCS_PATH:Flex 範本規格檔案的 Cloud Storage URI,例如gs://my-bucket/templates/my-template.json。REGION:執行工作的 Dataflow 區域。TIMEOUT_SECONDS:啟動器 VM 逾時時間長度 (以秒為單位)。請指定正整數,不含單位後置字串。預設逾時時間為720,也就是 12 分鐘。如要延長逾時時間,請指定大於720且不超過5400(90 分鐘) 的整數,例如1200(20 分鐘) 或1800(30 分鐘)。
REST API
呼叫 projects.locations.flexTemplates.launch REST 端點啟動 Flex 範本時,請將 launchParameter.launchOptions 對應中的 ft_launch_timeout_secs 鍵設為包含逾時時間長度的字串 (以秒為單位,不含單位後置字元):
{
"launchParameter": {
"jobName": "JOB_NAME",
"containerSpecGcsPath": "TEMPLATE_GCS_PATH",
"launchOptions": {
"ft_launch_timeout_secs": "TIMEOUT_SECONDS"
}
}
}
替換下列值:
JOB_NAME:Dataflow 工作的名稱。TEMPLATE_GCS_PATH:Flex 範本規格檔案的 Cloud Storage URI,例如gs://my-bucket/templates/my-template.json。TIMEOUT_SECONDS:啟動器 VM 逾時時間長度 (以秒為單位)。請以字串形式指定正整數,不含單位後置字串。預設逾時時間為"720",也就是 12 分鐘。如要延長逾時時間,請指定大於720且不超過5400(90 分鐘) 的整數,例如"1200"代表 20 分鐘,"1800"代表 30 分鐘。
Managed Airflow
在 Managed Airflow 或 Apache Airflow 中使用 DataflowStartFlexTemplateOperator 運算子自動調度管理 Flex 範本工作時,請在 body 字典的 launchParameter.launchOptions 下方加入 ft_launch_timeout_secs 鍵:
from airflow.providers.google.cloud.operators.dataflow import (
DataflowStartFlexTemplateOperator,
)
start_flex_template = DataflowStartFlexTemplateOperator(
task_id="start_flex_template",
project_id="PROJECT_ID",
location="REGION",
body={
"launchParameter": {
"jobName": "JOB_NAME",
"containerSpecGcsPath": "TEMPLATE_GCS_PATH",
"launchOptions": {
"ft_launch_timeout_secs": "TIMEOUT_SECONDS",
},
}
},
)
替換下列值:
PROJECT_ID: Google Cloud 專案的 ID。REGION:執行工作的 Dataflow 區域。JOB_NAME:Dataflow 工作的名稱。TEMPLATE_GCS_PATH:Flex 範本規格檔案的 Cloud Storage URI,例如gs://my-bucket/templates/my-template.json。TIMEOUT_SECONDS:啟動器 VM 逾時時間長度 (以秒為單位)。請以字串形式指定正整數,不含單位後置字串。預設逾時時間為"720",也就是 12 分鐘。如要延長逾時時間,請指定大於720且不超過5400(90 分鐘) 的整數,例如"1200"代表 20 分鐘,"1800"代表 30 分鐘。
工作啟動失敗
以下章節列出導致工作啟動失敗的常見錯誤,以及解決或疑難排解錯誤的步驟。
載入範本檔案時權限遭拒
嘗試使用 gcloud CLI 執行 Google 提供的範本時,會看到類似下列的錯誤:
ERROR: (gcloud.dataflow.flex-template.run) PERMISSION_DENIED: Template file
failed to load: TEMPLATE_PATH. Permissions denied.
USER does not have storage.objects.get access to the Google
Cloud Storage object. Operations on resource are denied due to an IAM
Principal Access Boundary Policy.
TEMPLATE_PATH 是 Cloud Storage bucket 中範本的路徑,其中包含 Google 提供的範本,例如 gs://dataflow-templates 或 gs://dataflow-templates-REGION_NAME。
如果貴組織使用主體存取權邊界 (PAB) 政策,主體 (例如使用者或服務帳戶) 可能無法查看及執行 Google 提供的範本。如要解決這個問題,請嘗試透過主體存取邊界政策存取 Google 提供的範本中的指引。
早期啟動問題
如果範本啟動程序在早期階段失敗,可能無法使用一般 Flex 範本記錄。如要調查啟動問題,請為範本啟動器 VM 啟用序列埠記錄功能。
如要啟用 Java 範本的記錄功能,請將 enableLauncherVmSerialPortLogging 選項設為 true。如要啟用 Python 和 Go 範本的記錄功能,請將 enable_launcher_vm_serial_port_logging 選項設為 true。在 Google Cloud 控制台中,這個參數會列在「Optional parameters」(選用參數) 中,名稱為「Enable Launcher VM Serial Port Logging」(啟用啟動器 VM 序列埠記錄功能)。
您可以在 Cloud Logging 中查看範本啟動器 VM 的序列埠輸出記錄。如要尋找特定啟動器 VM 的記錄,請使用查詢 resource.type="gce_instance" "launcher-number",其中 number 的開頭為目前日期,格式為 YYYMMDD。
貴組織的政策可能禁止啟用序列埠輸出內容記錄功能。
無法讀取工作檔案
嘗試透過 Flex 範本執行工作時,工作可能會失敗,並顯示下列錯誤:
Failed to read the job file : gs://dataflow-staging-REGION-PROJECT_ID/staging/template_launches/TIMESTAMP/job_object...
如果覆寫必要的管道初始化選項,就會發生這項錯誤。使用 Flex 範本時,您可以在管道初始化期間設定部分管道選項,但無法設定所有選項。如果覆寫 Flex 範本所需的指令列引數,工作可能會忽略、覆寫或捨棄範本啟動器傳遞的管道選項。工作可能無法啟動,或啟動未使用 Flex 範本的工作。
為避免這個問題,在管道初始化期間,請勿在使用者程式碼或 metadata.json 檔案中變更下列管道選項:
Java
runnerprojectjobNametemplateLocationregion
Python
runnerprojectjob_nametemplate_locationregion
Go
runnerprojectjob_nametemplate_locationregion
無法讀取結果檔案
嘗試透過 Flex 範本執行工作時,工作可能會失敗,並顯示下列錯誤:
Failed to read the result file : gs://BUCKET_NAME...
如果 Compute Engine 預設服務帳戶缺少執行 Flex 範本所需的所有權限,就會發生這個錯誤。
如需必要權限清單,請參閱「執行 Flex 範本的權限」。
下列問題也可能引發這項錯誤:
- 嘗試以非超級使用者身分執行 Flex 範本,但通常不支援這種做法。詳情請參閱「不支援以非超級使用者身分執行」一節,或與帳戶團隊聯絡。
- 網路延遲或 Cloud Storage API 問題時有發生。詳情請參閱「間歇性網路或 Cloud Storage 錯誤」。
資源權限遭拒
嘗試透過 Flex 範本執行工作時,工作可能會失敗,並顯示下列錯誤:
Permission "MISSING_PERMISSION" denied on resource "projects/PROJECT_ID/locations/REGION/repositories/REPOSITORY_NAME" (or it may not exist).
如果使用的服務帳戶沒有權限,無法存取執行 Flex 範本所需的資源,就會發生這項錯誤。
為避免這個問題,請確認服務帳戶具備必要權限。視需要調整服務帳戶權限。
已提供但未定義旗標
嘗試使用 worker_machine_type 管道選項執行 Go Flex 範本時,管道會失敗並顯示下列錯誤:
flag provided but not defined: -machine_type
這項錯誤是由 Apache Beam Go SDK 2.47.0 以下版本的已知問題所造成。如要解決這個問題,請升級至 Apache Beam Go 2.48.0 以上版本。
無法擷取遠端工作伺服器 jar
如果您在未連上網際網路的情況下,嘗試透過 Flex 範本執行工作,工作可能會失敗,並顯示下列錯誤:
Unable to fetch remote job server jar at
https://repo.maven.apache.org/maven2/org/apache/beam/beam-sdks-java-io-expansion-service/VERSION/beam-sdks-java-io-expansion-service-VERSION.jar:
\u003curlopen error [Errno 101] Network is unreachable\u003e
發生這項錯誤的原因是 VM 無法從網際網路下載 Apache Beam Java 套件。使用 Flex 範本執行多語言工作時,必須使用這個套件。
如要解決這個問題,請進行下列其中一項變更:
連線至網際網路。連上網際網路後,工作就能存取所需檔案。
在本機目錄中加入 Apache Beam Java 套件,讓工作可以在本機存取。將檔案放在下列目錄中:
/root/.apache_beam/cache/jars/。例如:/root/.apache_beam/cache/jars/beam-sdks-java-io-expansion-service-SDK_VERSION.jar。
無法從指定路徑取得檔案系統
嘗試透過 Flex 範本執行工作時,工作可能會失敗,並顯示下列錯誤:
ValueError: Unable to get filesystem from specified path, please use
the correct path or ensure the required dependency is installed, e.g., pip
install apache-beam[gcp]. Path specified: PATH
如果工作使用 Flex 範本容器映像檔,且容器映像檔未包含 Java 安裝,就會發生這項錯誤。
如要解決這個問題,請在 Dockerfile 中加入下列程式碼:
sh
RUN apt-get update && apt-get install -y openjdk-17-jdk
這個指令會在容器環境中安裝 Java。
啟動器 VM 資源耗盡
嘗試透過 Flex 範本執行工作時,工作可能會失敗,並顯示下列錯誤:
Failed to start the VM, launcher-ID, used for launching because of status code: INTERNAL, reason: Unknown error in operation 'OPERATION_ID': [ZONE_RESOURCE_POOL_EXHAUSTED_WITH_DETAILS] 'The zone 'projects/PROJECT_ID/zones/ZONE_ID' does not have enough resources available to fulfill the request.
VM 名稱 launcher-ID 代表啟動器 VM 名稱。啟動器 VM 負責收集工作資源 (例如範本程式碼和映像檔),然後建構工作圖表並提交至 Dataflow 服務,以便開始工作。
如未指定 launcherMachineType 參數,Dataflow 會為啟動器 VM 選擇預設機型,通常是 e2-standard-2。這項選擇與 worker machineType 無關。如果工作的區域或可用區不提供這個預設機器類型,可能會發生資源耗盡錯誤。如要使用特定機型,請設定 launcherMachineType。
如要解決這個問題,請採用下列任一策略:
- 將啟動器機器類型更新為其他機器類型,然後重試工作。
- REST API:在
flexTemplates.launch方法中設定launchParameter.environment.launcherMachineType。 - gcloud CLI:在
gcloud dataflow flex-template run指令中設定--launcher-machine-type旗標。
- REST API:在
- 如果您設定了
zone參數,請將其移除,讓 Dataflow 能將啟動器 VM 放在有容量的可用區。 - 從其他區域啟動 Flex 範本。
Flex 範本啟動器延遲時間
提交 Flex 範本工作時,工作要求會進入 Spanner 佇列。範本啟動器會從 Spanner 佇列中挑選工作,然後執行範本。如果 Spanner 有待處理訊息,從提交工作到工作啟動之間可能會有明顯延遲。
如要解決這個問題,請從其他區域啟動 Flex 範本。
範本參數無效
嘗試使用 gcloud CLI 執行採用 Google 提供的範本的工作時,會發生下列錯誤:
ERROR: (gcloud.beta.dataflow.flex-template.run) INVALID_ARGUMENT: The template
parameters are invalid. Details: defaultSdkHarnessLogLevel: Unrecognized
parameter defaultWorkerLogLevel: Unrecognized parameter
發生這項錯誤的原因是,部分 Google 提供的範本不支援 defaultSdkHarnessLog 和 defaultWorkerLog 選項。
如要解決這個問題,請根據範本類型採用適當的方法。
Flex 範本
如果是 Flex 範本,請使用 --additional-pipeline-options 旗標,以字串形式傳遞管道選項。例如,使用 gcloud dataflow
flex-template run 指令:
gcloud dataflow flex-template run JOB_NAME \
--template-file-gcs-location=GCS_TEMPLATE_PATH \
--additional-pipeline-options=defaultSdkHarnessLogLevel=WARN,defaultWorkerLogLevel=WARN
替換下列值:
JOB_NAME:Dataflow 工作的名稱GCS_TEMPLATE_PATH:範本檔案的 Cloud Storage 路徑
傳統範本
如果是傳統範本,解決方法是將範本規格檔案複製到 Cloud Storage bucket,並在檔案中新增下列額外參數。
"metadata": {
...
"parameters": [
...,
{
"name": "defaultSdkHarnessLogLevel",
"isOptional": true,
"paramType": "TEXT"
},
{
"name": "defaultWorkerLogLevel",
"isOptional": true,
"paramType": "TEXT"
}
]
}
對範本檔案進行這項變更後,請在執行範本時使用下列旗標。
--gcs-location=gs://BUCKET_NAME/FILENAME
替換下列值:
BUCKET_NAME:Cloud Storage bucket 的名稱FILENAME:範本規格檔案的名稱
Flex 範本啟動器記錄顯示錯誤的嚴重性
如果自訂 Flex 範本啟動失敗,記錄檔中會顯示以下訊息,嚴重性為 ERROR:
ERROR: Error occurred in the launcher container: Template launch failed. See console logs.
啟動失敗的根本原因通常會出現在這則訊息之前的記錄中,嚴重程度為 INFO。雖然這個記錄層級可能不正確,但這是預期行為,因為 Flex 範本啟動器無法從 Apache Beam 應用程式產生的記錄訊息中擷取嚴重性詳細資料。
如要查看啟動器記錄中每則訊息的正確嚴重性,請將範本設為以 JSON 格式 (而非純文字) 產生記錄。這項設定可讓範本啟動器擷取正確的記錄訊息嚴重性。請使用下列訊息結構:
{
"message": "The original log message",
"severity": "DEBUG/INFO/WARN/ERROR"
}
在 Java 中,您可以使用 Logback 記錄器搭配自訂 JSON appender 實作。詳情請參閱 GitHub 中的 Logback 範例設定和 JSON 附加器範例程式碼。
這個問題只會影響管道啟動時,Flex 範本啟動器產生的記錄。啟動成功且管道執行時,Dataflow worker 產生的記錄會具有適當的嚴重性。
Google 提供的範本在工作啟動期間會顯示正確的嚴重性,因為 Google 提供的範本使用這種 JSON 記錄方法。