在 Cloud Logging 中查看進階管道記錄

本頁說明如何為 Cloud Data Fusion Managed Service for Apache Spark 叢集啟用 Cloud Logging，以及如何存取進階管道記錄。

啟用 Managed Service for Apache Spark Cloud Logging

如要在 Cloud Logging 中查看管道和叢集問題，請在新或現有的 Cloud Data Fusion 執行個體中啟用進階記錄。如要在現有執行個體中啟用進階記錄，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的 Cloud Data Fusion「Instances」(執行個體) 頁面。

    前往「Instances」(執行個體)

  2. 按一下執行個體名稱。

  3. 在「進階監控與記錄功能」部分，點選「Dataproc Cloud Logging」的「編輯」圖示 。

  4. 在「Cloud Logging」視窗中，勾選「Enable Cloud Logging」核取方塊。

  5. 按一下 [儲存]。

查看記錄

每個 Cloud Data Fusion 管道執行作業都會獲派專屬 RunID。部署及執行管道後，請找出管道的 RunID。接著，在「Logging」中，使用 RunID 查看管道記錄。

取得管道的 RunID

  1. 前往執行個體：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體，請依序按一下「Instances」和「View instance」。

      前往「Instances」(執行個體)

  2. 按一下「清單」。
  3. 按一下要取得執行 ID 的管道。
  4. 按一下「摘要」。
  5. 在「執行記錄」部分，按一下「表格」。
  6. 如要複製執行 ID，請在「RunID」上按一下滑鼠右鍵，然後點選「Copy」。

在 Logs Explorer 中查看記錄

  1. 前往 Google Cloud 控制台的「Cloud Logging」>「Logs Explorer」頁面：

    前往 Logs Explorer

  2. 在「所有資源」下拉式選單中，依序選取「Cloud Dataproc Cluster」>「cdap-PIPELINE_NAME-YOUR_RUNID」。

選用：篩選記錄

使用篩選器選單篩選記錄。您可以依據各種記錄嚴重性等級或元件 (例如 datafusion-pipeline-logs) 進行篩選。

選用：下載記錄

按一下「下載記錄」。

詳情請參閱下載記錄項目一節。

後續步驟