在 Cloud Logging 中查看進階管道記錄

為 Cloud Data Fusion Managed Service for Apache Spark 叢集啟用 Cloud Logging 後，除了標準管道指標外，您還能存取精細的執行記錄。您可以使用這些進階記錄檔，排解執行失敗的問題、檢查驅動程式和執行程式行為，以及偵錯複雜的資料轉換作業。

啟用 Managed Service for Apache Spark Cloud Logging

如要在 Cloud Logging 查看管道和叢集問題，請在新建立或現有的 Cloud Data Fusion 執行個體中啟用進階記錄。如要在現有執行個體中啟用進階記錄，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的 Cloud Data Fusion「Instances」(執行個體) 頁面。

    前往「Instances」(執行個體) 頁面

  2. 按一下執行個體名稱。

  3. 在「Advanced monitoring and logging」(進階監控與記錄功能) 專區，按一下「Dataproc Cloud Logging」旁的 「Edit」(編輯)。

  4. 在「Cloud Logging」視窗中，勾選「Enable Cloud Logging」(啟用 Cloud Logging) 核取方塊。

  5. 按一下 [儲存]。

查看記錄

每個 Cloud Data Fusion 管道執行作業都會指派不重複的 RunID。部署並執行管道後，請找出其 RunID。接著，在 Logging 中使用 RunID 查看管道記錄。

取得管道的 RunID

  1. 前往執行個體：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體，請依序按一下「Instances」和「View instance」。

      前往「Instances」(執行個體)

  2. 按一下「List」(清單)。
  3. 按一下要取得執行作業 ID 的管道。
  4. 按一下「摘要」。
  5. 在「Run history」(執行記錄) 區段中，按一下「Table」(資料表)。
  6. 如要複製執行 ID，請在「RunID」上按一下滑鼠右鍵，然後點選「複製」。

在 Logs Explorer 中查看記錄

  1. 前往 Google Cloud 控制台的 「Cloud Logging」 >「Logs Explorer」頁面：

    前往 Logs Explorer

  2. 在「All resources」(所有資源) 下拉式選單中，依序選取「Cloud Dataproc Cluster」(Cloud Dataproc 叢集) >「cdap-PIPELINE_NAME-YOUR_RUNID」。

選用：篩選記錄

使用篩選器選單篩選記錄。您可以依各種記錄嚴重性等級或 datafusion-pipeline-logs 等元件進行篩選。

選用：下載記錄

按一下「下載記錄」。

詳情請參閱「下載記錄項目」。

後續步驟