查看 Cloud Data Fusion 記錄

本文說明如何存取及查看 Cloud Data Fusion 的管道記錄和服務記錄。

從 Cloud Data Fusion 6.11 版開始，管道記錄和服務記錄會顯示在 Cloud Logging 中。

關於記錄類型

Cloud Data Fusion 會產生多種記錄，協助您監控及排解資料整合程序問題：

管道記錄
這些記錄提供個別管道執行的詳細資訊，包括預覽執行。涵蓋管道執行的所有階段，例如執行前設定、工作執行和執行後活動。

服務記錄
這些記錄提供 Cloud Data Fusion 系統服務的詳細資訊，例如 AppFabric 和 AppFabric 處理器。

稽核記錄
Cloud Data Fusion 會產生稽核記錄，例如管理員活動稽核記錄。詳情請參閱 Cloud Data Fusion 稽核記錄。

進階管道記錄
這些記錄提供個別管道執行的詳細資訊。 這些記錄特別有助於排解管道故障問題，因為即使 Managed Service for Apache Spark 叢集尚未完成佈建，記錄也會擷取資訊，協助找出叢集問題或延遲。詳情請參閱「在 Cloud Logging 中查看進階管道記錄」。

定價

使用 Cloud Logging 和 Cloud Monitoring 會產生費用。詳情請參閱「Google Cloud Observability 定價」。

選用：匯入 Cloud Data Fusion Logging 資訊主頁

如要使用 Cloud Data Fusion Logging 資訊主頁查看管道記錄和服務記錄，請匯入資訊主頁：

  1. 前往 Google Cloud 控制台的 Cloud Monitoring「資訊主頁」頁面。

    前往「Dashboards」(資訊主頁)

  2. 按一下「查看資訊主頁範本」。

  3. 搜尋「Cloud Data Fusion Logging」，然後選取資訊主頁。

  4. 按一下「Add Cloud Data Fusion Logging dashboard to your list」(將 Cloud Data Fusion Logging 資訊主頁新增至清單) 。

查看管道記錄

您可以使用 Cloud Data Fusion Logging 資訊主頁查看管道記錄，也可以直接在 Logs Explorer 中查看。

使用資訊主頁查看管道記錄

  1. 如果尚未匯入 Cloud Data Fusion Logging 資訊主頁，請先匯入。

  2. 在「我的資訊主頁」部分，按一下「Cloud Data Fusion Logging」。

  3. 在「Pipeline logs」(管道記錄) 區段中，查看管道記錄清單。您可以依嚴重性、欄位名稱和值篩選記錄。

    如要使用查詢修正搜尋結果，請使用 Logs Explorer。

在 Logs Explorer 中查看管道記錄

  1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

    前往「Logs Explorer」頁面

  2. 輸入下列查詢：

    resource.type="datafusion.googleapis.com/PipelineV2"

    系統會顯示管道記錄清單。你可以使用篩選器縮小結果範圍。

篩選管道記錄

您可以依執行 ID、例項 ID、管道 ID、位置、命名空間或自訂標籤，篩選管道記錄。

每個 Cloud Data Fusion 管道執行作業都會獲派專屬 RunID。部署及執行管道後，您就能找到管道的 RunID，並查看對應的管道記錄。

如要依 RunID 篩選管道記錄，請按照下列步驟操作：

  1. 取得管道的 RunID。

  2. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

  3. 輸入下列查詢：

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

查看服務記錄

您可以使用 Cloud Data Fusion Logging 資訊主頁，或在 Logs Explorer 中查看服務記錄。

使用資訊主頁查看服務記錄

  1. 如果尚未匯入 Cloud Data Fusion Logging 資訊主頁，請先匯入。

  2. 在「我的資訊主頁」部分，按一下「Cloud Data Fusion Logging」。

  3. 在「服務記錄」部分，查看服務記錄清單。您可以依嚴重性、欄位名稱和值篩選記錄。

    如要使用查詢修正搜尋結果，請使用 Logs Explorer。

在 Logs Explorer 中查看服務記錄

從 Cloud Data Fusion 6.11.1.1 版開始，系統服務記錄預設會使用 InstanceV3 受監控的資源 (datafusion.googleapis.com/InstanceV3)。這些記錄使用 services-v3 記錄名稱後置字串，且不包含舊版中的 org_id 或 namespace 標籤。根據預設，新執行個體和升級的執行個體會停用 InstanceV2 記錄檔傳送功能，但如果作業依賴舊版標籤，您可以使用 Cloud Data Fusion REST API 重新啟用 InstanceV2 記錄功能。

如要在記錄檔探索工具中查看服務記錄，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

    前往「Logs Explorer」頁面

  2. 輸入該服務的特定查詢，即可找到服務記錄。

    服務名稱 InstanceV2 的記錄查詢 InstanceV3 的記錄查詢
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="appfabric"
    AppFabric 處理器 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="appfabric.processor"
    資料集執行器 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="dataset.executor"
    記錄檔儲存 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="log.saver"
    中繼資料服務 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="metadata.service"
    指標 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".userserviceid"="studio"
    執行階段 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="runtime"
    Wrangler 服務 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

啟用 InstanceV2 記錄

根據預設，執行 6.11.1.1 以上版本的 Cloud Data Fusion 執行個體會停用 InstanceV2 記錄。如果您的作業需要使用先前的記錄格式 (例如依賴 org_id 或 namespace 標籤)，可以使用 Cloud Data Fusion REST API 重新啟用 InstanceV2 記錄。

如要啟用 InstanceV2 記錄，請使用 instances.patch 方法，並將 enable_instance_v2_logs 設為 true。這項設定會發出 InstanceV2 和 InstanceV3 記錄。

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

更改下列內容：

  • PROJECT_ID： Google Cloud 專案 ID
  • LOCATION：執行個體的位置
  • INSTANCE_ID：Cloud Data Fusion 執行個體的 ID

Cloud Data Fusion 中可設定的記錄

Cloud Data Fusion 6.11.0 提供可設定的記錄功能，且預設會啟用 Cloud Logging。雖然可以停用 Cloud Logging，但強烈建議您保持啟用，確保能存取重要的管道和執行個體記錄。

如要停用 Cloud Logging，請執行下列指令：

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

更改下列內容：

  • PROJECT_ID： Google Cloud 專案 ID
  • LOCATION：執行個體的位置
  • INSTANCE_ID：Cloud Data Fusion 執行個體的 ID

後續步驟