查看 Cloud Data Fusion 記錄

Cloud Data Fusion 管道記錄和服務記錄可讓您監控執行健康狀態，並排解管道執行失敗或服務問題。自 Cloud Data Fusion 6.11 版起，您可以在 Cloud Logging 中查看這些記錄。

關於記錄類型

Cloud Data Fusion 會產生多種記錄，協助您監控資料整合程序及排解相關問題：

管道記錄
這些記錄提供個別管道執行的詳細資訊，包括預覽執行。涵蓋管道執行的所有階段，例如執行前設定、工作執行和執行後活動。

服務記錄
這些記錄提供 Cloud Data Fusion 系統服務的詳細資訊，例如 AppFabric 和 AppFabric 處理器。

稽核記錄
Cloud Data Fusion 會產生稽核記錄，例如管理員活動稽核記錄。詳情請參閱「Cloud Data Fusion 稽核記錄」。

進階管道記錄
這些記錄會提供個別管道執行的詳細資訊。 這些記錄檔會擷取 Managed Service for Apache Spark 叢集佈建完成前的資訊，有助於找出叢集問題或延遲，因此特別適合用於排解管道失敗問題。詳情請參閱「在 Cloud Logging 中查看進階管道記錄」。

定價

使用 Cloud Logging 和 Cloud Monitoring 會產生費用。詳情請參閱「Google Cloud Observability 定價」。

選用：匯入 Cloud Data Fusion Logging 資訊主頁

如要使用 Cloud Data Fusion Logging 資訊主頁查看管道記錄和服務記錄，請匯入資訊主頁：

  1. 前往 Google Cloud 控制台的 Cloud Monitoring「Dashboards」(資訊主頁) 頁面。

    前往「Dashboards」(資訊主頁)

  2. 按一下「查看資訊主頁範本」。

  3. 搜尋「Cloud Data Fusion Logging」，然後選取該資訊主頁。

  4. 按一下「」 將 Cloud Data Fusion Logging 資訊主頁新增至清單。

查看管道記錄

您可以使用 Cloud Data Fusion Logging 資訊主頁，或直接在 Logs Explorer 中查看管道記錄。

使用資訊主頁查看管道記錄

  1. 如果尚未匯入 Cloud Data Fusion Logging 資訊主頁，請先完成這項操作。

  2. 在「我的資訊主頁」部分，點選「Cloud Data Fusion Logging」。

  3. 在「Pipeline logs」(管道記錄) 區段中，查看管道記錄清單。您可以依嚴重性、欄位名稱和值篩選記錄。

    如要使用查詢縮小搜尋範圍，請使用 Logs Explorer。

在 Logs Explorer 中查看管道記錄

  1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

    前往「Logs Explorer」頁面

  2. 輸入下列查詢：

    resource.type="datafusion.googleapis.com/PipelineV2"

    系統會顯示管道記錄清單。您可以使用篩選器縮小結果範圍。

篩選管道記錄

您可以依執行 ID、執行個體 ID、管道 ID、位置、命名空間或自訂標籤篩選管道記錄。

每個 Cloud Data Fusion 管道執行作業都會指派不重複的 RunID。部署並執行管道後，您可以找到管道的 RunID，並查看對應的管道記錄。

如要依 RunID 篩選管道記錄，請按照下列步驟操作：

  1. 取得管道的 RunID。

  2. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

  3. 輸入下列查詢：

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

查看服務記錄

您可以使用 Cloud Data Fusion Logging 資訊主頁或 Logs Explorer，查看服務記錄。

使用資訊主頁查看服務記錄

  1. 如果尚未匯入 Cloud Data Fusion Logging 資訊主頁，請先完成這項操作。

  2. 在「我的資訊主頁」部分，點選「Cloud Data Fusion Logging」。

  3. 在「Service logs」(服務記錄) 區段中，查看服務記錄清單。您可以依嚴重性、欄位名稱和值篩選記錄。

    如要使用查詢縮小搜尋範圍，請使用 Logs Explorer。

在 Logs Explorer 查看服務記錄

從 Cloud Data Fusion 6.11.1.1 版開始，系統服務記錄預設會使用 InstanceV3 受監控資源 (datafusion.googleapis.com/InstanceV3)。這些記錄檔使用 services-v3 記錄檔名稱後置字串，且不含舊版中的 org_id 或 namespace 標籤。雖然新版和升級版執行個體預設會停用 InstanceV2 記錄檔，但如果您的作業仰賴舊版標籤，可以使用 Cloud Data Fusion REST API 重新啟用 InstanceV2 記錄功能。

如要在記錄檔探索工具中查看服務記錄，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

    前往「Logs Explorer」頁面

  2. 輸入該服務的特定查詢，找出服務記錄。

    服務名稱 InstanceV2 的記錄查詢 InstanceV3 的記錄查詢
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="appfabric"
    AppFabric 處理器 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="appfabric.processor"
    資料集執行工具 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="dataset.executor"
    記錄節省模式 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="log.saver"
    中繼資料服務 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="metadata.service"
    指標 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".userserviceid"="studio"
    執行階段 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="runtime"
    Wrangler 服務 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

啟用 InstanceV2 記錄

根據預設，執行 6.11.1.1 以上版本的 Cloud Data Fusion 執行個體會停用 InstanceV2 記錄。如果作業需要先前的記錄格式 (例如，您依賴 org_id 或 namespace 標籤)，可以使用 Cloud Data Fusion REST API 重新啟用 InstanceV2 記錄。

如要啟用 InstanceV2 記錄，請使用 instances.patch 方法，並將 enable_instance_v2_logs 設為 true。這項設定會同時發出 InstanceV2 和 InstanceV3 記錄。

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

更改下列內容：

  • PROJECT_ID： Google Cloud 專案 ID
  • LOCATION：執行個體的位置
  • INSTANCE_ID：Cloud Data Fusion 執行個體的 ID

在 Cloud Data Fusion 設定記錄

Cloud Data Fusion 6.11.0 提供可設定的記錄功能，預設啟用 Cloud Logging。雖然可以停用 Cloud Logging，但強烈建議您保持啟用狀態，確保能存取重要的管道和執行個體記錄。

如要停用 Cloud Logging，請執行下列指令：

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

更改下列內容：

  • PROJECT_ID： Google Cloud 專案 ID
  • LOCATION：執行個體的位置
  • INSTANCE_ID：Cloud Data Fusion 執行個體的 ID

後續步驟