在 Cloud Logging 中查看高级流水线日志

本页面介绍了如何为 Cloud Data Fusion Managed Service for Apache Spark 集群启用 Cloud Logging，以及如何访问高级流水线日志。

启用 Managed Service for Apache Spark Cloud Logging

如需在 Cloud Logging 中查看流水线和集群问题，请在新 Cloud Data Fusion 实例或现有 Cloud Data Fusion 实例中启用高级日志。如需在现有实例中启用高级日志，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 实例 页面。

    前往实例

  2. 点击实例名称。

  3. 在 高级 Monitoring 和 Logging 部分，对于 Dataproc Cloud Logging，点击 修改。

  4. 在 Cloud Logging 窗口中，选中启用 Cloud Logging 复选框。

  5. 点击保存 。

查看日志

每个 Cloud Data Fusion 流水线都分配有唯一的 RunID。 部署并运行流水线后，找到其 RunID。然后，在 Logging 中使用 RunID 查看流水线日志。

获取流水线的 RunID

  1. 前往您的实例：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例，请点击实例，然后点击查看实例。

      转到实例

  2. 点击列表 。
  3. 点击要获取 Run ID 的流水线。
  4. 点击摘要 。
  5. 在运行历史记录 部分，点击表格 。
  6. 如需复制 Run ID，请右键点击 RunID ，然后点击复制 。

在 Logs Explorer 中查看日志

  1. 在 Google Cloud 控制台中，前往 Cloud Logging > 日志浏览器 页面：

    前往日志浏览器

  2. 在所有资源 下拉菜单中， 选择 Cloud Dataproc 集群 > cdap-PIPELINE_NAME-YOUR_RUNID。

可选：过滤日志

使用过滤条件菜单过滤日志。您可以按各种日志严重级别或组件（例如 datafusion-pipeline-logs）进行过滤。

可选：下载日志

点击下载日志 。

如需了解详情，请参阅 下载日志条目。

后续步骤