在 Cloud Logging 中查看高级流水线日志

为 Cloud Data Fusion Managed Service for Apache Spark 集群启用 Cloud Logging 后，您除了可以访问标准流水线指标外，还可以访问精细的执行记录。您可以使用这些高级日志来排查运行失败问题、检查驱动程序和执行器行为，以及调试复杂的数据转换。

启用 Managed Service for Apache Spark Cloud Logging

如需在 Cloud Logging 中查看流水线和集群问题，请在新 Cloud Data Fusion 实例或现有 Cloud Data Fusion 实例中启用高级日志。如需在现有实例中启用高级日志，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 实例页面。

    转到实例

  2. 点击实例名称。

  3. 在高级监控和日志记录部分中，点击 Dataproc Cloud Logging 对应的 修改。

  4. 在 Cloud Logging 窗口中，选中启用 Cloud Logging 复选框。

  5. 点击保存。

查看日志

每个 Cloud Data Fusion 流水线运行都会分配一个唯一的 RunID。部署并运行流水线后，找到其 RunID。然后，在 Logging 中使用 RunID 查看流水线日志。

获取流水线的 RunID

  1. 前往您的实例：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例，请点击实例，然后点击查看实例。

      转到实例

  2. 点击列表。
  3. 点击要获取其运行 ID 的流水线。
  4. 点击摘要。
  5. 在运行记录部分中，点击表格。
  6. 如需复制运行 ID，请右键点击 RunID，然后点击复制。

在 Logs Explorer 中查看日志

  1. 在 Google Cloud 控制台中，前往 Cloud Logging > Logs Explorer 页面：

    前往 Logs Explorer

  2. 在所有资源下拉菜单中，选择 Cloud Dataproc 集群 > cdap-PIPELINE_NAME-YOUR_RUNID。

可选：过滤日志

使用过滤条件菜单过滤日志。您可以按各种日志严重级别或按组件（例如 datafusion-pipeline-logs）进行过滤。

可选：下载日志

点击下载日志。

如需了解详情，请参阅下载日志条目。

后续步骤