在 Cloud Logging 中查看高级流水线日志

本页介绍了如何为 Cloud Data Fusion Dataproc 集群启用 Cloud Logging 以及如何访问高级流水线日志。

启用 Dataproc Cloud Logging

如需在 Cloud Logging 中查看流水线和集群问题，请在新建或现有 Cloud Data Fusion 实例中启用高级日志。如需在现有实例中启用高级日志，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 实例页面。

    前往“实例”页面

  2. 点击实例名称。

  3. 在高级监控和日志记录部分，针对 Dataproc Cloud Logging，点击 Edit（修改）。

  4. 在 Cloud Logging 窗口中，选中 Enable Cloud Logging 复选框。

  5. 点击保存。

查看日志

每个 Cloud Data Fusion 流水线都分配有唯一的 RunID。部署并运行流水线后，找到其 RunID。然后，在 Logging 中使用 RunID 查看流水线日志。

获取流水线的 RunID

  1. 前往您的实例：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例，请点击实例，然后点击查看实例。

      转到实例

  2. 点击列表。
  3. 点击要获取其运行 ID 的流水线。
  4. 点击摘要。
  5. 在运行历史记录部分，点击表格。
  6. 如需复制运行 ID，请右键点击 RunID，然后点击复制。

在 Logs Explorer 中查看日志

  1. 在 Google Cloud 控制台中，依次前往 Cloud Logging > 日志浏览器页面：

    前往日志浏览器

  2. 在所有资源下拉菜单中，依次选择 Cloud Dataproc 集群 > cdap-PIPELINE_NAME-YOUR_RUNID。

可选：过滤日志

使用过滤条件菜单过滤日志。您可以按各种日志严重级别或组件（例如 datafusion-pipeline-logs）进行过滤。

可选：下载日志

点击下载日志。

如需了解详情，请参阅下载日志条目。

后续步骤