查看 DAG、DAG 运行作业和相关任务

Managed Airflow(第 3 代) | Managed Airflow(第 2 代) | Managed Airflow(旧版第 1 代)

本页面介绍了如何获取有关您环境中的 DAG 的信息。

查看有关 DAG 的信息的方式

Managed Airflow 提供了多种方式来获取有关您环境中的 DAG 的详细信息:

  • DAG 界面是 Google Cloud Managed Airflow 的 控制台界面的一部分,专门用于查看和监控 DAG、DAG 运行作业 和各项任务。
  • Airflow 界面 是 Airflow 的内置网页界面。
  • Airflow CLI 是 Airflow 的命令行界面。您可以通过使用 gcloud 运行 Airflow CLI 命令来获取有关 DAG 的信息。

关于 Managed Airflow DAG 界面

DAG 界面是 Google Cloud Managed Airflow 的 控制台界面的一部分,专门用于查看和监控 DAG、DAG 运行作业 和各项任务。

在 DAG 界面中,您可以:

  • 查看您环境中的 DAG 列表,包括时间安排间隔、DAG 状态和说明。

  • 暂停、取消暂停和触发 DAG。

  • 查看 DAG 运行作业详情,包括成功、活跃和失败的运行作业,以及自上次完成运行作业以来的时间。对于每个 DAG,您都可以查看与此特定 DAG 关联的 DAG 运行作业和任务实例的历史记录,包括已执行任务的日志。

  • 过滤 DAG 运行作业详情。例如,您可以选择时间间隔并创建查询,以选择所需的信息。

  • 查看有关各个 DAG 和任务的详细信息。这包括可视化 DAG 图表、有关 DAG 中任务的信息、DAG 源代码以及有关 DAG 的额外信息。

准备工作

  • 确保您的账号具有可以访问 DAG 界面和查看 DAG 详情的角色。如需了解详情,请参阅访问权限控制。

  • DAG 界面需要启用 DAG 序列化。

  • Managed Airflow 1.17.8 及更高版本支持 DAG 界面。

查看您环境的 DAG 列表

控制台

您环境的 DAG 标签页会显示 DAG 列表以及每个 DAG 的 DAG 运行作业详情。

如需查看 DAG 列表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    前往“环境”

  2. 在 DAG 列表 列中,点击与您的环境对应的 DAG 链接。

您可以使用过滤条件仅查看特定 DAG 或特定条件的详情。例如:

  1. 选择过滤条件 字段。
  2. 从下拉列表中,选择 DAG ID 属性。
  3. 指定 DAG 的标识符。结果仅显示所选 DAG 的详情。
  4. (可选)如需添加更多 DAG,请添加 OR 运算符,后跟 DAG ID。
  5. (可选)如需按其他条件进行过滤,请在过滤条件 字段中添加其他属性。例如,您可以通过指定 Failed runs:>0 来过滤运行作业失败的 DAG。

Airflow 界面

如需在 Airflow 界面中查看 DAG 列表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    前往“环境”

  2. 在 Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. 在 Airflow 界面的 DAG 页面上,系统会显示您环境的 DAG 列表。

gcloud

在 Airflow 1.10.* 中,运行 list_dags Airflow CLI 命令:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

在 Airflow 2 中,运行 dags list Airflow CLI 命令:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

替换:

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。

查看 DAG 运行作业和任务的历史记录

控制台

DAG 详情 页面上的运行作业 标签页会显示单个 DAG 的 DAG 运行作业历史记录。

如需查看 DAG 运行作业的历史记录,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    前往“环境”

  2. 在 DAG 列表 列中,点击与您的环境对应的 DAG 链接。

  3. 选择一个 DAG。

  4. 在 DAG 详情 页面上,前往运行作业 标签页。

  5. 从列表中选择一个 DAG 运行作业,以查看 DAG 运行作业详情,例如此 DAG 运行作业的任务实例状态、尝试次数和执行时长。您可以选择各项任务以查看任务实例日志。

Airflow 界面

如需在 Airflow 界面中查看 DAG 列表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    前往“环境”

  2. 在 Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. 在 Airflow 界面的菜单中, 依次选择 浏览 > DAG 运行作业。DAG 运行作业 页面会显示您环境的 DAG 运行作业。您可以点击运行作业 ID 列中的链接,获取有关任务的其他信息。

gcloud

在 Airflow 1.10.* 中,运行 list_dag_runs Airflow CLI 命令:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

在 Airflow 2 中,运行 dags list-runs Airflow CLI 命令:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

替换:

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。
  • DAG_ID 替换为 DAG 名称。

您可以通过运行 tasks state 和 tasks states-for-dag-run Airflow CLI 命令来获取有关任务实例的其他信息。

如需了解详情,请参阅 访问 Airflow CLI 和 Airflow CLI 参考文档 (适用于 Airflow 1 和 Airflow 2)。

查看 DAG 图表

控制台

DAG 详情 页面上的图表 标签页会显示包含任务依赖项的 DAG 的可视化图表。

如需查看 DAG 的图表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    前往“环境”

  2. 在 DAG 列表 列中,点击与您的环境对应的 DAG 链接。

  3. 选择一个 DAG。

  4. 在 DAG 详情 页面上,前往图表 标签页。

  5. (可选)如需查看有关任务的其他信息,请在图表中选择各项任务。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 的图表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    前往“环境”

  2. 在 Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. 在 Airflow 界面的 DAG 页面上,系统会显示您环境的 DAG 列表。

  5. 对于您的 DAG,请在链接 列中点击 Graph 链接。

查看 DAG 源代码和有关 DAG 的其他信息

控制台

您可以查看 DAG 的源代码以及其他信息,例如 DAG 标识符和指向环境存储桶中 DAG 定义文件的链接。

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    前往“环境”

  2. 在 DAG 列表 列中,点击与您的环境对应的 DAG 链接。

  3. 选择一个 DAG。

  4. 如需查看 DAG 源代码,请前往图表 标签页。

  5. 如需查看有关 DAG 的其他信息,请前往来源 标签页。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 的图表,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 环境 页面。

    前往“环境”

  2. 在 Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. 在 Airflow 网页界面的 DAG 页面上,点击您的 DAG 的名称。

  5. 在包含 DAG 详情的页面中,前往可用标签页以查看有关 DAG 的其他信息。

后续步骤