查看 DAG、DAG 运行作业和相关任务

Managed Airflow（第 3 代） | Managed Airflow（第 2 代） | Managed Airflow（旧版第 1 代）

本页面介绍了如何获取有关您环境中的 DAG 的信息。

查看有关 DAG 的信息的方式

Managed Airflow 提供了多种方式来获取有关您环境中的 DAG 的详细信息：

  • DAG 界面是 Google Cloud Managed Airflow 的 控制台界面的一部分，专门用于查看和监控 DAG、DAG 运行作业 和各项任务。
  • Airflow 界面 是 Airflow 的内置网页界面。
  • Airflow CLI 是 Airflow 的命令行界面。您可以通过使用 gcloud 运行 Airflow CLI 命令来获取有关 DAG 的信息。

关于 Managed Airflow DAG 界面

DAG 界面是 Google Cloud Managed Airflow 的 控制台界面的一部分，专门用于查看和监控 DAG、DAG 运行作业 和各项任务。

在 DAG 界面中，您可以：

  • 查看您环境中的 DAG 列表，包括时间表间隔、DAG 状态和说明。

  • 暂停、取消暂停和触发 DAG。

  • 查看 DAG 运行作业详情，包括成功、活跃和失败的运行作业，以及自上次完成运行作业以来的时间。对于每个 DAG，您都可以查看与此特定 DAG 关联的 DAG 运行作业和任务实例的历史记录，包括已执行任务的日志。

  • 过滤 DAG 运行作业详情。例如，您可以选择时间间隔并创建查询，以选择所需的信息。

  • 查看有关各个 DAG 和任务的详细信息。这包括可视化 DAG 图表、有关 DAG 中任务的信息、DAG 源代码以及有关 DAG 的额外信息。

准备工作

  • 确保您的账号具有可以访问 DAG 界面并查看 DAG 详情的角色。如需了解详情，请参阅访问权限控制。

  • Managed Airflow 2.0.1 及更高版本支持 DAG 界面。

    查看您环境的 DAG 列表

    控制台

    您环境的 DAG 标签页会显示 DAG 列表以及每个 DAG 的 DAG 运行作业详情。

    如需查看 DAG 列表，请执行以下操作：

    1. 在 Google Cloud 控制台中，前往 环境 页面。

      转到“环境”

    2. 在 DAG 列表 列中，点击与您的环境对应的 DAG 链接。

    您可以使用过滤条件，仅查看特定 DAG 或特定条件的详情。例如：

    1. 选择过滤条件 字段。
    2. 从下拉列表中选择 DAG ID 属性。
    3. 指定 DAG 的标识符。结果仅显示所选 DAG 的详情。
    4. （可选）如需添加更多 DAG，请添加 OR 运算符，后跟 DAG ID。
    5. （可选）如需按其他条件进行过滤，请在过滤条件 字段中添加其他属性。例如，您可以通过指定 Failed runs:>0 来过滤运行作业失败的 DAG。

    Airflow 界面

    如需在 Airflow 界面中查看 DAG 列表，请执行以下操作：

    1. 在 Google Cloud 控制台中，前往 环境 页面。

      转到“环境”

    2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

    3. 使用具有相应权限的 Google 账号登录。

    4. 在 Airflow 界面的 DAG 页面上，系统会显示您环境的 DAG 列表。

    gcloud

    运行 dags list Airflow CLI 命令：

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    将

    • ENVIRONMENT_NAME 替换为环境的名称。
    • LOCATION 替换为环境所在的区域。

    查看 DAG 运行作业和任务的历史记录

    控制台

    DAG 详情 页面上的运行作业 标签页会显示单个 DAG 的 DAG 运行作业历史记录。

    如需查看 DAG 运行作业的历史记录，请执行以下操作：

    1. 在 Google Cloud 控制台中，前往 环境 页面。

      转到“环境”

    2. 在 DAG 列表 列中，点击与您的环境对应的 DAG 链接。

    3. 选择一个 DAG。

    4. 在 DAG 详情 页面上，前往运行作业 标签页。

    5. 从列表中选择一个 DAG 运行作业，以查看 DAG 运行作业详情，例如此 DAG 运行作业的任务实例的状态、尝试次数和执行时长。您可以选择各项任务来查看任务实例日志。

    Airflow 界面

    如需在 Airflow 界面中查看 DAG 列表，请执行以下操作：

    1. 在 Google Cloud 控制台中，前往 环境 页面。

      转到“环境”

    2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

    3. 使用具有相应权限的 Google 账号登录。

    4. 在 Airflow 界面的菜单中， 依次选择 浏览 > DAG 运行作业。DAG 运行作业 页面会显示您环境的 DAG 运行作业。您可以点击运行作业 ID 列中的链接，获取有关任务的其他信息。

    gcloud

    运行 dags list-runs Airflow CLI 命令：

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    将

    • ENVIRONMENT_NAME 替换为环境的名称。
    • LOCATION 替换为环境所在的区域。
    • DAG_ID 替换为 DAG 名称。

    您可以通过运行 tasks state 和 tasks states-for-dag-run Airflow CLI 命令来获取有关任务实例的其他信息。

    如需了解详情，请参阅访问 Airflow CLI 和 Airflow CLI 参考文档。

    查看 DAG 图表

    控制台

    DAG 详情 页面上的图表 标签页会显示包含任务依赖项的 DAG 的可视化图表。

    如需查看 DAG 的图表，请执行以下操作：

    1. 在 Google Cloud 控制台中，前往 环境 页面。

      转到“环境”

    2. 在 DAG 列表 列中，点击与您的环境对应的 DAG 链接。

    3. 选择一个 DAG。

    4. 在 DAG 详情 页面上，前往图表 标签页。

    5. （可选）如需查看有关任务的其他信息，请在图表中选择各项任务。

    Airflow 界面

    如需在 Airflow 网页界面中查看 DAG 的图表，请执行以下操作：

    1. 在 Google Cloud 控制台中，前往 环境 页面。

      转到“环境”

    2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

    3. 使用具有相应权限的 Google 账号登录。

    4. 在 Airflow 界面的 DAG 页面上，系统会显示您环境的 DAG 列表。

    5. 对于您的 DAG，请在链接 列中点击 Graph 链接。

    查看 DAG 源代码和有关 DAG 的其他信息

    控制台

    您可以查看 DAG 的源代码以及其他信息，例如 DAG 标识符和指向环境存储桶中 DAG 定义文件的链接。

    1. 在 Google Cloud 控制台中，前往 环境 页面。

      转到“环境”

    2. 在 DAG 列表 列中，点击与您的环境对应的 DAG 链接。

    3. 选择一个 DAG。

    4. 如需查看 DAG 源代码，请前往图表 标签页。

    5. 如需查看有关 DAG 的其他信息，请前往来源 标签页。

    Airflow 界面

    如需在 Airflow 网页界面中查看 DAG 的图表，请执行以下操作：

    1. 在 Google Cloud 控制台中，前往 环境 页面。

      转到“环境”

    2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

    3. 使用具有相应权限的 Google 账号登录。

    4. 在 Airflow 网页界面的 DAG 页面上，点击您的 DAG 的名称。

    5. 在包含 DAG 详情的页面中，前往可用标签页以查看有关 DAG 的其他信息。

    后续步骤