Managed Airflow(第 3 代) | Managed Airflow(第 2 代) | Managed Airflow(旧版第 1 代)
Apache Airflow 具有命令行界面 (CLI),可用于执行任务,例如触发和管理 DAG、获取有关 DAG 运行和任务的信息、添加和删除连接和用户。
支持的 Airflow CLI 命令
Managed Airflow(旧版第 1 代)中的 Airflow 为 CLI 命令提供两种不同的语法:
Airflow 1.10 CLI 语法, 适用于采用 Airflow 1.10 的 Managed Airflow 环境。
Airflow 2 CLI 语法, 适用于采用 Airflow 2 的 Managed Airflow 环境。
如需查看支持的 Airflow CLI 命令的完整列表,请参阅
gcloud composer environments run命令的参考文档。
准备工作
如需通过 Google Cloud CLI 执行 Airflow CLI 命令,请执行以下操作:
您的 Google 账号必须具有 权限 才能使用 Google Cloud CLI 和 Managed Airflow 运行 Airflow CLI 命令。
通过 Google Cloud CLI 执行的 Airflow CLI 命令会消耗
通过 Google Cloud CLI 触发 DAG 可能会导致您的环境达到配额上限,从而导致 Airflow CLI 命令无法再执行。environments.executeAirflowCommand配额。
使用 gcloud CLI 运行 Airflow CLI 命令
如需在您的环境中运行 Airflow CLI 命令,请使用 gcloud CLI:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
SUBCOMMAND \
-- SUBCOMMAND_ARGUMENTS
替换以下内容:
ENVIRONMENT_NAME:您的环境的名称。LOCATION:环境所在的区域。SUBCOMMAND:受支持的 Airflow CLI 命令之一。SUBCOMMAND_ARGUMENTS:Airflow CLI 命令的参数。
子命令参数分隔符
使用 -- 分隔指定的 Airflow CLI 命令的参数:
Airflow 2
- 将复合 CLI 命令指定为子命令。
- 在
--分隔符后面指定复合命令的任何参数,作为子命令参数。
示例:
gcloud composer environments run example-environment \
dags list -- --output=json
Airflow 1
- 将 CLI 命令指定为子命令。
- 在
--分隔符后面指定所有参数。
示例:
gcloud composer environments run example-environment \
list_dags -- --report
默认位置
大多数 gcloud composer 命令需要位置信息。您可以使用
位置和 --location 标志指定位置,也可以
设置默认位置。
例如,如需在 Managed Airflow 环境中触发名为 sample_quickstart 且 ID 为 5077 的 DAG,请使用以下命令:
Airflow 2
gcloud composer environments run example-environment \
--location us-central1 dags trigger -- sample_quickstart \
--run-id=5077
Airflow 1
gcloud composer environments run example-environment \
--location us-central1 trigger_dag -- sample_quickstart \
--run_id=5077