Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)
本頁說明如何取得環境中 DAG 的相關資訊。
查看 DAG 相關資訊的方式
Managed Airflow 提供多種方式,可取得環境中 DAG 的詳細資訊:
- DAG UI 是 Managed Airflow 的 Google Cloud 主控台介面專區,用於查看及監控 DAG、DAG 執行作業和個別工作。
- Airflow UI 是 Airflow 的內建網頁介面。
- Airflow CLI 是 Airflow 的指令列介面。您可以執行含有
gcloud的 Airflow CLI 指令,取得 DAG 的相關資訊。
關於 Managed Airflow DAG UI
DAG UI 是 Managed Airflow 的 Google Cloud 主控台介面專區,用於查看及監控 DAG、DAG 執行作業和個別工作。
在 DAG UI 中,您可以:
查看環境中的 DAG 清單,包括排程間隔、DAG 狀態和說明。
暫停、取消暫停及觸發 DAG。
查看 DAG 執行作業詳細資料,包括成功、進行中和失敗的執行作業,以及上次完成執行作業的時間。您可以查看每個 DAG 的 DAG 執行記錄和與該 DAG 相關聯的工作執行個體,包括已執行工作的記錄。
篩選 DAG 執行作業詳細資料。舉例來說,您可以選擇時間間隔,然後建立查詢來選取所需資訊。
查看個別 DAG 和工作項目的詳細資訊。包括 DAG 圖表、DAG 內工作相關資訊、DAG 原始碼,以及 DAG 的額外資訊。
事前準備
請確認您的帳戶具備可存取 DAG UI 和查看 DAG 詳細資料的角色。詳情請參閱存取控管一文。
DAG 使用者介面需要啟用 DAG 序列化。
DAG 使用者介面支援 Managed Airflow 1.17.8 以上版本。
查看環境的 DAG 清單
控制台
環境的「DAGs」分頁會顯示 DAG 清單,以及每個 DAG 的 DAG 執行作業詳細資料。
如要查看 DAG 清單:
前往 Google Cloud 控制台的「Environments」(環境) 頁面。
在「DAG list」資料欄中,按一下環境的「DAGs」連結。
您可以使用篩選器,只查看特定 DAG 或特定條件的詳細資料。例如:
- 選取「篩選條件」欄位。
- 從下拉式清單中選取「DAG id」屬性。
- 指定 DAG 的 ID。結果只會顯示所選 DAG 的詳細資料。
- (選用) 如要納入更多 DAG,請新增
OR運算子,後面接上 DAG ID。 - (選用) 如要依其他條件篩選,請在「Filters」(篩選條件) 欄位中新增其他屬性。舉例來說,您可以指定
Failed runs:>0,篩選出執行失敗的 DAG。
Airflow UI
如要在 Airflow UI 中查看 DAG 清單,請按照下列步驟操作:
前往 Google Cloud 控制台的「Environments」(環境) 頁面。
在「Airflow 網路伺服器」欄中,按一下環境的「Airflow」連結。
登入具有適當權限的 Google 帳戶。
在 Airflow UI 的「DAGs」(DAG) 頁面中,會顯示環境的 DAG 清單。
gcloud
執行 dags list Airflow CLI 指令:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
更改項目:
- 將
ENVIRONMENT_NAME替換為環境的名稱。 - 將
LOCATION替換為環境所在的區域。
查看 DAG 執行作業和工作記錄
控制台
「DAG details」(DAG 詳細資料) 頁面的「Runs」(執行作業) 分頁標籤會顯示個別 DAG 的 DAG 執行記錄。
如要查看 DAG 執行記錄,請按照下列步驟操作:
前往 Google Cloud 控制台的「Environments」(環境) 頁面。
在「DAG list」資料欄中,按一下環境的「DAGs」連結。
選取 DAG。
在「DAG details」(DAG 詳細資料) 頁面中,前往「Runs」(執行) 分頁標籤。
從清單中選取 DAG 執行作業,即可查看 DAG 執行作業詳細資料,例如這個 DAG 執行作業的工作執行個體狀態、嘗試次數和執行時間。您可以選取個別工作,查看工作執行個體記錄。
Airflow UI
如要在 Airflow UI 中查看 DAG 清單,請按照下列步驟操作:
前往 Google Cloud 控制台的「Environments」(環境) 頁面。
在「Airflow 網路伺服器」欄中,按一下環境的「Airflow」連結。
登入具有適當權限的 Google 帳戶。
查看 DAG 執行作業:
(Airflow 3) 在 Airflow UI 中,依序選取「Dags」>「Runs」。「執行」分頁會顯示環境的 DAG 執行作業。如要取得工作相關的其他資訊,請點選「Run after」(在後續執行) 欄中的連結。
(Airflow 2) 在 Airflow 使用者介面中,依序選取「Browse」>「DAG Runs」。「DAG Runs」(DAG 執行作業) 頁面會顯示環境的 DAG 執行作業。您可以點選「執行 ID」欄中的連結,取得工作相關資訊。
gcloud
執行 dags list-runs Airflow CLI 指令:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
更改項目:
- 將
ENVIRONMENT_NAME替換為環境的名稱。 - 將
LOCATION替換為環境所在的區域。 - 將
DAG_ID替換為 DAG 的名稱。
您可以執行 tasks state 和 tasks states-for-dag-run Airflow CLI 指令,取得工作例項的額外資訊。
詳情請參閱「存取 Airflow CLI」和 Airflow CLI 參考資料。
查看 DAG 圖表
控制台
「DAG details」(DAG 詳細資料) 頁面上的「Diagram」(圖表) 分頁標籤會顯示 DAG 的視覺化內容,以及工作依附元件。
如要查看 DAG 的圖表:
前往 Google Cloud 控制台的「Environments」(環境) 頁面。
在「DAG list」資料欄中,按一下環境的「DAGs」連結。
選取 DAG。
在「DAG details」(DAG 詳細資料) 頁面中,前往「Diagram」(圖表) 分頁標籤。
(選用) 如要查看工作相關的其他資訊,請在圖表中選取個別工作。
Airflow UI
如要在 Airflow 網頁介面中查看 DAG 的圖表,請按照下列步驟操作:
前往 Google Cloud 控制台的「Environments」(環境) 頁面。
在「Airflow 網路伺服器」欄中,按一下環境的「Airflow」連結。
登入具有適當權限的 Google 帳戶。
在 Airflow UI 的「DAGs」(DAG) 頁面中,會顯示環境的 DAG 清單。
(Airflow 3) 按一下 DAG 前往「Dags」頁面,然後按一下「Show graph」切換至「Graph」檢視畫面。
(Airflow 2) 針對 DAG,在「Links」資料欄中,按一下「Graph」連結。
查看 DAG 原始碼和 DAG 的其他資訊
控制台
您可以查看 DAG 的原始碼,以及環境值區中的 DAG ID 和 DAG 定義檔連結等其他資訊。
前往 Google Cloud 控制台的「Environments」(環境) 頁面。
在「DAG list」資料欄中,按一下環境的「DAGs」連結。
選取 DAG。
如要查看 DAG 原始碼,請前往「圖表」分頁。
如要查看 DAG 的其他資訊,請前往「來源」分頁。
Airflow UI
如要在 Airflow 網頁介面中查看 DAG 的圖表,請按照下列步驟操作:
前往 Google Cloud 控制台的「Environments」(環境) 頁面。
在「Airflow 網路伺服器」欄中,按一下環境的「Airflow」連結。
登入具有適當權限的 Google 帳戶。
在 Airflow 網頁介面的「DAGs」(DAG) 頁面中,按一下 DAG 的名稱。
在 DAG 詳細資料頁面中,前往可用分頁標籤,查看 DAG 的其他資訊。