使用 Airflow UI 存取權控管

Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)

本頁面說明 Airflow UI 和 DAG UI 的不同存取控管機制。除了 IAM 提供的存取控管機制,您也可以使用這些機制,在環境的 Airflow UI 和 DAG UI 中區隔使用者。

Managed Airflow 的 Airflow UI 存取控管總覽

在 Managed Airflow 中,Airflow UI 和 DAG UI 的存取權,以及這些 UI 中資料和作業的瀏覽權限,是由兩個層級控管:

  1. Managed Airflow 的 Airflow UI 和 DAG UI 存取權由 IAM 控管。

    如果帳戶沒有可查看專案中 Managed Airflow 環境的角色,就無法使用 Airflow UI 和 DAG UI。

    IAM 不會在 Airflow UI 或 DAG UI 中提供任何額外的精細權限控管機制。

  2. Apache Airflow 存取控管模型可根據使用者角色,減少 Airflow UI 和 DAG UI 中的瀏覽權限。

    Apache Airflow 存取控管是 Airflow 的一項功能,有自己的使用者、角色、權限模型,與 IAM 不同。

Apache Airflow 存取控管機制採用資源型權限。所有具備特定 Airflow 角色的 Airflow 使用者都會取得該角色的權限。舉例來說,如果 Airflow 使用者具備 can delete on Connections 權限,就能在 Airflow UI 的「Connections」(連線) 頁面刪除連線。

您也可以為個別 DAG 指派 DAG 層級權限。例如,只有具備特定 Airflow 角色的使用者,才能在 Airflow UI 中查看特定 DAG。在 Managed Airflow 中,您可以根據 DAG 檔案在環境 bucket 中的子資料夾位置,自動指派 DAG 層級權限。

如要透過員工身分聯盟設定外部身分的存取權,請先在 IAM 中授予環境存取權,詳情請參閱「將 IAM 角色授予外部身分」一節。之後,您就能照常使用 Airflow UI 存取控管功能。外部身分的 Airflow 使用者會使用主體 ID,而非電子郵件地址,且其他使用者記錄欄位填入的值與 Google 帳戶不同。

事前準備

管理 Airflow 角色和存取控管設定

具備「管理員」角色 (或同等角色) 的使用者,可以在 Airflow UI 中查看及修改存取控管設定。

在 Airflow UI 中,您可以透過「Security」(安全性) 選單設定存取控管。如要進一步瞭解 Airflow 存取控管模型、可用權限和預設角色,請參閱 Airflow UI 存取控管說明文件。

Airflow 會維護自己的使用者清單。具備管理員角色 (或同等角色) 的使用者,可以查看已開啟環境 Airflow UI 且已在 Airflow 註冊的使用者清單。這份清單也包含由管理員手動預先註冊的使用者,詳情請參閱下一節。

在 Airflow UI 中註冊使用者

新使用者首次開啟 Managed Airflow 環境的 Airflow UI 時,系統會自動註冊。

使用者註冊時,會獲得 [webserver]rbac_user_registration_role Airflow 設定選項中指定的角色。您可以覆寫這個 Airflow 設定選項,並改用其他值,藉此控管新註冊使用者的角色。

如未指定,在 Airflow 2 和 3 環境中,預設註冊角色為 Op。

建議您按照下列步驟,為 Airflow UI 建立基本角色設定:

  1. 環境管理員開啟新建立環境的 Airflow UI。

  2. 將 Admin 角色授予管理員帳戶。新帳戶的預設角色為 Op。如要指派 Admin 角色,請使用 gcloud CLI 執行下列 Airflow CLI 指令:

      gcloud composer environments run ENVIRONMENT_NAME \
        --location LOCATION \
        users add-role -- -e USER_EMAIL -r Admin
    

    更改項目:

    • ENVIRONMENT_NAME:環境名稱。
    • 將 LOCATION 替換為環境所在的區域。
    • 將 USER_EMAIL 替換為使用者帳戶的電子郵件地址。
  3. 管理員現在可以為新使用者設定存取控管,包括將 Admin 角色授予其他使用者。

預先註冊使用者

系統會自動以 Google 使用者帳戶的數字 ID (而非電子郵件地址) 做為使用者名稱,為使用者註冊。您也可以手動預先註冊使用者並指派角色,方法是新增使用者記錄,並將使用者名稱欄位設為使用者的主要電子郵件地址。如果使用者的電子郵件地址與預先註冊的使用者記錄相符,當他們首次登入 Airflow UI 時,系統會將使用者名稱替換為目前 (首次登入時) 透過電子郵件地址識別的使用者 ID。Google Identity (電子郵件地址) 與使用者帳戶 (使用者 ID) 之間的關係並非固定。Google 群組無法預先註冊。

如要預先註冊使用者,可以使用 Airflow UI,或透過 Google Cloud CLI 執行 Airflow CLI 指令。

如要透過 Google Cloud CLI 預先註冊具備自訂角色的使用者,請執行下列 Airflow CLI 指令:

gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  users create -- \
  -r ROLE \
  -e USER_EMAIL \
  -u USER_EMAIL \
  -f FIRST_NAME \
  -l LAST_NAME \
  --use-random-password # The password value is required, but is not used

更改下列內容:

  • ENVIRONMENT_NAME:環境名稱
  • LOCATION:環境所在的區域
  • ROLE:使用者的 Airflow 角色,例如 Op
  • USER_EMAIL:使用者的電子郵件地址
  • FIRST_NAME 和 LAST_NAME:使用者的名字和姓氏

範例:

gcloud composer environments run example-environment \
  --location us-central1 \
  users create -- \
  -r Op \
  -e "example-user@example.com" \
  -u "example-user@example.com" \
  -f "Name" \
  -l "Surname" \
  --use-random-password

移除使用者

從 Airflow 刪除使用者並不會撤銷該使用者的存取權,因為他們下次存取 Airflow UI 時會自動重新註冊。如要撤銷整個 Airflow UI 的存取權,請從專案的允許政策中移除 composer.environments.get 權限。

您也可以將使用者的角色變更為「Public」,這樣會保留使用者的註冊資訊,但會移除 Airflow UI 的所有權限。

自動設定 DAG 層級權限

「Per-folder Roles Registration」功能會直接在 /dags 資料夾中,為每個子資料夾自動建立自訂 Airflow 角色,並授予這個角色 DAG 層級存取權,可存取來源檔案儲存在該子資料夾中的所有 DAG。這可簡化自訂 Airflow 角色及其 DAG 存取權的管理作業。

個別資料夾角色註冊的運作方式

「依資料夾註冊角色」功能可自動設定角色及其 DAG 層級權限。因此,這可能會與其他授予 DAG 層級權限的 Airflow 機制發生衝突:

為避免這類衝突,啟用個別資料夾角色註冊功能也會變更這些機制的行為。

在 Airflow 2 和 3 中:

  • 您可以透過 DAG 原始碼中定義的 access_control 屬性,將 DAG 存取權授予角色。
  • 手動授予 DAG 權限 (透過 Airflow UI 或 gcloud CLI) 可能會導致衝突。舉例來說,如果您手動將 DAG 層級權限授予個別資料夾角色,則 DAG 處理器同步處理 DAG 時,可能會移除或覆寫這些權限。建議不要手動授予 DAG 權限。
  • 角色具有透過「Per-folder Roles Registration」註冊,並在 DAG 的 access_control 屬性中定義的 DAG 存取權限聯集。

直接位於頂層 /dags 資料夾中的 DAG 不會自動指派給任何個別資料夾角色。無法透過任何資料夾專屬角色存取。其他角色 (例如管理員、作業人員、使用者或任何已授予權限的自訂角色) 則可透過 Airflow UI 和 DAG UI 存取。

如果上傳 DAG 的子資料夾名稱與內建 Airflow 角色和 Managed Airflow 建立的角色相符,這些子資料夾中 DAG 的權限仍會指派給這些角色。舉例來說,將 DAG 上傳到 /dags/Admin 資料夾,會將這個 DAG 的權限授予管理員角色。內建的 Airflow 角色包括 Admin、Op、User、Viewer 和 Public。啟用「Per-folder Roles Registration」(個別資料夾角色註冊) 功能後,Managed Airflow 會建立 UserNoDags。

Airflow 在 Airflow 排程器中處理 DAG 時,會執行個別資料夾的角色註冊。如果環境中的 DAG 超過一百個,DAG 剖析時間可能會增加。在這種情況下,建議為排程器使用更多記憶體和 CPU。 您也可以提高 [scheduler]parsing_processes Airflow 設定選項的值。

自動將 DAG 指派給各資料夾的角色

如要將 DAG 自動指派給各資料夾的角色,請按照下列步驟操作:

  1. 覆寫下列 Airflow 設定選項:

    區段 鍵 值
    webserver rbac_autoregister_per_folder_roles True
  2. 將新使用者註冊角色變更為無法存取任何 DAG 的角色。這樣一來,新使用者就無法存取任何 DAG,直到管理員為其帳戶指派具有特定 DAG 權限的角色。

    只有在啟用「依資料夾註冊角色」功能時,Managed Airflow 才會建立 UserNoDags 角色。這相當於使用者角色,但無法存取任何 DAG。

    覆寫下列 Airflow 設定選項:

    區段 鍵 值
    webserver rbac_user_registration_role UserNoDags

  3. 確認使用者已在 Airflow 中註冊。

  4. 使用下列其中一種方法,將角色指派給使用者:

    • 讓 Airflow 根據 DAG 子資料夾自動建立角色,然後將使用者指派給這些角色。
    • 預先為 DAG 子資料夾建立空白角色,角色名稱與子資料夾名稱相符,然後將使用者指派給這些角色。例如,針對 /dags/CustomFolder 資料夾,建立名為 CustomFolder 的角色。
  5. 將 DAG 上傳至子資料夾,並根據指派給使用者的角色命名。這些子資料夾必須位於環境 bucket 的 /dags 資料夾中。Airflow 會為這類子資料夾中的 DAG 新增權限,只有具備相應角色的使用者,才能透過 Airflow UI 和 DAG UI 存取這些 DAG。

手動設定 DAG 層級權限

您可以為自訂角色設定 DAG 層級權限,指定特定使用者群組可查看哪些 DAG。

如要在 Airflow UI 中設定 DAG 層級權限,請按照下列步驟操作:

  1. 管理員建立空白角色,用於將 DAG 分組。
  2. 管理員會為使用者指派適當的角色。
  3. 管理員或使用者將 DAG 指派給角色。
  4. 在 Airflow UI 中,使用者只能看到指派給所屬群組的 DAG。

您可以透過 DAG 屬性或 Airflow UI,將 DAG 指派給角色。

在 Airflow UI 中將 DAG 指派給角色

管理員可以在 Airflow UI 中,將必要的 DAG 層級權限指派給適當的角色。

DAG UI 不支援這項作業。

在 DAG 屬性中將 DAG 指派給角色

您可以在 DAG 上設定 access_control DAG 參數,指定要指派給 DAG 的 DAG 分組角色。

在 2.1.0 之前的 Airflow 2 版本中,管理員、DAG 開發人員或自動化程序必須執行 sync-perm Airflow 指令,才能套用新的存取控管設定。

在 Airflow 2.1.0 以上版本中,排程器剖析 DAG 時會套用 DAG 層級權限,因此不必再執行這項指令。

dag = DAG(
  access_control={
    'DagGroup': {'can_edit', 'can_read'},
  },
  ...
  )

將 Airflow UI 中的稽核記錄對應至使用者

Airflow UI 中的稽核記錄會對應至 Google 使用者帳戶的數字 ID。舉例來說,如果使用者暫停 DAG,系統就會在記錄中新增一筆項目。

您可以在 Airflow UI 的「Browse」(瀏覽) >「Audit Logs」(稽核記錄) 頁面中查看稽核記錄。

Airflow 2「稽核記錄」頁面中的項目
圖 1. Airflow 2 的「稽核記錄」頁面項目

一般項目會在「Owner」(擁有者) 欄位中列出數字 ID:accounts.google.com:NUMERIC_ID。您可以在「Security」(安全性) >「List Users」(列出使用者) 頁面,將數字 ID 對應至使用者電子郵件。具備 Admin 角色權限的使用者可以存取這個頁面。

請注意,Google Identity (電子郵件地址) 與使用者帳戶 (使用者 ID) 之間的關係並非固定。

後續步驟