憑證臨時配發總覽

在 Lakehouse 執行階段目錄中,您可以使用憑證臨時配發模式,將 Cloud Storage 存取權委派給查詢引擎,並在目錄、命名空間和資料表層級,對 Apache Iceberg 資料表強制執行精細的 Identity and Access Management (IAM) 政策。您不必直接授予 bucket 權限,而是設定 Apache Iceberg REST 目錄端點,為授權的資料表路徑提供短期、範圍縮小的儲存空間權杖。自動資料表管理也需要這個模式。

使用憑證販售的時機

以下是一些常見用途:

  • 強制執行資料表層級存取權,不使用 bucket 層級角色:授予分析師和工作負載特定 Apache Iceberg 資料表的存取權,同時防止直接存取底層 Cloud Storage bucket 或同層資料表目錄。
  • 集中管理多個查詢引擎的存取權管理:使用短期、路徑範圍的權杖,在 BigQuery、Managed Service for Apache Spark、開放原始碼 Apache Spark 和 Trino 中套用一致的 IAM 政策。
  • 在 service perimeter 內隔離倉儲 bucket:將資料表資料儲存在受 VPC Service Controls 保護的 Cloud Storage bucket 中,同時透過單一目錄端點服務帳戶授權儲存空間讀取和寫入。

憑證臨時配發的運作方式

使用憑證販售模式時,系統會先強制執行 IAM 政策,再存取儲存空間。下圖說明查詢引擎如何從 Lakehouse 執行階段目錄取得範圍縮小的儲存空間權杖,以便直接在 Cloud Storage 中安全地讀取及寫入資料:

查詢引擎會從 Lakehouse 執行階段目錄取得範圍縮小的儲存空間權杖,以便在 Cloud Storage 中讀取及寫入資料。
委派 Cloud Storage 存取權的憑證販售工作流程。

上圖顯示的操作順序如下:

  1. 要求:使用者將 SQL 陳述式 (例如查詢、DML 或 DDL 作業) 提交至支援的引擎,例如 Spark 或 BigQuery。
  2. 中繼資料查詢:引擎會向 Lakehouse 執行階段目錄傳送要求,以解析資料表。
  3. 驗證和政策:Lakehouse 執行階段目錄會驗證使用者,並檢查他們對 Lakehouse 資源的 IAM 權限。
  4. 回應:由於已啟用憑證臨時配發模式,Lakehouse 執行階段目錄會將中繼資料和效期短暫的儲存空間權杖 (縮減範圍的儲存空間憑證) 傳回引擎。權杖的範圍限定為與資料表相關聯的路徑,並縮減至最低必要權限 (例如,針對不需要寫入檔案的查詢,提供唯讀存取權)。
  5. 存取:引擎會使用這個權杖,直接從 Cloud Storage 讀取或寫入特定授權檔案。
  6. 運算:引擎會處理資料或執行作業,並傳回結果。

啟用自動資料表管理 (gcp.biglake.table-management.enabled) 後,壓縮、快照到期和垃圾收集等背景維護工作,會使用目錄自動佈建的服務帳戶,直接向 Cloud Storage 進行驗證,並更新基礎資料檔案。

支援的引擎

如要搭配查詢引擎使用憑證臨時配發功能,您必須在 Lakehouse 執行階段目錄中,以憑證臨時配發模式設定 Apache Iceberg REST 目錄端點。Apache Hive 目錄端點不支援憑證販售。

  • 開放原始碼引擎:Spark 和 Trino 等支援的引擎會使用 Lakehouse 執行階段目錄提供的短期儲存空間權杖。用戶端應用程式必須在 X-Iceberg-Access-Delegation 標頭中指定支援憑證販售。
  • BigQuery:BigQuery 使用供應的憑證存取 Cloud Storage,而非使用者憑證。

必要的角色

為確保自動佈建的目錄端點服務帳戶具備必要權限,可在憑證販售模式中讀取及寫入資料表資料,請要求管理員將下列 IAM 角色授予自動佈建的目錄端點服務帳戶:

  • 讀取及寫入 Cloud Storage 中的資料表資料:所有相關聯 Cloud Storage bucket 的 Storage 物件使用者 (roles/storage.objectUser)

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

管理員或許也能透過自訂角色或其他預先定義的角色,將必要權限授予自動佈建的目錄端點服務帳戶。

為確保執行查詢引擎工作的服務帳戶具備必要權限,可取得具有寫入範圍的供應憑證,請要求管理員將下列 IAM 角色授予執行查詢引擎工作的服務帳戶:

  • 從查詢引擎工作 (例如 Managed Service for Apache Spark 或 Dataflow) 取得具有寫入範圍的供應憑證: 目錄、命名空間、資料表或專案的 BigLake 編輯者 (roles/biglake.editor)

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

管理員或許也能透過自訂角色或其他預先定義的角色,將必要權限授予執行查詢引擎工作的服務帳戶。

如果使用 Google Cloud 控制台,按一下「Set bucket permissions」(設定 bucket 權限),即可驗證相關 bucket 的 Storage 物件使用者角色 (roles/storage.objectUser)。如果是 Google Cloud CLI、Terraform 或 REST API,您必須手動將這個角色授予自動佈建的目錄端點服務帳戶。

自動佈建的目錄端點服務帳戶建立作業最終會保持一致。服務帳戶需要一些時間才能在系統中生效。如果嘗試在建立服務帳戶後立即授予角色,要求可能會失敗。如要進一步瞭解存取權變更平均需要多久時間才能生效,請參閱「存取權變更生效」。

FGAC 保護資料表的憑證臨時配發護欄

如果資料列層級安全性或資料欄層級資料政策 (精細的存取控管,或 FGAC) 保護目錄中的 Apache Iceberg 資料表,且該目錄使用憑證臨時配發模式,則直接存取 Cloud Storage 檔案會略過 BigQuery 中的查詢時間政策評估。

為防止未經授權的資料外洩,除非呼叫主體具備資料表的完整存取權,否則 Apache Iceberg REST 目錄端點會針對受 FGAC 保護的資料表,傳回 403 Forbidden HTTP 狀態碼,表示憑證販售要求:

  • 可存取所有受保護資料欄的未遮蓋 (原始) 資料:資料表中的每個受保護資料欄也必須附加 RAW_DATA_ACCESS_POLICY。使用呼叫主體的 IAM v2 主體 ID (例如 principal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL),授予該主體對 RAW_DATA_ACCESS_POLICY 資料政策的 FINE_GRAINED_READ 權限。
  • 未篩選的資料列存取權 (所有資料列):如果資料表附加了資料列層級存取權政策,請將具有 FILTER USING (TRUE) 子句的資料列層級存取權政策授予呼叫主體。

如要設定服務帳戶,以便從開放原始碼引擎 (例如 Spark、Trino 或 Apache Flink) 讀取或寫入受 FGAC 保護的資料表,請參閱「為受 FGAC 保護的資料表設定開放原始碼引擎憑證」。

搭配使用 VPC Service Controls 與憑證販售

在憑證販售模式下,搭配 VPC Service Controls service perimeter 內的 Cloud Storage bucket 使用 Apache Iceberg REST 目錄端點,可支援下列用途:

  • 在受保護的 bucket 中建立及修改 Apache Iceberg 資料表:當倉儲 bucket 位於 service perimeter 內時,從 BigQuery、Managed Service for Apache Spark、Spark 或 Trino 執行 CREATE TABLE 或 DML 陳述式。
  • 在儲存空間 perimeter 內委派精細的資料表讀取權限:使用短期、範圍縮小的儲存空間權杖,強制執行資料表層級的 IAM 政策,不直接授予使用者或查詢執行階段 perimeter 保護 bucket 的 IAM 角色。

在憑證販售模式中,查詢引擎和 Lakehouse 會使用為目錄端點自動佈建的服務帳戶 (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com) 核發的憑證,向 Cloud Storage 進行驗證。由於這個服務代理屬於服務 perimeter 以外的 Google 代管專案,因此只要 bucket 專案的 perimeter 限制 storage.googleapis.com,Cloud Storage 就會將使用其憑證驗證的要求評估為 perimeter 輸入。即使目錄端點、查詢工作和 bucket 位於相同的專案和 service perimeter,這項評估仍適用。

如要允許存取,請在 Access Context Manager 中,為保護 bucket 專案的 perimeter 設定輸入規則,並採用下列設定:

  • 來源身分: serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com
  • 目標專案:bucket 專案 (projects/BUCKET_PROJECT_NUMBER)
  • 服務:storage.googleapis.com 搭配所有方法 ('*'),或特定支援的服務方法

下列 ingress.yaml 範例允許目錄端點的服務帳戶存取 bucket 專案中的 storage.googleapis.com:

- ingressFrom:
    identities:
    - serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
    sources:
    - accessLevel: '*'
  ingressTo:
    operations:
    - serviceName: storage.googleapis.com
      methodSelectors:
      - method: '*'
    resources:
    - projects/BUCKET_PROJECT_NUMBER

更改下列內容:

  • CATALOG_ENDPOINT_SERVICE_ACCOUNT:目錄端點自動佈建的服務帳戶電子郵件地址 (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com)。如要擷取這個電子郵件地址,請說明目錄端點:

    gcloud biglake iceberg catalogs describe CATALOG_ID \
        --project=PROJECT_ID \
        --format='value(biglake-service-account)'
    

    在這個指令中,CATALOG_ID 是目錄端點的 ID,PROJECT_ID 則是包含目錄端點的專案 ID。

  • BUCKET_PROJECT_NUMBER:Cloud Storage bucket 所在專案的數字編號。

如果資料表建立或查詢要求遭 VPC Service Controls 封鎖,錯誤訊息會包含 vpcServiceControlsUniqueIdentifier 值。在 Cloud 稽核記錄中搜尋政策遭拒稽核記錄,方法是將 protoPayload.metadata.vpcServiceControlsUniqueId 與該 ID 比對,並檢查 blirc-... 主體的 ingressViolations。詳情請參閱「從稽核記錄擷取 VPC Service Controls 錯誤」。

後續步驟