Apache Iceberg 檢視表總覽

Apache Iceberg 檢視表可讓您使用 SQL 定義開放、非具體化的邏輯資料表,並透過與 Iceberg 相容的引擎 (例如 Apache Spark、Trino、Apache Flink、PyIceberg 和 dbt) 使用這些資料表。您可以使用 Iceberg 檢視表建構模組化 SQL 管道,並在 Iceberg 資料表上公開精選的零複製投影。Iceberg 檢視表由 Lakehouse 執行階段目錄透過 Apache Iceberg REST 目錄端點管理,並遵循 Apache Iceberg 檢視表規格和 Iceberg REST OpenAPI 規格。

本文將這些檢視表稱為「Iceberg 檢視表」。

與 BigQuery 授權檢視表不同,Iceberg 檢視表是由運算引擎在用戶端評估。Iceberg 檢視表是您透過開放原始碼引擎建立、管理及查詢的目錄物件。

功能

支援的功能如下:

  • 完整檢視生命週期:從與 Iceberg 相容的開放原始碼引擎 (例如 Apache Spark 和 Trino),建立、取代、變更屬性、列出、檢查及捨棄 Iceberg 檢視表。
  • 豐富的檢視表定義:使用資料欄別名、資料欄層級和檢視表層級註解、自訂屬性、彙整、匯總、一般資料表運算式 (CTE)、UNION ALL、子查詢、巢狀檢視表,以及基礎資料表的時間旅行,定義檢視表。
  • 彈性驗證:使用使用者憑證或憑證販售,搭配標準 Cloud Storage bucket 和階層命名空間 bucket。
  • 目錄支援:在多 bucket 目錄和單一 bucket 目錄中建立檢視表。

您只能透過與 Apache Iceberg REST 目錄端點連線、且與 Iceberg 相容的開放原始碼引擎,建立、管理及查詢 Iceberg 檢視表。詳情請參閱「限制」一節。

如果是 Spark,請使用 Spark 3.5 以上版本,搭配 Iceberg 執行階段 1.6.0 以上版本。請使用 Iceberg 執行階段 1.10.0 以上版本,讓 Spark 透過目錄的 GET /v1/config 回應,探索支援的檢視表端點。設定 spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions,讓 Spark 將檢視表 DDL 和解析作業委派給 Apache Iceberg REST 目錄端點。

如為 Trino,請使用 Trino 482 以上版本。詳情請參閱「Trino 支援」。

Iceberg 檢視表的運作方式

Iceberg 檢視表會將 SQL 定義、結構定義和屬性,儲存在 Cloud Storage 中 VIEW_LOCATION/metadata/ 下方的 版本化metadata.json 檔案。Lakehouse 執行階段目錄會追蹤每個檢視表目前的中繼資料位置,並透過 Apache Iceberg REST 目錄端點的檢視表端點公開檢視表。

您的 Compute Engine 會在用戶端評估 Iceberg 檢視表。執行 SELECT * FROM my_view 時,引擎會從目錄載入檢視表定義、解析每個參照的資料表和巢狀檢視表,然後對基礎 Iceberg 資料表執行查詢。目錄不會代表您執行查詢。

每次以 CREATE OR REPLACE VIEW 取代檢視表時,目錄都會寫入新的 metadata.json 檔案、在檢視表中繼資料附加新的版本和結構定義,並保留檢視表的 view-uuid。version.history.num-entries 屬性會限制保留的版本數量。詳情請參閱「查看屬性」。

在目錄命名空間中,資料表和檢視表共用相同的 ID 命名空間。您無法建立與現有資料表同名的檢視表,也無法以檢視表取代資料表。

必要角色和權限

由於 Compute Engine 會在用戶端評估檢視表,因此查詢檢視表時,必須具備檢視表、檢視表參照的每個資料表和巢狀檢視表的權限。

如要取得建立、管理及查詢 Iceberg 檢視表所需的權限,請要求管理員授予您專案和 Storage bucket 的下列 IAM 角色:

  • 建立、取代、變更及捨棄檢視表:BigLake 編輯者 (roles/biglake.editor) - 您的專案
  • 列出及檢查檢視表定義:BigLake 檢視者 (roles/biglake.viewer) - 您的專案
  • 在憑證販售模式中查詢檢視表:BigLake 檢視者 (roles/biglake.viewer) - 您的專案
  • 在使用者憑證模式下查詢檢視表:
    • BigLake 檢視者 (roles/biglake.viewer) - 您的專案
    • Storage 物件檢視者 (roles/storage.objectViewer) - Cloud Storage bucket
  • 在使用者憑證模式中寫入檢視表中繼資料檔案:Storage 物件使用者 (roles/storage.objectUser) - Cloud Storage bucket

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備建立、管理及查詢 Iceberg 檢視表的必要權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

必須具備下列權限,才能建立、管理及查詢 Iceberg 檢視表:

  • 建立檢視表:
    • 命名空間的 biglake.views.create
    • 檢視表參照的每個 Iceberg 資料表上,都有 biglake.tables.get
  • 清單檢視: biglake.views.list 命名空間
  • 取得檢視表詳細資料: biglake.views.get 檢視表
  • 修改檢視表:
    • biglake.views.update 檢視畫面
    • biglake.tables.get 新檢視表定義參照的每個 Iceberg 資料表
  • 刪除檢視畫面: biglake.views.delete 在檢視畫面上
  • 查詢檢視表:
    • 檢視畫面和任何巢狀檢視畫面上的 biglake.views.get
    • 檢視表參照的每個 Iceberg 資料表上,都有 biglake.tables.get
  • 在憑證販售模式中讀取資料表資料: biglake.tables.getData 在檢視表參照的每個 Iceberg 資料表上
  • 在使用者憑證模式中讀取檢視表中繼資料和資料表資料: storage.objects.get Cloud Storage bucket
  • 在使用者憑證模式下,將檢視表中繼資料檔案寫入 Cloud Storage bucket:storage.objects.create

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

下表將各項查看權限對應至其授權的 Apache Iceberg REST 目錄端點作業:

權限 資源 端點作業 包含在預先定義的角色中
biglake.views.create 命名空間 CreateIcebergView roles/biglake.admin、roles/biglake.editor
biglake.views.get 查看 GetIcebergView、CheckIcebergViewExists roles/biglake.admin、roles/biglake.editor、roles/biglake.viewer、roles/biglake.metadataViewer
biglake.views.update 查看 UpdateIcebergView roles/biglake.admin、roles/biglake.editor
biglake.views.delete 查看 DeleteIcebergView roles/biglake.admin、roles/biglake.editor
biglake.views.list 命名空間 ListIcebergViewIdentifiers roles/biglake.admin、roles/biglake.editor、roles/biglake.viewer、roles/biglake.metadataViewer

詳情請參閱「Lakehouse IAM 角色」。

支援的檢視端點

引擎使用 GET /v1/config?warehouse=WAREHOUSE_URI 初始化目錄工作階段時,Apache Iceberg REST 目錄端點會在 endpoints 清單中 advertise 下列檢視表端點。在下表中,{prefix} 為 projects/PROJECT_ID/catalogs/CATALOG_ID。

方法和路徑 作業 說明 必要權限
GET /v1/{prefix}/namespaces/{namespace}/views ListIcebergViewIdentifiers 列出命名空間中的檢視表 ID。支援 pageToken 和 pageSize。不含表格。 命名空間的biglake.views.list
POST /v1/{prefix}/namespaces/{namespace}/views CreateIcebergView 建立檢視畫面、將初始 00000-UUID.metadata.json 檔案寫入 Cloud Storage,並註冊檢視畫面。 命名空間的biglake.views.create
GET /v1/{prefix}/namespaces/{namespace}/views/{view} GetIcebergView 載入目前檢視畫面的中繼資料和中繼資料位置。 檢視畫面上的biglake.views.get
POST /v1/{prefix}/namespaces/{namespace}/views/{view} UpdateIcebergView 驗證開放式並行需求,並將更新內容提交至新的 metadata.json 檔案。 檢視畫面上的biglake.views.update
DELETE /v1/{prefix}/namespaces/{namespace}/views/{view} DeleteIcebergView 從目錄中移除檢視表,並清除檢視表層級的身分與存取權管理 (IAM) 政策。 檢視畫面上的biglake.views.delete
HEAD /v1/{prefix}/namespaces/{namespace}/views/{view} CheckIcebergViewExists 檢查檢視表是否存在。 檢視畫面上的biglake.views.get

管理動作

您可以對 Iceberg 檢視表執行下列管理動作:

  • 建立檢視表:使用 Spark 或 Apache Iceberg REST 目錄端點 (CreateIcebergView),為一或多個 Iceberg 資料表定義檢視表。
  • 清單檢視:使用 Spark 或 Apache Iceberg REST 目錄端點 (ListIcebergViewIdentifiers),列出命名空間中的檢視表 ID。
  • 取得檢視表詳細資料:使用 Spark 或 Apache Iceberg REST 目錄端點 (GetIcebergView),檢查檢視表的結構定義、SQL 定義和屬性。
  • 查詢檢視表:從與 Iceberg 相容的開放原始碼引擎 (例如 Spark) 對檢視表執行查詢。
  • 變更檢視表:使用 Spark 或 Apache Iceberg REST 目錄端點 (UpdateIcebergView),取代檢視表定義或更新檢視表屬性。
  • 刪除檢視表:使用 Spark 或 Apache Iceberg REST 目錄端點 (DeleteIcebergView),從目錄中刪除檢視表。

限制

Iceberg 檢視表有下列限制:

  • 僅限開放原始碼引擎。您只能透過 Apache Iceberg REST 目錄端點,從與 Iceberg 相容的開放原始碼引擎建立、管理及查詢 Iceberg 檢視表。BigQuery SQL、bq 指令列工具、 Google Cloud 控制台、gcloud CLI 和 Terraform 都不支援 Iceberg 檢視表。
  • 支援的目錄類型。Iceberg 檢視表僅適用於多值區目錄和單一值區目錄。目錄會拒絕 BigQuery 目錄和聯合目錄的檢視作業,並傳回 400 Bad Request (FAILED_PRECONDITION) 錯誤。
  • 不支援的 REST 檢視作業。
    • 不支援重新命名檢視表 (POST /v1/{prefix}/views/rename 或 ALTER VIEW ... RENAME TO)。如要重新命名檢視表,請以新名稱建立檢視表,然後捨棄原始檢視表。
    • 不支援註冊現有的檢視畫面 metadata.json 檔案 (registerView)。
    • 不支援 materialized view。僅支援邏輯 Iceberg 檢視表。
  • 檢視表的時間回溯。您無法將 TIMESTAMP AS OF 或 VERSION AS OF 套用至檢視畫面 ID。檢視表定義可對查詢的基礎資料表套用時間旅行。詳情請參閱「建立檢視表,並對基礎資料表使用時間旅行功能」。
  • 查看儲存位置。
    • 單一 bucket 目錄不支援自訂檢視表位置。檢視畫面位置必須與預設路徑 NAMESPACE_LOCATION/VIEW_NAME 相符。
    • 在多值區目錄中,自訂檢視表位置必須落在命名空間的儲存空間 URI 前置字串和目錄允許的儲存空間位置內。
    • 檢視表建立後,儲存位置即無法變更。如果嘗試設定其他位置,則會失敗並顯示 400 Bad Request 錯誤。

查看屬性

Iceberg 檢視表支援 Apache Iceberg 定義的檢視表屬性。下表說明目錄如何處理這些屬性:

屬性 預設值 行為
write.metadata.compression-codec gzip 根據預設,目錄會寫入 gzip 壓縮的 .gz.metadata.json 檔案。設為 none 即可寫入未壓縮的 .metadata.json 檔案。這個值會區分大小寫。您可以在建立時或使用 ALTER VIEW ... SET TBLPROPERTIES 設定這項屬性。
write.metadata.path VIEW_LOCATION/metadata 檢視時忽略。目錄一律會在 VIEW_LOCATION/metadata/VERSION-UUID.metadata.json 下寫入檢視表中繼資料檔案。
version.history.num-entries 10 必須是正整數。限制目錄在檢視畫面的 versions 清單和 version-log 中保留的項目數量。如果修訂版本超過這項限制,目錄會移除最舊的項目,並一律保留目前版本和修訂版本新增的版本。版本記錄適用於稽核和管理復原作業;Compute Engine 不支援使用 SQL 查詢歷來檢視表版本。

後續步驟