Apache Iceberg 檢視表可讓您使用 SQL 定義開放、非具體化的邏輯資料表,並透過與 Iceberg 相容的引擎 (例如 Apache Spark、Trino、Apache Flink、PyIceberg 和 dbt) 使用這些資料表。您可以使用 Iceberg 檢視表建構模組化 SQL 管道,並在 Iceberg 資料表上公開精選的零複製投影。Iceberg 檢視表由 Lakehouse 執行階段目錄透過 Apache Iceberg REST 目錄端點管理,並遵循 Apache Iceberg 檢視表規格和 Iceberg REST OpenAPI 規格。
本文將這些檢視表稱為「Iceberg 檢視表」。
與 BigQuery 授權檢視表不同,Iceberg 檢視表是由運算引擎在用戶端評估。Iceberg 檢視表是您透過開放原始碼引擎建立、管理及查詢的目錄物件。
功能
支援的功能如下:
- 完整檢視生命週期:從與 Iceberg 相容的開放原始碼引擎 (例如 Apache Spark 和 Trino),建立、取代、變更屬性、列出、檢查及捨棄 Iceberg 檢視表。
- 豐富的檢視表定義:使用資料欄別名、資料欄層級和檢視表層級註解、自訂屬性、彙整、匯總、一般資料表運算式 (CTE)、
UNION ALL、子查詢、巢狀檢視表,以及基礎資料表的時間旅行,定義檢視表。 - 彈性驗證:使用使用者憑證或憑證販售,搭配標準 Cloud Storage bucket 和階層命名空間 bucket。
- 目錄支援:在多 bucket 目錄和單一 bucket 目錄中建立檢視表。
您只能透過與 Apache Iceberg REST 目錄端點連線、且與 Iceberg 相容的開放原始碼引擎,建立、管理及查詢 Iceberg 檢視表。詳情請參閱「限制」一節。
如果是 Spark,請使用 Spark 3.5 以上版本,搭配 Iceberg 執行階段 1.6.0 以上版本。請使用 Iceberg 執行階段 1.10.0 以上版本,讓 Spark 透過目錄的 GET /v1/config 回應,探索支援的檢視表端點。設定 spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions,讓 Spark 將檢視表 DDL 和解析作業委派給 Apache Iceberg REST 目錄端點。
如為 Trino,請使用 Trino 482 以上版本。詳情請參閱「Trino 支援」。
Iceberg 檢視表的運作方式
Iceberg 檢視表會將 SQL 定義、結構定義和屬性,儲存在 Cloud Storage 中
VIEW_LOCATION/metadata/ 下方的
版本化metadata.json 檔案。Lakehouse 執行階段目錄會追蹤每個檢視表目前的中繼資料位置,並透過 Apache Iceberg REST 目錄端點的檢視表端點公開檢視表。
您的 Compute Engine 會在用戶端評估 Iceberg 檢視表。執行 SELECT * FROM my_view 時,引擎會從目錄載入檢視表定義、解析每個參照的資料表和巢狀檢視表,然後對基礎 Iceberg 資料表執行查詢。目錄不會代表您執行查詢。
每次以 CREATE OR REPLACE VIEW 取代檢視表時,目錄都會寫入新的 metadata.json 檔案、在檢視表中繼資料附加新的版本和結構定義,並保留檢視表的 view-uuid。version.history.num-entries 屬性會限制保留的版本數量。詳情請參閱「查看屬性」。
在目錄命名空間中,資料表和檢視表共用相同的 ID 命名空間。您無法建立與現有資料表同名的檢視表,也無法以檢視表取代資料表。
必要角色和權限
由於 Compute Engine 會在用戶端評估檢視表,因此查詢檢視表時,必須具備檢視表、檢視表參照的每個資料表和巢狀檢視表的權限。
如要取得建立、管理及查詢 Iceberg 檢視表所需的權限,請要求管理員授予您專案和 Storage bucket 的下列 IAM 角色:
-
建立、取代、變更及捨棄檢視表:BigLake 編輯者 (
roles/biglake.editor) - 您的專案 -
列出及檢查檢視表定義:BigLake 檢視者 (
roles/biglake.viewer) - 您的專案 -
在憑證販售模式中查詢檢視表:BigLake 檢視者 (
roles/biglake.viewer) - 您的專案 -
在使用者憑證模式下查詢檢視表:
- BigLake 檢視者 (
roles/biglake.viewer) - 您的專案 - Storage 物件檢視者 (
roles/storage.objectViewer) - Cloud Storage bucket
- BigLake 檢視者 (
-
在使用者憑證模式中寫入檢視表中繼資料檔案:Storage 物件使用者 (
roles/storage.objectUser) - Cloud Storage bucket
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
這些預先定義的角色具備建立、管理及查詢 Iceberg 檢視表的必要權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:
所需權限
必須具備下列權限,才能建立、管理及查詢 Iceberg 檢視表:
-
建立檢視表:
-
命名空間的
biglake.views.create -
檢視表參照的每個 Iceberg 資料表上,都有
biglake.tables.get
-
命名空間的
-
清單檢視:
biglake.views.list命名空間 -
取得檢視表詳細資料:
biglake.views.get檢視表 -
修改檢視表:
-
biglake.views.update檢視畫面 -
biglake.tables.get新檢視表定義參照的每個 Iceberg 資料表
-
-
刪除檢視畫面:
biglake.views.delete在檢視畫面上 -
查詢檢視表:
-
檢視畫面和任何巢狀檢視畫面上的
biglake.views.get -
檢視表參照的每個 Iceberg 資料表上,都有
biglake.tables.get
-
檢視畫面和任何巢狀檢視畫面上的
-
在憑證販售模式中讀取資料表資料:
biglake.tables.getData在檢視表參照的每個 Iceberg 資料表上 -
在使用者憑證模式中讀取檢視表中繼資料和資料表資料:
storage.objects.getCloud Storage bucket -
在使用者憑證模式下,將檢視表中繼資料檔案寫入 Cloud Storage bucket:
storage.objects.create
下表將各項查看權限對應至其授權的 Apache Iceberg REST 目錄端點作業:
| 權限 | 資源 | 端點作業 | 包含在預先定義的角色中 |
|---|---|---|---|
biglake.views.create |
命名空間 | CreateIcebergView |
roles/biglake.admin、roles/biglake.editor |
biglake.views.get |
查看 | GetIcebergView、CheckIcebergViewExists |
roles/biglake.admin、roles/biglake.editor、roles/biglake.viewer、roles/biglake.metadataViewer |
biglake.views.update |
查看 | UpdateIcebergView |
roles/biglake.admin、roles/biglake.editor |
biglake.views.delete |
查看 | DeleteIcebergView |
roles/biglake.admin、roles/biglake.editor |
biglake.views.list |
命名空間 | ListIcebergViewIdentifiers |
roles/biglake.admin、roles/biglake.editor、roles/biglake.viewer、roles/biglake.metadataViewer |
詳情請參閱「Lakehouse IAM 角色」。
支援的檢視端點
引擎使用 GET /v1/config?warehouse=WAREHOUSE_URI 初始化目錄工作階段時,Apache Iceberg REST 目錄端點會在 endpoints 清單中 advertise 下列檢視表端點。在下表中,{prefix} 為 projects/PROJECT_ID/catalogs/CATALOG_ID。
| 方法和路徑 | 作業 | 說明 | 必要權限 |
|---|---|---|---|
GET /v1/{prefix}/namespaces/{namespace}/views |
ListIcebergViewIdentifiers |
列出命名空間中的檢視表 ID。支援 pageToken 和 pageSize。不含表格。 |
命名空間的biglake.views.list |
POST /v1/{prefix}/namespaces/{namespace}/views |
CreateIcebergView |
建立檢視畫面、將初始 00000-UUID.metadata.json 檔案寫入 Cloud Storage,並註冊檢視畫面。 |
命名空間的biglake.views.create |
GET /v1/{prefix}/namespaces/{namespace}/views/{view} |
GetIcebergView |
載入目前檢視畫面的中繼資料和中繼資料位置。 | 檢視畫面上的biglake.views.get |
POST /v1/{prefix}/namespaces/{namespace}/views/{view} |
UpdateIcebergView |
驗證開放式並行需求,並將更新內容提交至新的 metadata.json 檔案。 |
檢視畫面上的biglake.views.update |
DELETE /v1/{prefix}/namespaces/{namespace}/views/{view} |
DeleteIcebergView |
從目錄中移除檢視表,並清除檢視表層級的身分與存取權管理 (IAM) 政策。 | 檢視畫面上的biglake.views.delete |
HEAD /v1/{prefix}/namespaces/{namespace}/views/{view} |
CheckIcebergViewExists |
檢查檢視表是否存在。 | 檢視畫面上的biglake.views.get |
管理動作
您可以對 Iceberg 檢視表執行下列管理動作:
- 建立檢視表:使用 Spark 或 Apache Iceberg REST 目錄端點 (
CreateIcebergView),為一或多個 Iceberg 資料表定義檢視表。 - 清單檢視:使用 Spark 或 Apache Iceberg REST 目錄端點 (
ListIcebergViewIdentifiers),列出命名空間中的檢視表 ID。 - 取得檢視表詳細資料:使用 Spark 或 Apache Iceberg REST 目錄端點 (
GetIcebergView),檢查檢視表的結構定義、SQL 定義和屬性。 - 查詢檢視表:從與 Iceberg 相容的開放原始碼引擎 (例如 Spark) 對檢視表執行查詢。
- 變更檢視表:使用 Spark 或 Apache Iceberg REST 目錄端點 (
UpdateIcebergView),取代檢視表定義或更新檢視表屬性。 - 刪除檢視表:使用 Spark 或 Apache Iceberg REST 目錄端點 (
DeleteIcebergView),從目錄中刪除檢視表。
限制
Iceberg 檢視表有下列限制:
- 僅限開放原始碼引擎。您只能透過 Apache Iceberg REST 目錄端點,從與 Iceberg 相容的開放原始碼引擎建立、管理及查詢 Iceberg 檢視表。BigQuery SQL、bq 指令列工具、 Google Cloud 控制台、gcloud CLI 和 Terraform 都不支援 Iceberg 檢視表。
- 支援的目錄類型。Iceberg 檢視表僅適用於多值區目錄和單一值區目錄。目錄會拒絕 BigQuery 目錄和聯合目錄的檢視作業,並傳回
400 Bad Request(FAILED_PRECONDITION) 錯誤。 - 不支援的 REST 檢視作業。
- 不支援重新命名檢視表 (
POST /v1/{prefix}/views/rename或ALTER VIEW ... RENAME TO)。如要重新命名檢視表,請以新名稱建立檢視表,然後捨棄原始檢視表。 - 不支援註冊現有的檢視畫面
metadata.json檔案 (registerView)。 - 不支援 materialized view。僅支援邏輯 Iceberg 檢視表。
- 不支援重新命名檢視表 (
- 檢視表的時間回溯。您無法將
TIMESTAMP AS OF或VERSION AS OF套用至檢視畫面 ID。檢視表定義可對查詢的基礎資料表套用時間旅行。詳情請參閱「建立檢視表,並對基礎資料表使用時間旅行功能」。 - 查看儲存位置。
- 單一 bucket 目錄不支援自訂檢視表位置。檢視畫面位置必須與預設路徑
NAMESPACE_LOCATION/VIEW_NAME相符。 - 在多值區目錄中,自訂檢視表位置必須落在命名空間的儲存空間 URI 前置字串和目錄允許的儲存空間位置內。
- 檢視表建立後,儲存位置即無法變更。如果嘗試設定其他位置,則會失敗並顯示
400 Bad Request錯誤。
- 單一 bucket 目錄不支援自訂檢視表位置。檢視畫面位置必須與預設路徑
查看屬性
Iceberg 檢視表支援 Apache Iceberg 定義的檢視表屬性。下表說明目錄如何處理這些屬性:
| 屬性 | 預設值 | 行為 |
|---|---|---|
write.metadata.compression-codec |
gzip |
根據預設,目錄會寫入 gzip 壓縮的 .gz.metadata.json 檔案。設為 none 即可寫入未壓縮的 .metadata.json 檔案。這個值會區分大小寫。您可以在建立時或使用 ALTER VIEW ... SET TBLPROPERTIES 設定這項屬性。 |
write.metadata.path |
VIEW_LOCATION/metadata |
檢視時忽略。目錄一律會在 VIEW_LOCATION/metadata/VERSION-UUID.metadata.json 下寫入檢視表中繼資料檔案。 |
version.history.num-entries |
10 |
必須是正整數。限制目錄在檢視畫面的 versions 清單和 version-log 中保留的項目數量。如果修訂版本超過這項限制,目錄會移除最舊的項目,並一律保留目前版本和修訂版本新增的版本。版本記錄適用於稽核和管理復原作業;Compute Engine 不支援使用 SQL 查詢歷來檢視表版本。 |
後續步驟
- 瞭解如何建立檢視表。
- 瞭解如何查詢檢視表。
- 瞭解如何排解 Iceberg 檢視表問題。