變更資料表

變更資料表可讓您演進結構定義 (例如新增資料欄)，以及更新資料表中繼資料屬性。

修改作業由 Lakehouse 執行階段目錄管理。

事前準備

  1. 確認專案已啟用計費功能 Google Cloud 。

  2. 啟用 BigLake API。

    啟用 API 時所需的角色

    如要啟用 API，您需要具備服務使用情形管理員 IAM 角色 (roles/serviceusage.serviceUsageAdmin)，其中包含 serviceusage.services.enable 權限。瞭解如何授予角色。

    啟用 API

  3. 使用 Apache Iceberg REST 目錄端點設定 Lakehouse 執行階段目錄。

必要的角色

如要取得變更表格所需的權限，請要求管理員在專案和儲存空間 bucket 中授予您下列 IAM 角色：

  • 在憑證販售模式中變更資料表： BigLake 編輯器 (roles/biglake.editor) - 專案
  • 在非憑證臨時配發模式下變更資料表：
    • BigLake 編輯者 (roles/biglake.editor) - 專案
    • Storage 物件使用者 (roles/storage.objectUser) - Cloud Storage 值區

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

表格功能和支援

在 Lakehouse 執行階段目錄中使用表格時，建議瞭解不同表格類型及其選擇加入功能。如要進一步瞭解如何使用 Apache Iceberg 資料表，請參閱 Apache Iceberg 資料表總覽。

支援的 Iceberg 資料表

系統僅支援 Apache Iceberg V2 (正式發布版) 和 V3 (預先發布版) 資料表。不支援 Iceberg V1 資料表。如要升級現有的 V1 資料表，請參閱「將 Iceberg V1 資料表升級至 V2」。

使用表格選項 (預覽版)

您可以設定特定資料表屬性，選擇使用 BigQuery 管理功能，例如 BigQuery 資料操縱語言 (DML) 和自動資料表管理。啟用這些功能的方式會因表格建立位置而異：

  • 從 BigQuery：BigQuery DML 和自動表格管理功能預設為啟用。
  • 開放原始碼引擎：如要啟用這項功能，您必須明確設定表格屬性。詳情請參閱「設定表格選項」。

如需詳細操作說明，請參閱「設定表格選項」。

變更資料表

在表格中新增資料欄：

控制台

  1. 前往 Google Cloud 控制台的「Lakehouse」Lakehouse。

    前往 Lakehouse

  2. 選取現有目錄，或建立目錄 (如果沒有的話)。

  3. 在「命名空間詳細資料」表格中，選取資料表並展開選單選項。

  4. 按一下 [編輯]。

  5. 在對話方塊中更新表格值。

  6. 按一下 [儲存]。

Spark 

spark.sql("ALTER TABLE TABLE_NAME ADD COLUMNS ( desc string);")
spark.sql("DESCRIBE NAMESPACE_NAME.TABLE_NAME").show()

如要啟用讀取/寫入互通性和表格管理，請使用 SET TBLPROPERTIES 子句設定屬性：

SET TBLPROPERTIES (
  'gcp.biglake.bigquery-dml.enabled' = true,
  'gcp.biglake.table-management.enabled' = true
)

Trino 

ALTER TABLE TABLE_NAME ADD COLUMN desc varchar;
DESCRIBE SCHEMA_NAME.TABLE_NAME;

如要啟用讀取/寫入互通性和表格管理，可以設定下列表格屬性：

  • 'gcp.biglake.bigquery-dml.enabled' = true
  • 'gcp.biglake.table-management.enabled' = true

gcloud

如要使用 gcloud 更新資料表屬性，請執行 gcloud biglake iceberg tables update 指令。

gcloud biglake iceberg tables update TABLE_NAME \
    --project="PROJECT_ID" \
    --catalog="CATALOG_ID" \
    --namespace="NAMESPACE_NAME" \
    --update-properties="KEY=VALUE,..."

更改下列內容：

  • TABLE_NAME：Iceberg 資料表名稱。
  • PROJECT_ID：您的 Google Cloud 專案 ID。
  • CATALOG_ID：目錄 ID。
  • NAMESPACE_NAME：目錄命名空間的名稱。
  • KEY=VALUE,...：要新增或更新的資料表屬性。

BigQuery

如要從 BigQuery 更新 Lakehouse 執行階段目錄中 Apache Iceberg 資料表的資料表屬性 (例如啟用 BigQuery DML 或自動資料表管理)，請使用下列 GoogleSQL ALTER TABLE 陳述式：

ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
SET OPTIONS (`properties.gcp.biglake.table-management` = "enabled");

如要更新結構定義，並在 BigQuery 的 Lakehouse 執行階段目錄中，於 Apache Iceberg 資料表新增資料欄，請使用下列 GoogleSQL ALTER TABLE 陳述式：

ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
ADD COLUMN new_column STRING;

更改下列內容：

  • PROJECT_ID：您的 Google Cloud 專案 ID。
  • CATALOG_ID：您的 Lakehouse 執行階段目錄 ID。
  • NAMESPACE：Iceberg 命名空間名稱。
  • TABLE_NAME：Iceberg 資料表名稱。

REST

如要使用 REST API 將變更提交至 Iceberg 表格，請向 UpdateIcebergTable (CommitTable) 端點發出 POST 要求：

POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/tables/TABLE_NAME

要求主體必須包含有效的 Iceberg CommitTableRequest JSON 酬載，定義基本需求和要套用的中繼資料更新清單。

更改下列內容：

  • PROJECT_ID：您的 Google Cloud 專案 ID。
  • CATALOG_ID：目錄 ID。
  • NAMESPACE_NAME：目錄命名空間的名稱。
  • TABLE_NAME：Iceberg 資料表名稱。

後續步驟