變更記錄可讓您追蹤附加至 Apache Iceberg 代管資料表 (舊稱 BigQuery 中的 Apache Iceberg 專用 BigLake 資料表) 的資料列記錄。您可以使用 GoogleSQL APPENDS 資料表值函式 (TVF),查看在指定日期範圍內附加至資料表的所有資料列,例如透過 CREATE TABLE DDL 陳述式、INSERT 和 MERGE DML 陳述式、批次載入工作和串流擷取新增的資料列。
Apache Iceberg 代管資料表採用 BigQuery 變更記錄概念和功能,可讓您處理資料表的增量。瞭解哪些資料列已附加至資料表,有助於您在 BigQuery 外部逐步維護資料表副本、稽核歷來資料新增作業,或觸發下游管道,而不必執行完整資料表掃描或高成本的複製作業。
所需權限
如要查看 Apache Iceberg 代管資料表的變更記錄,您必須具備下列權限:
- 資料表的
bigquery.tables.getData權限。下列預先定義的 Identity and Access Management (IAM) 角色包含這項權限:roles/bigquery.dataViewerroles/bigquery.dataEditorroles/bigquery.dataOwnerroles/bigquery.admin
- 與資料表相關聯的 Google Cloud 資源連線,具備
bigquery.connections.delegate權限。BigQuery 連線使用者 (roles/bigquery.connectionUser) 角色具備這項權限。 - 此外,與 Google Cloud 資源連線相關聯的服務帳戶,必須具備基礎 Cloud Storage bucket 的
roles/storage.objectUser和roles/storage.legacyBucketReader角色。
如果資料表使用資料列層級或資料欄層級安全防護機制,請參閱 BigQuery 變更記錄說明文件中的「必要權限」一節,瞭解其他權限規定。
限制
Apache Iceberg 代管資料表支援變更記錄,並採用與標準 BigQuery 變更記錄相同的概念和功能。使用 Apache Iceberg 代管資料表的變更記錄時,須遵守下列限制:
- 變更記錄僅適用於 Apache Iceberg 代管資料表 (原稱 BigQuery 中 Apache Iceberg 的 BigLake 資料表)。
- Apache Iceberg 代管資料表不支援
CHANGES資料表值函式 (TVF)。僅支援APPENDSTVF。 - Apache Iceberg 代管資料表的限制也適用。
APPENDS變更記錄功能的限制也適用。
後續步驟
詳情請參閱下列 BigQuery 說明文件:
- 使用變更記錄
APPENDSTVF 參考資料- 建立及使用 Apache Iceberg 代管資料表
- 瞭解如何使用 BigQuery 持續查詢,從 Apache Iceberg 代管資料表讀取即時資料