排解常見的無邊界 Lakehouse 問題

您可以診斷並解決無邊界 Lakehouse 及其相關資源的錯誤,包括中繼資料資料表查詢、metadata.json 檔案大小限制,以及多區域目錄設定的問題。解決這些問題後,即可還原資料湖倉工作負載的資料表作業和查詢執行作業。

無法查詢中繼資料表

在 BigQuery 中,使用五部分名稱 ID 查詢由 Lakehouse 執行階段目錄支援的 Apache Iceberg 資料表中繼資料表 (例如 .snapshots 或 .files) 時,就會發生這個問題。

如要解決這個問題,請使用 Apache Spark 查詢這些資料表。

metadata.json 檔案大小限制

Apache Iceberg metadata.json 檔案大小上限為 1 MB。這項限制適用於追蹤資料表快照、結構定義和分區規格的中繼資料檔案。如果中繼資料檔案超過這個大小,透過 Apache Iceberg REST 目錄端點執行資料表作業時,可能會發生錯誤。

如要解決這個問題,請與 Google 帳戶團隊聯絡,要求提高上限。

查詢多區域目錄時發生 NOT_FOUND 錯誤

當您在 Lakehouse 執行階段目錄中使用多區域 Cloud Storage bucket 建立目錄,但未指定主要位置,然後嘗試指定 BigQuery 虛擬區域 (例如 US 或 EU) 查詢目錄時,就會發生這個問題。

使用多區域 bucket 建立目錄時,中繼資料會儲存在多區域地理範圍內的特定區域位置,而非對應的 BigQuery 虛擬區域。如果強制在沒有中繼資料的虛擬區域執行查詢,查詢會失敗並顯示 NOT_FOUND 錯誤。

如要解決這個問題,請在建立目錄時指定主要位置 (例如 US 或 EU)。詳情請參閱「指定美國和歐盟多區域的主要區域」。