一般的なボーダレス Lakehouse の問題のトラブルシューティング

このページでは、ボーダレス Lakehouse とその関連リソースに関する一般的な問題を解決する方法について説明します。

メタデータ テーブルをクエリできない

この問題は、5 つの部分からなる名前識別子を使用して、BigQuery の Lakehouse ランタイム カタログでサポートされている Apache Iceberg テーブルのメタデータ テーブル(.snapshots.files など)をクエリするときに発生します。

この問題を解決するには、Apache Spark を使用してこれらのテーブルにクエリを実行します。

metadata.json ファイルのサイズ上限

Apache Iceberg の metadata.json ファイルサイズは 1 MB に制限されています。この上限は、テーブル スナップショット、スキーマ、パーティション仕様を追跡するメタデータ ファイルに適用されます。メタデータ ファイルがこのサイズを超えると、Apache Iceberg REST カタログ エンドポイントを介してテーブル オペレーションを実行するときにエラーが発生する可能性があります。

この問題を解決するには、Google アカウント チームに連絡して上限の引き上げをリクエストします。

マルチリージョン カタログのクエリ時に NOT_FOUND エラーが発生する

この問題は、プライマリ ロケーションを指定せずにマルチリージョン Cloud Storage バケットを使用して Lakehouse ランタイム カタログにカタログを作成し、BigQuery 仮想リージョン(USEU など)を指定してカタログのクエリを実行しようとすると発生します。

マルチリージョン バケットを使用してカタログを作成すると、そのメタデータは対応する BigQuery 仮想リージョンではなく、マルチリージョンの地理的範囲内の特定のリージョン ロケーションに保存されます。メタデータが存在しない仮想リージョンでクエリを強制的に実行すると、クエリは NOT_FOUND エラーで失敗します。

この問題を解決するには、カタログの作成時にプライマリ ロケーション(USEU など)を指定します。詳細については、米国と EU のマルチリージョンのプライマリ リージョンを指定するをご覧ください。