一般的なボーダレス Lakehouse の問題のトラブルシューティング

ボーダーレス Lakehouse とそれに関連するリソースのエラー(メタデータ テーブル クエリ、metadata.json ファイルサイズの上限、マルチリージョン カタログ構成の問題など)を診断して解決できます。これらの問題に対処すると、レイクハウス ワークロード全体でテーブル オペレーションとクエリ実行を復元できます。

メタデータ テーブルをクエリできない

この問題は、BigQuery の Lakehouse ランタイム カタログでサポートされている Apache Iceberg テーブルのメタデータ テーブル(.snapshots や .files など)を 5 つの部分からなる名前識別子を使用してクエリすると発生します。

この問題を解決するには、Apache Spark を使用してこれらのテーブルにクエリを実行します。

metadata.json ファイルサイズの上限

Apache Iceberg metadata.json ファイルサイズは 1 MB に制限されています。この上限は、テーブル スナップショット、スキーマ、パーティション仕様を追跡するメタデータ ファイルに適用されます。メタデータ ファイルがこのサイズを超えると、Apache Iceberg REST カタログ エンドポイントを介してテーブル オペレーションを実行するときにエラーが発生することがあります。

この問題を解決するには、Google アカウント チームに連絡して上限の引き上げをリクエストしてください。

マルチリージョン カタログのクエリ時に NOT_FOUND エラーが発生する

この問題は、プライマリ ロケーションを指定せずにマルチリージョン Cloud Storage バケットを使用して Lakehouse ランタイム カタログにカタログを作成し、BigQuery 仮想リージョン(US や EU など)を指定してカタログをクエリしようとしたときに発生します。

マルチリージョン バケットを使用してカタログを作成すると、そのメタデータは、対応する BigQuery 仮想リージョンではなく、マルチリージョンの地理的範囲内の特定のリージョン ロケーションに保存されます。メタデータが存在しない仮想リージョンでクエリを強制的に実行すると、クエリは NOT_FOUND エラーで失敗します。

この問題を解決するには、カタログの作成時にプライマリ ロケーション(US や EU など)を指定します。詳細については、米国と EU のマルチリージョンのプライマリ リージョンを指定するをご覧ください。