Google Cloud Lakehouse では、 Lakehouse ランタイム カタログ を 使用して、 Lakehouse Iceberg REST カタログ テーブル のメタデータを Cloud Storage に保存します。
このドキュメントでは、gcloud CLI を使用して、テーブルレベルで Identity and Access Management(IAM)ポリシーを取得して設定し、これらのリソースへのアクセスを制御する方法について説明します。
認証情報ベンダーの仕組み
認証情報ベンダーを使用する場合、データの読み取り前にポリシーを適用するため、クエリ処理シーケンスが若干変更されます。
- リクエスト: ユーザーがサポートされているエンジン(Apache Spark や BigQuery など)に SQL クエリを送信します。
- メタデータのルックアップ: エンジンは Lakehouse ランタイム カタログにリクエストを送信して、テーブルを解決します。
- 認証とポリシー: カタログはユーザーを認証し、Google Cloud Lakehouse リソースに対する IAM 権限を確認します。
- レスポンス: 認証情報ベンダーが有効になっているため、カタログはメタデータと有効期間の短いストレージ トークン (スコープが絞り込まれたストレージ認証情報)をエンジンに返します。
- 読み取り: エンジンはこのトークンを使用して、承認された特定のファイルを Cloud Storage から直接読み取ります。
- コンピューティング: エンジンはデータを処理し、結果を返します。
サポートされているエンジン
クエリエンジンで認証情報ベンダーを使用するには、Lakehouse Iceberg REST カタログが認証情報ベンダーをサポートするように構成されている必要があります。
- オープンソース エンジン: Apache Spark や Trino などのサポートされているエンジンは、カタログによって提供される有効期間の短いストレージ トークンを使用します。クライアント アプリケーションは、
X-Iceberg-Access-Delegationヘッダーで認証情報ベンダーのサポートを指定する必要があります。 - BigQuery: BigQuery は、エンドユーザーの認証情報ではなく、Cloud Storage アクセスに提供された認証情報を使用します。
次のステップ
- 認証情報ベンダーモードでカタログを作成する方法を学習する。
- コンソールを使用して既存のカタログで認証情報ベンダーを有効にする方法をGoogle Cloud 学習する。
- 認証情報ベンダー用にクライアント アプリケーションを構成する方法を学習する。