"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

Lakehouse ランタイムカタログでメタデータを使用して Apache Iceberg テーブルを作成する

このドキュメントでは、Managed Service for Apache Spark クラスタで実行されている Managed Service for Apache Spark Jobs サービス、Spark SQL CLI、または Zeppelin ウェブインターフェースを使用して、メタデータが Lakehouse ランタイムカタログに保存された Apache Iceberg テーブルを作成する方法を示します。

始める前に

まだ作成していない場合は、 Google Cloud プロジェクト、Cloud Storage バケット、Managed Service for Apache Spark クラスタを作成します。

プロジェクトを設定する
プロジェクトの Cloud Storage バケットを作成します。
1. Google Cloud コンソールで、Cloud Storage の [バケット] ページに移動します。
  [バケット] に移動
2. [ 作成] をクリックします。
3. [バケットの作成] ページでユーザーのバケット情報を入力します。次のステップに進むには、[続行] をクリックします。
  1. [始める] セクションで、次の操作を行います。
    - バケット名の要件を満たす、グローバルに一意の名前を入力します。
    - バケットラベルを追加するには、[ラベル] セクション（）を開き、[ ラベルを追加] をクリックして、ラベルの key と value を指定します。
  2. [データの保存場所の選択] セクションで、次の操作を行います。
    1. ロケーションタイプを選択してください。
    2. [ロケーションタイプ] プルダウンメニューから、バケットのデータが永続的に保存されるロケーションを選択します。
      - ロケーションタイプとして [デュアルリージョン] を選択した場合は、関連するチェックボックスを使用してターボレプリケーションを有効にすることもできます。
    3. クロスバケットレプリケーションを設定するには、[Storage Transfer Service 経由でクロスバケットレプリケーションを追加する] を選択し、次の手順を実施します。
      クロスバケットレプリケーションを設定する
      
      [バケット] メニューで、バケットを選択します。
      
      [レプリケーション設定] セクションで、[構成] をクリックして、レプリケーションジョブの設定を構成します。
      
      [クロスバケットレプリケーションを構成する] ペインが表示されます。
      
      オブジェクト名の接頭辞で複製するオブジェクトをフィルタするには、オブジェクトを追加または除外する接頭辞を入力し、 [接頭辞を追加] をクリックします。
      
      複製されたオブジェクトのストレージクラスを設定するには、[ストレージクラス] メニューからストレージクラスを選択します。この手順をスキップすると、複製されたオブジェクトはデフォルトで宛先バケットのストレージクラスを使用します。
      
      [完了] をクリックします。
  3. [データの保存場所を選択する] セクションで、次の操作を行います。
    1. バケットのデフォルトのストレージクラスを選択するか、バケットデータのストレージクラスを自動的に管理する Autoclass を選択します。
    2. 階層名前空間を有効にするには、[データ量が多いワークロード向けにストレージを最適化] セクションで、[このバケットで階層的な名前空間を有効にする] を選択します。
      注: 既存のバケットで階層型名前空間を有効にすることはできません。
  4. [オブジェクトへのアクセスを制御する方法を選択する] セクションで、バケットに公開アクセスの防止を適用するかどうかを選択し、バケットのオブジェクトに使用するアクセス制御方法を選択します。
    注: この設定が組織のポリシーで適用されている場合、[公開アクセスの防止] 設定を変更することはできません。
  5. [オブジェクトデータを保護する方法を選択する] セクションで、次の操作を行います。
    - [データ保護] で、バケットに設定するオプションを選択します。
      - 削除（復元可能）を有効にするには、[削除（復元可能）ポリシー（データ復元用）] チェックボックスをオンにして、削除後にオブジェクトを保持する日数を指定します。
      - オブジェクトのバージョニングを設定するには、[オブジェクトのバージョニング（バージョン管理用）] チェックボックスをオンにして、オブジェクトあたりの最大バージョン数と、非現行バージョンの有効期限が切れるまでの日数を指定します。
      - オブジェクトとバケットで保持ポリシーを有効にするには、[保持（コンプライアンス用）] チェックボックスをオンにして、次の操作を行います。
        
        オブジェクト保持ロックを有効にするには、[オブジェクト保持を有効にする] チェックボックスをオンにします。
        
        バケットロックを有効にするには、[バケット保持ポリシーを設定] チェックボックスをオンにして、保持期間の単位と期間を選択します。
    - オブジェクトデータの暗号化方法を選択するには、[データ暗号化] セクション（）を開き、データの暗号化方法を選択します。
4. [作成] をクリックします。
Managed Service for Apache Spark クラスタを作成します。リソースと費用を節約するには、このドキュメントで説明する例の実行用に単一ノードの Managed Service for Apache Spark クラスタを作成します。
- クラスタが作成されるリージョンのサブネットで、プライベート Google アクセス（PGA）を有効にする必要があります。
  デフォルトでは、2.2（デフォルト）以降のイメージバージョンで作成された Managed Service for Apache Spark クラスタ VM には、内部 IP アドレスのみがあります。クラスタ VM が Google API と通信できるようにするには、クラスタが作成されたリージョンの default（またはユーザー指定のネットワーク名）のネットワークサブネットでプライベート Google アクセスを有効にします。
- このガイドの Zeppelin ウェブインターフェースの例を実行する場合は、Zeppelin オプションコンポーネントが有効になっている Managed Service for Apache Spark クラスタを使用または作成する必要があります。
カスタムサービスアカウントにロールを付与します（必要な場合）。デフォルトでは、Managed Service for Apache Spark クラスタ VM は Compute Engine のデフォルトのサービスアカウントを使用して Managed Service for Apache Spark とやり取りします。クラスタの作成時にカスタムサービスアカウントを指定する場合は、Managed Service for Apache Spark ワーカーロール（roles/dataproc.worker）または必要なワーカーロール権限を持つカスタムロールが必要です。

OSS データベースと BigQuery データセットのマッピング

オープンソースデータベースと BigQuery データセットの用語のマッピングは次のとおりです。

OSS データベース	BigQuery データセット
名前空間、データベース	データセット
パーティション分割ありまたはパーティション分割なしのテーブル	テーブル
ビュー	ビュー

Iceberg テーブルを作成する

このセクションでは、Managed Service for Apache Spark クラスタで実行される Managed Service for Apache Spark、Spark SQL CLI、Zeppelin コンポーネントウェブインターフェースに Spark SQL コードを送信して、メタデータが Lakehouse ランタイムカタログに保存された Iceberg テーブルを作成する方法を示します。

Managed Service for Apache Spark ジョブ

Managed Service for Apache Spark にジョブを送信するには、Google Cloud コンソールまたは Google Cloud CLI を使用して Managed Service for Apache Spark クラスタにジョブを送信するか、HTTP REST リクエストまたはプログラムによる gRPC Managed Service for Apache Spark Cloud クライアントライブラリで Jobs API を呼び出します。

このセクションの例では、gcloud CLI、 Google Cloud コンソール、または REST API を使用して、Managed Service for Apache Spark Spark SQL ジョブを Managed Service for Apache Spark サービスに送信し、メタデータが BigQuery に保存された Iceberg テーブルを作成する方法を示します。

ジョブファイルを準備する

次の手順で Spark SQL ジョブファイルを作成します。このファイルには、Iceberg テーブルの作成と更新を行う Spark SQL コマンドが含まれます。

ローカルターミナルウィンドウまたは Cloud Shell で、vi や nano などのテキストエディタを使用して、次のコマンドを iceberg-table.sql ファイルにコピーし、ファイルを現在のディレクトリに保存します。
```
USE CATALOG_NAME;
CREATE NAMESPACE IF NOT EXISTS example_namespace;
USE example_namespace;
DROP TABLE IF EXISTS example_table;
CREATE TABLE example_table (id int, data string) USING ICEBERG LOCATION 'gs://BUCKET/WAREHOUSE_FOLDER';
INSERT INTO example_table VALUES (1, 'first row');
ALTER TABLE example_table ADD COLUMNS (newDoubleCol double);
DESCRIBE TABLE example_table;
```
次のように置き換えます。
- CATALOG_NAME: Iceberg カタログ名。
- BUCKET と WAREHOUSE_FOLDER: Iceberg ウェアハウスに使用する Cloud Storage バケットとフォルダ。
gcloud CLI を使用して、ローカルの iceberg-table.sql を Cloud Storage のバケットにコピーします。
```
gcloud storage cp iceberg-table.sql gs://BUCKET/
```

次に、iceberg-spark-runtime-3.5_2.12-1.6.1 JAR ファイルをダウンロードして Cloud Storage にコピーします。

ローカルターミナルウィンドウまたは Cloud Shell で次の curl コマンドを実行して、iceberg-spark-runtime-3.5_2.12-1.6.1 JAR ファイルを現在のディレクトリにダウンロードします。
```
curl -o iceberg-spark-runtime-3.5_2.12-1.6.1.jar https://storage-download.googleapis.com/maven-central/maven2/org/apache/iceberg/iceberg-spark-runtime-3.5_2.12/1.6.1/iceberg-spark-runtime-3.5_2.12-1.6.1.jar
```
gcloud CLI を使用して、ローカルの iceberg-spark-runtime-3.5_2.12-1.6.1 JAR ファイルを現在のディレクトリから Cloud Storage のバケットにコピーします。
```
gcloud storage cp iceberg-spark-runtime-3.5_2.12-1.6.1.jar gs://BUCKET/
```

Spark SQL ジョブを送信する

対応するタブの手順に従って、gcloud CLI、Google Cloud コンソール、または Managed Service for Apache Spark REST API を使用して Spark SQL ジョブを Managed Service for Apache Spark に送信します。

gcloud

次の gcloud dataproc jobs submit spark-sql コマンドをローカルターミナルウィンドウでローカルに実行するか Cloud Shell で実行して、Iceberg テーブルを作成するための Spark SQL ジョブを送信します。
```
gcloud dataproc jobs submit spark-sql \
    --project=PROJECT_ID \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --jars="gs://BUCKET/1.6.1/iceberg-spark-runtime-3.5_2.12-1.6.1.jar,BIGLAKE_ICEBERG_CATALOG_JAR" \
    --properties="spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,spark.sql.catalog.CATALOG_NAME.catalog-impl=org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog,spark.sql.catalog.CATALOG_NAME.gcp_project=PROJECT_ID,spark.sql.catalog.CATALOG_NAME.gcp_location=LOCATION,spark.sql.catalog.CATALOG_NAME.warehouse=gs://BUCKET/WAREHOUSE_FOLDER" \
    -f="gs://BUCKETiceberg-table.sql"
```
注:
- PROJECT_ID: 実際の Google Cloud プロジェクト ID。プロジェクト ID は、 Google Cloud コンソールのダッシュボードの [プロジェクト情報] セクションに表示されます。
- CLUSTER_NAME: Managed Service for Apache Spark クラスタの名前。
- REGION: クラスタが配置されている Compute Engine リージョン。
- BIGLAKE_ICEBERG_CATALOG_JAR: 使用する Iceberg カスタムカタログプラグインの Cloud Storage URI。Iceberg のバージョン番号に応じて、次のいずれかを選択します。
  - Iceberg 1.9.1: gs://spark-lib/bigquery/iceberg-bigquery-catalog-1.9.1-1.0.1.jar
  - Iceberg 1.6.1: gs://spark-lib/bigquery/iceberg-bigquery-catalog-1.6.1-1.0.2.jar
- CATALOG_NAME: Iceberg カタログ名。
- BUCKET と WAREHOUSE_FOLDER: Iceberg ウェアハウスに使用する Cloud Storage バケットとフォルダ。
- LOCATION: サポートされている BigQuery のロケーション。デフォルトのロケーションは「US」です。
- --jars: Lakehouse ランタイムカタログにテーブルのメタデータを作成するために必要な JAR がリストされています。
- --properties: カタログのプロパティ。
- -f: Cloud Storage のバケットにコピーした iceberg-table.sql ジョブファイル。

ジョブが完了したら、ターミナル出力でテーブルの説明を確認します。

Time taken: 2.194 seconds
id                      int
data                    string
newDoubleCol            double
Time taken: 1.479 seconds, Fetched 3 row(s)
Job JOB_ID finished successfully.

BigQuery でテーブルのメタデータを確認します。
1. Google Cloud コンソールで、[BigQuery] ページに移動します。
  
  [BigQuery Studio] に移動
2. Iceberg テーブルのメタデータを確認します。

コンソール

次の手順で、 Google Cloud コンソールを使用して Spark SQL ジョブを Managed Service for Apache Spark に送信し、メタデータが Lakehouse ランタイムカタログに保存された Iceberg テーブルを作成します。

Google Cloud コンソールで、Managed Service for Apache Spark の [ジョブの送信] に移動します。

[ジョブを送信] ページに移動し、次のフィールドに入力します。

ジョブ ID: 提示された ID を使用するか、独自の ID を挿入します。
リージョン: クラスタが配置されているリージョンを選択します。
クラスタ: クラスタを選択します。
ジョブタイプ: SparkSql を選択します。
クエリソースのタイプ: Query file を選択します。
クエリファイル: gs://BUCKET/iceberg-table.sql を挿入します。

JAR ファイル: 以下を挿入します。

gs://BUCKET/iceberg-spark-runtime-3.5_2.12-1.6.1.jar,BIGLAKE_ICEBERG_CATALOG_JAR

BIGLAKE_ICEBERG_CATALOG_JAR: 使用する Iceberg カスタムカタログプラグインの Cloud Storage URI。Iceberg のバージョン番号に応じて、次のいずれかを選択します。
- Iceberg 1.9.1: gs://spark-lib/bigquery/iceberg-bigquery-catalog-1.9.1-1.0.1.jar
- Iceberg 1.6.1: gs://spark-lib/bigquery/iceberg-bigquery-catalog-1.6.1-1.0.2.jar

プロパティ: [プロパティを追加] を 5 回クリックして 5 つの key value 入力フィールドのリストを作成し、次のキーと値のペアをコピーして 5 つのプロパティを定義します。

#	キー	値
1.	`spark.sql.catalog.CATALOG_NAME`	`org.apache.iceberg.spark.SparkCatalog`
2.	`spark.sql.catalog.CATALOG_NAME.catalog-impl`	`org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog`
3.	`spark.sql.catalog.CATALOG_NAME.gcp_project`	`PROJECT_ID`
4.	`spark.sql.catalog.CATALOG_NAME.gcp_location`	`LOCATION`
5.	`spark.sql.catalog.CATALOG_NAME.warehouse`	`gs://BUCKET/WAREHOUSE_FOLDER`

注:

CATALOG_NAME: Iceberg カタログ名。
PROJECT_ID: 実際の Google Cloud プロジェクト ID。プロジェクト ID は、 Google Cloud コンソールのダッシュボードの [プロジェクト情報] セクションに表示されます。クラスタが配置されているリージョン。
LOCATION: サポートされている BigQuery のロケーション。デフォルトのロケーションは「US」です。
BUCKET と WAREHOUSE_FOLDER: Iceberg ウェアハウスに使用する Cloud Storage バケットとフォルダ。

[送信] をクリックします。
ジョブの進行状況をモニタリングしてジョブ出力を確認するには、 Google Cloud コンソールで Managed Service for Apache Spark の [ジョブ] ページに移動し、Job ID をクリックして [ジョブの詳細] ページを開きます。
BigQuery でテーブルのメタデータを確認します。
1. Google Cloud コンソールで、[BigQuery] ページに移動します。
  
  [BigQuery Studio] に移動
2. Iceberg テーブルのメタデータを確認します。

REST

Managed Service for Apache Spark jobs.submit API を使用して Spark SQL ジョブを Managed Service for Apache Spark に送信し、メタデータが Lakehouse ランタイムカタログに保存された Iceberg テーブルを作成できます。

リクエストのデータを使用する前に、次のように置き換えます。

PROJECT_ID: 実際の Google Cloud プロジェクト ID。プロジェクト ID は、 Google Cloud コンソールのダッシュボードの [プロジェクト情報] セクションに表示されます。
CLUSTER_NAME: Managed Service for Apache Spark クラスタの名前。
REGION: クラスタが配置されている Compute Engine リージョン。
CATALOG_NAME: Iceberg カタログ名。
BUCKET と WAREHOUSE_FOLDER: Iceberg ウェアハウスに使用する Cloud Storage バケットとフォルダ。

LOCATION

BigQuery のロケーション

BIGLAKE_ICEBERG_CATALOG_JAR: 使用する Iceberg カスタムカタログプラグインの Cloud Storage URI。Iceberg のバージョン番号に応じて、次のいずれかを選択します。
- Iceberg 1.9.1: gs://spark-lib/bigquery/iceberg-bigquery-catalog-1.9.1-1.0.1.jar
- Iceberg 1.6.1: gs://spark-lib/bigquery/iceberg-bigquery-catalog-1.6.1-1.0.2.jar
jarFileUris: BigQuery metastore にテーブルのメタデータを作成するために必要な JAR がリストされています。
properties: カタログのプロパティ。
queryFileUri: Cloud Storage のバケットにコピーした iceberg-table.sql ジョブファイル。

HTTP メソッドと URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/jobs:submit

リクエストの本文（JSON）:

{
  "projectId": "PROJECT_ID",
  "job": {
    "placement": {
      "clusterName": "CLUSTER_NAME"
    },
    "statusHistory": [],
    "reference": {
      "jobId": "",
      "projectId": "PROJECT_ID"
    },
    "sparkSqlJob": {
      "properties": {
        "spark.sql.catalog."CATALOG_NAME": "org.apache.iceberg.spark.SparkCatalog",
        "spark.sql.catalog."CATALOG_NAME".catalog-impl": "org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog",
        "spark.sql.catalog."CATALOG_NAME".gcp_project": "PROJECT_ID",
        "spark.sql.catalog."CATALOG_NAME".gcp_location": "LOCATION",
        "spark.sql.catalog."CATALOG_NAME".warehouse": "gs://BUCKET/WAREHOUSE_FOLDER"
      },
      "jarFileUris": [
        "gs://BUCKET/iceberg-spark-runtime-3.5_2.12-1.6.1.jar,BIGLAKE_ICEBERG_CATALOG_JAR"
      ],
      "scriptVariables": {},
      "queryFileUri": "gs://BUCKET/iceberg-table.sql"
    }
  }
}

リクエストを送信するには、次のいずれかのオプションを展開します。

curl（Linux、macOS、Cloud Shell）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ユーザーアカウントで gcloud CLI にログインしているか、Cloud Shell を使用して自動的に gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/jobs:submit"

PowerShell（Windows）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ご自分のユーザーアカウントで gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/jobs:submit" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

{
  "reference": {
    "projectId": "PROJECT_ID",
    "jobId": "..."
  },
  "placement": {
    "clusterName": "CLUSTER_NAME",
    "clusterUuid": "..."
  },
  "status": {
    "state": "PENDING",
    "stateStartTime": "..."
  },
  "submittedBy": "USER",
  "sparkSqlJob": {
    "queryFileUri": "gs://BUCKET/iceberg-table.sql",
    "properties": {
      "spark.sql.catalog.USER_catalog": "org.apache.iceberg.spark.SparkCatalog",
      "spark.sql.catalog.USER_catalog.catalog-impl": "org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog",
      "spark.sql.catalog.USER_catalog.gcp_project": "PROJECT_ID",
      "spark.sql.catalog.USER_catalog.gcp_location": "LOCATION",
      "spark.sql.catalog.USER_catalog.warehouse": "gs://BUCKET/WAREHOUSE_FOLDER"
    },
    "jarFileUris": [
      "gs://BUCKET/iceberg-spark-runtime-3.5_2.12-1.6.1.jar",
      "BIGLAKE_ICEBERG_CATALOG_JAR"
    ]
  },
  "driverControlFilesUri": "gs://dataproc-...",
  "driverOutputResourceUri": "gs://dataproc-.../driveroutput",
  "jobUuid": "...",
  "region": "REGION"
}

ジョブの進行状況をモニタリングしてジョブ出力を確認するには、 Google Cloud コンソールで Managed Service for Apache Spark の [ジョブ] ページに移動し、Job ID をクリックして [ジョブの詳細] ページを開きます。

BigQuery でテーブルのメタデータを確認します。

Google Cloud コンソールで、[BigQuery] ページに移動します。

[BigQuery Studio] に移動
Iceberg テーブルのメタデータを確認します。

Spark SQL CLI

次の手順では、Managed Service for Apache Spark クラスタのマスターノードで実行されている Spark SQL CLI を使用して、テーブルメタデータが Lakehouse ランタイムカタログに保存された Iceberg テーブルを作成する方法を示します。

SSH を使用して、Managed Service for Apache Spark クラスタのマスターノードに接続します。

SSH セッションターミナルで、vi または nano テキストエディタを使用して、次のコマンドを iceberg-table.sql ファイルにコピーします。

SET CATALOG_NAME = `CATALOG_NAME`;
SET BUCKET = `BUCKET`;
SET WAREHOUSE_FOLDER = `WAREHOUSE_FOLDER`;
USE `${CATALOG_NAME}`;
CREATE NAMESPACE IF NOT EXISTS `${CATALOG_NAME}`.example_namespace;
DROP TABLE IF EXISTS `${CATALOG_NAME}`.example_namespace.example_table;
CREATE TABLE `${CATALOG_NAME}`.example_namespace.example_table (id int, data string) USING ICEBERG LOCATION 'gs://${BUCKET}/${WAREHOUSE_FOLDER}';
INSERT INTO `${CATALOG_NAME}`.example_namespace.example_table VALUES (1, 'first row');
ALTER TABLE `${CATALOG_NAME}`.example_namespace.example_table ADD COLUMNS (newDoubleCol double);
DESCRIBE TABLE `${CATALOG_NAME}`.example_namespace.example_table;

次のように置き換えます。

CATALOG_NAME: Iceberg カタログ名。
BUCKET と WAREHOUSE_FOLDER: Iceberg ウェアハウスに使用する Cloud Storage バケットとフォルダ。

SSH セッションターミナルで、次の spark-sql コマンドを実行して Iceberg テーブルを作成します。
```
spark-sql \
--packages org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.6.1 \
--jars https://storage-download.googleapis.com/maven-central/maven2/org/apache/iceberg/iceberg-spark-runtime-3.5_2.12/1.6.1/iceberg-spark-runtime-3.5_2.12-1.6.1.jar,BIGLAKE_ICEBERG_CATALOG_JAR \
--conf spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog \
--conf spark.sql.catalog.CATALOG_NAME.catalog-impl=org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog \
--conf spark.sql.catalog.CATALOG_NAME.gcp_project=PROJECT_ID \
--conf spark.sql.catalog.CATALOG_NAME.gcp_location=LOCATION \
--conf spark.sql.catalog.CATALOG_NAME.warehouse=gs://BUCKET/WAREHOUSE_FOLDER \
-f iceberg-table.sql
```
次のように置き換えます。
- BIGLAKE_ICEBERG_CATALOG_JAR: 使用する Iceberg カスタムカタログプラグインの Cloud Storage URI。Iceberg のバージョン番号に応じて、次のいずれかを選択します。
  - Iceberg 1.9.1: gs://spark-lib/bigquery/iceberg-bigquery-catalog-1.9.1-1.0.1.jar
  - Iceberg 1.6.1: gs://spark-lib/bigquery/iceberg-bigquery-catalog-1.6.1-1.0.2.jar
- PROJECT_ID: 実際の Google Cloud プロジェクト ID。プロジェクト ID は、 Google Cloud コンソールのダッシュボードの [プロジェクト情報] セクションに表示されます。
- LOCATION: サポートされている BigQuery のロケーション。デフォルトのロケーションは「US」です。
BigQuery でテーブルのメタデータを確認します。
1. Google Cloud コンソールで、[BigQuery] ページに移動します。
  
  [BigQuery Studio] に移動
2. Iceberg テーブルのメタデータを確認します。

Zeppelin ウェブインターフェース

次の手順では、Managed Service for Apache Spark クラスタのマスターノードで実行されている Zeppelin ウェブインターフェースを使用して、テーブルメタデータが Lakehouse ランタイムカタログに保存された Iceberg テーブルを作成する方法を示します。

Google Cloud コンソールで、Managed Service for Apache Spark の [クラスタ] ページに移動します。

Managed Service for Apache Spark クラスタのページに移動します
クラスタ名を選択して [クラスタの詳細] ページを開きます。
[ウェブインターフェース] タブをクリックすると、クラスタにインストールされているデフォルトコンポーネントとオプションコンポーネントのウェブインターフェースへのリンクのリストが [コンポーネントゲートウェイ] に表示されます。
[Zeppelin] リンクをクリックして Zeppelin ウェブインターフェースを開きます。
Zeppelin ウェブインターフェースで [anonymous] メニューをクリックし、[Interpreter] をクリックして [Interpreters] ページを開きます。
次のように、2 つの JAR を Zeppelin Spark インタープリタに追加します。
1. [Search interpreters] ボックスに「Spark」と入力して、Spark インタープリタセクションまでスクロールします。
2. [edit] をクリックします。
3. [spark.jars] フィールドに次の内容を貼り付けます。
```
https://storage-download.googleapis.com/maven-central/maven2/org/apache/iceberg/iceberg-spark-runtime-3.5_2.12/1.6.1/iceberg-spark-runtime-3.5_2.12-1.6.1.jar,BIGLAKE_ICEBERG_CATALOG_JAR
```
4. 次のメモを追加します。
  - BIGLAKE_ICEBERG_CATALOG_JAR: 使用する Iceberg カスタムカタログプラグインの Cloud Storage URI。Iceberg のバージョン番号に応じて、次のいずれかを選択します。
  - Iceberg 1.9.1: gs://spark-lib/bigquery/iceberg-bigquery-catalog-1.9.1-1.0.1.jar
  - Iceberg 1.6.1: gs://spark-lib/bigquery/iceberg-bigquery-catalog-1.6.1-1.0.2.jar
5. Spark インタープリタセクションの下部にある [Save] をクリックしてから、[OK] をクリックしてインタープリタを更新し、新しい設定で Spark インタープリタを再起動します。
Zeppelin ノートブックのメニューで、[Create new note] をクリックします。
[Create new note] ダイアログでノートブックの名前を入力し、デフォルトの spark インタープリタを受け入れます。[Create] をクリックしてノートブックを開きます。

変数を入力してから、次の PySpark コードを Zeppelin ノートブックにコピーします。

%pyspark

from pyspark.sql import SparkSession

project_id = "PROJECT_ID"
catalog = "CATALOG_NAME"
namespace = "NAMESPACE"
location = "LOCATION"
warehouse_dir = "gs://BUCKET/WAREHOUSE_DIRECTORY"

spark = SparkSession.builder \
.appName("BigQuery Metastore Iceberg") \
.config(f"spark.sql.catalog.{catalog}", "org.apache.iceberg.spark.SparkCatalog") \
.config(f"spark.sql.catalog.{catalog}.catalog-impl", "org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog") \
.config(f"spark.sql.catalog.{catalog}.gcp_project", f"{project_id}") \
.config(f"spark.sql.catalog.{catalog}.gcp_location", f"{location}") \
.config(f"spark.sql.catalog.{catalog}.warehouse", f"{warehouse_dir}") \
.getOrCreate()

spark.sql(f"USE `{catalog}`;")
spark.sql(f"CREATE NAMESPACE IF NOT EXISTS `{namespace}`;")
spark.sql(f"USE `{namespace}`;")

\# Create table and display schema (without LOCATION)
spark.sql("DROP TABLE IF EXISTS example_iceberg_table")
spark.sql("CREATE TABLE example_iceberg_table (id int, data string) USING ICEBERG")
spark.sql("DESCRIBE example_iceberg_table;")

\# Insert table data.
spark.sql("INSERT INTO example_iceberg_table VALUES (1, 'first row');")

\# Alter table, then display schema.
spark.sql("ALTER TABLE example_iceberg_table ADD COLUMNS (newDoubleCol double);")

\# Select and display the contents of the table.
spark.sql("SELECT * FROM example_iceberg_table").show()