AlloyDB for PostgreSQL から BigQuery にアクセスする

プレビュー版

この機能は サービス固有の規約の対象となります。 一般提供前の機能は「現状のまま」で提供されるものであり、サポートが制限されることがあります。 詳細については、リリース ステージの説明をご覧ください。

このリリースへのアクセスについては、アクセス リクエスト ページをご覧ください。

このページでは、BigQuery 外部データラッパーを使用して、BigQuery を使用して保存またはアクセス可能なデータに AlloyDB for PostgreSQL インターフェースからアクセスする方法について説明します。データは、ネイティブ テーブル、BigLake 外部テーブル、または BigQuery 内の Apache Iceberg 用 BigLake テーブルとして BigQuery に保存できます。詳細については、AlloyDB の BigQuery ビューの概要をご覧ください。

このページでは、AlloyDB クラスタとプライマリ インスタンスを作成しており、BigQuery のデータセットとテーブルがあることを前提としています。詳細については、データセットの作成とテーブルの作成と使用をご覧ください。

始める前に

1. クラスタの BigQuery ビュー機能へのアクセスをリクエストし、有効化の確認が届いたら、このページの手順に沿って操作してください。
2. サポートされている BigQuery のデータ型と列のマッピングについて理解しておいてください。
Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

3. AlloyDB for PostgreSQL の作成と接続に必要な Cloud APIs を有効にします。

   API を有効にする

4. [プロジェクトを確認] の手順で、[次へ] をクリックして、変更するプロジェクトの名前を確認します。

5. [API を有効にする] の手順で、[有効にする] をクリックして、次の機能を有効にします。

   • AlloyDB API
   • Compute Engine API
   • Cloud Resource Manager API
   • Service Networking API
   • BigQuery Storage API

   AlloyDB と同じ Google Cloud プロジェクトにある VPC ネットワークを使用して AlloyDB へのネットワーク接続を構成する場合は、Service Networking API が必要です。

   別の Google Cloud プロジェクトにある VPC ネットワークを使用して AlloyDB へのネットワーク接続を構成する場合は、Compute Engine API と Cloud Resource Manager API が必要です。

必要なロール

AlloyDB クラスタのサービス アカウントに BigQuery データセットへの読み取りアクセス権を付与するには、次の権限が必要です。詳細については、AlloyDB に BigQuery データセットへのアクセス権を付与するをご覧ください。

• BigQuery データ閲覧者（roles/bigquery.dataViewer）、または bigquery.tables.get 権限と bigquery.tables.getData 権限を含むカスタムロール。このロールをテーブルまたはビューに付与すると、テーブルまたはビューからデータとメタデータを読み取る権限が付与されます。
• BigQuery 読み取りセッション ユーザー（roles/bigquery.readSessionUser）、または bigquery.readsessions.create 権限と bigquery.readsessions.getData 権限を含むカスタムロール。読み取りセッションを作成および使用する権限が付与されます。

AlloyDB に BigQuery データセットへのアクセス権を付与する

AlloyDB クラスタで BigQuery ビュー機能が有効になったら、AlloyDB クラスタのサービス アカウントに BigQuery データセットへのアクセス権を付与します。

gcloud CLI を使用するには、Google Cloud CLI をインストールして初期化するか、Cloud Shell を使用します。

1. gcloud CLI を開きます。gcloud CLI がインストールされていない場合は、gcloud CLI をインストールして初期化するか、Cloud Shell を使用します。

2. gcloud beta alloydb clusters describe コマンドを実行します。

   gcloud beta alloydb clusters describe CLUSTER --region=REGION

   次のように置き換えます。

   • CLUSTER: AlloyDB クラスタ ID。
   • REGION: AlloyDB クラスタのロケーション（例: asia-east1、us-east1）。リージョンの一覧については、インスタンスのロケーションの管理をご覧ください。

   出力には、このクラスタのサービス アカウントである serviceAccountEmail フィールドが含まれます。

3. 必要な権限を付与します。詳細については、IAM を使用してリソースへのアクセスを制御するをご覧ください。

   クラスタのサービス アカウントに必要な権限がない場合、BigQuery テーブルに対してクエリを実行すると、次のエラーが表示されます。

   • The user does not have bigquery.readsessions.create permissions
   • Permission bigquery.tables.get denied on table
   • Permission bigquery.tables.getData denied on table
   注: bigquery.readsessions.getData が指定されていない場合は、エラーなしで空の結果が返されます。

拡張機能を構成する

1. 拡張機能を作成します。

   1. psql クライアントをインスタンスに接続するの手順に沿って、psql クライアントを使用して AlloyDB インスタンスに接続します。または、AlloyDB Studio を使用することもできます。詳細については、 Google Cloud コンソールを使用してデータを管理するをご覧ください。

   2. 次のコマンドを実行します。

      CREATE EXTENSION bigquery_fdw;
      

      注: この拡張機能は、BigQuery データセットにアクセスする必要があるすべてのデータベースに作成する必要があります。

2. 外部サーバーを作成して、リモート BigQuery データセットの接続パラメータを定義します。

   CREATE SERVER BIGQUERY_SERVER_NAME FOREIGN DATA WRAPPER bigquery_fdw;
   

   次のように置き換えます。

   • BIGQUERY_SERVER_NAME: 外部サーバーの固有識別子。これは、特定のデータベースで 1 回定義します。BIGQUERY_SERVER_NAME は、実際のサーバー名に置き換えることができます。

3. CREATE USER MAPPING コマンドを実行してユーザー マッピングを作成します。このコマンドは、外部サーバーに接続するときに使用する認証情報を指定します。

   CREATE USER MAPPING FOR USERNAME SERVER BIGQUERY_SERVER_NAME ;
   

   次のように置き換えます。

   • USERNAME: 外部テーブルにアクセスするデータベース ユーザー名または IAM ユーザー。
   • BIGQUERY_SERVER_NAME: 作成した外部サーバーの固有識別子。

4. CREATE FOREIGN TABLE コマンドを使用して、BigQuery でアクセスするテーブルに対応する外部テーブルを定義します。このコマンドを使用すると、リモート テーブルの構造を定義できます。外部テーブルには、BigQuery のソーステーブルのすべての列または列のサブセットを含めることができます。

   注: 使用しているデータ型がサポートされているデータ型にマッピングされていることを確認してください。詳細については、サポートされている BigQuery のデータ型と列のマッピングをご覧ください。

   CREATE FOREIGN TABLE TABLENAME (
   COLUMNX_NAME DATE_TYPE,
   COLUMNX_NAME DATE_TYPE,
   ...
   ) SERVER  BIGQUERY_SERVER_NAME OPTIONS (project BIGQUERY_PROJECT_ID, dataset  BIGQUERY_DATASET_NAME, table  BIGQUERY_TABLE_NAME);
   

   次のように置き換えます。

   • TABLENAME: ローカル AlloyDB データベース内の外部テーブルの名前。
   • COLUMNX_NAME: 列名は BigQuery ソースの列名と一致する必要があります。X は、複数の列でテーブルを作成できることを示します。
   • DATA_TYPE: 列のデータ型。
   • BIGQUERY_SERVER_NAME: 作成した外部サーバーの固有識別子。
   • BIGQUERY_PROJECT_ID: BigQuery データセットがあるプロジェクトの ID。
   • BIGQUERY_DATASET_NAME: テーブルの BigQuery データセットの名前。
   • BIGQUERY_TABLE_NAME: BigQuery テーブルの名前。

   外部テーブルを作成したら、AlloyDB の任意のテーブルにクエリを実行するのと同じ方法で、このテーブルにクエリを実行できます。

次のステップ

• BigQuery と Iceberg のデータを AlloyDB にインポートする。
• サポートされている BigQuery のデータ型と列のマッピングについて確認する。