Snowflake 転送のプライベート接続を構成する

このガイドでは、プライベート接続を構成して、Snowflake から BigQuery へのプライベート データ転送を作成する方法について説明します。プライベート データ転送を使用すると、プライベート ネットワーク内でソースから別のソースにデータを転送できます。また、公共のインターネット経由でデータを転送する際のセキュリティ リスクを軽減できます。

次のセクションでは、Snowflake 転送を作成する前にプライベート 接続を構成するために必要な手順について説明します。

プライベート転送は、Amazon Web Services（AWS）、Microsoft Azure、でホストされている Snowflake インスタンスでサポートされています Google Cloud。

AWS、Azure、または Google Cloudでホストされている Snowflake アカウントから BigQuery へのプライベート データ転送

Snowflake アカウントをクラウド プロバイダに接続するプライベート リンクを作成します。詳細については、次のいずれかのオプションを選択してください。

AWS

AWS PrivateLink を構成して、Snowflake アカウントを AWS アカウントに接続します。AWS アカウントには、Snow0}Amazon S3 ステージング バケットが含まれている必要があります。Snowflake 転送

Azure

Azure Private Link を構成して、 Azure Virtual Network（VNet）を Azure の Snowflake VNet に接続します。Azure アカウントには、Snowflake 転送に必要な Blob ステージング バケットが含まれている必要があります。

Google Cloud

Private Service Connect を構成して、 Virtual Private Cloud（VPC）ネットワーク サブネットを でホストされている Snowflake アカウントに接続します。 Google Cloud Google Cloud には、Snowflake 転送に必要な Cloud Storage ステージング バケットが必要です。Google Cloud

Cross-Cloud Interconnect または HA VPN を設定する

AWS または Azure から Cross-Cloud Interconnect または HA VPN を設定します。この手順は、 Google Cloudでホストされている Snowflake アカウントでは必要ありません。

AWS

高可用性 VPN を使用すると、暗号化された VPN トンネルを介してデータを転送できます。プライベート Snowflake 転送に HA VPN を使用するには、と AWS の間に HA VPN 接続を作成する Google Cloud をご覧ください。

Cross-Cloud Interconnect 接続は、クラウド プロバイダ間に専用のプライベート リンクを作成します。これは、低レイテンシ要件で大量のデータを転送する場合に 適しています。プライベート Snowflake 転送に Cross-Cloud Interconnect を使用するには、AWS に接続するをご覧ください。

Azure

高可用性 VPN を使用すると、暗号化された VPN トンネルを介してデータを転送できます。プライベート Snowflake 転送に HA VPN を使用するには、と Azureの間に HA VPN 接続を作成する Google Cloud をご覧ください。

Cross-Cloud Interconnect 接続は、クラウド プロバイダ間に専用のプライベート リンクを作成します。これは、低レイテンシ要件で大量のデータを転送する場合に 適しています。プライベート Snowflake 転送に Cross-Cloud Interconnect を使用するには、Azure に接続するをご覧ください。

プロキシ VM を作成する

プライベート接続を完了するには、データが公共のインターネットに到達することなくデータソース間の接続を完了するために、プロキシ VM が必要です。この手順は、 AWS、Azure、 Google Cloudでホストされている Snowflake インスタンスで必要です。

Snowflake プライベート転送用のプロキシ VM を作成して構成するには、次の操作を行います。

  1. コンシューマー VPC ネットワーク内に 1 つ以上の Compute Engine VM インスタンスを作成します。
  2. HAProxy や Nginx などの TCP プロキシ ソフトウェアをダウンロードし、次のように構成します。
    1. ポートを指定します。例: 443
    2. 受信するすべての TCP トラフィックを、Snowflake インスタンスのプライベート ホスト名とポートに転送します。
  3. コンシューマー VPC ネットワークで構成された DNS を介して Snowflake プライベート ホスト名を解決するように VM を構成します。
  4. 次の操作を行って、内部パススルー ロードバランサを設定します。
    1. プロキシ VM をマネージド インスタンス グループ（MIG）にグループ化します。
    2. VM インスタンス グループのバックエンドを使用して内部パススルー ネットワーク ロードバランサを設定します。

サービス アタッチメントを作成する

Private Service Connect を使用してネットワーク アタッチメントを作成し、サービスを公開します。 この手順は、 AWS、Azure、 Google Cloudでホストされている Snowflake インスタンスで必要です。

サービス アタッチメントは、BigQuery データセットと同じリージョンに存在する必要があります。

サービスで明示的な承認（connection-preference が ACCEPT_MANUAL に設定されている）を使用する場合、Snowflake プライベート データ転送で使用されるサービス アカウントには、次の IAM 権限が必要です。

  • compute.serviceAttachments.get
  • compute.serviceAttachments.update
  • compute.regionOperations.get

サービス アタッチメントを作成したら、サービス アタッチメントの URI をメモします。この URI は、Snowflake 転送構成を作成するときに必要になります。

エンドポイントの作成

AWS アカウントまたは Azure アカウントにエンドポイントを作成します。 この手順は、 Google Cloudでホストされている Snowflake アカウントでは必要ありません。

AWS

AWS で、Amazon S3 に接続する VPC エンドポイントを作成します。 詳細については、インターフェース VPC エンドポイントを使用して AWS サービスにアクセスするをご覧ください。

Azure

Azure のストレージ アカウントにプライベート エンドポイントを構成します。詳細については、Azure Storage にプライベート エンドポイントを使用するをご覧ください。

Storage Transfer Service には *.blob.core.microsoft.net エンドポイントが必要です。*.dfs.core.microsoft.net エンドポイントはサポートされていません。

作成したら、エンドポイントの IP アドレスをメモします。次のセクションでロードバランサを作成するときに、IP アドレスを指定する必要があります。

ネットワーク ロードバランサを作成する

ハイブリッド接続でリージョン内部プロキシ ネットワーク ロードバランサ（NLB）を設定します。ロードバランサを作成して、前のセクションで作成した Amazon S3 VPC エンドポイントまたは Azure Storage プライベート エンドポイントにトラフィックをルーティングできます。詳細については、 ハイブリッド接続でリージョン内部プロキシ ネットワーク ロードバランサを設定するをご覧ください。

NLB を登録する

ネットワーク NLB を作成したら、Storage Transfer Service の Service Directory に登録します。詳細については、Service Directory に NLB を登録するをご覧ください。

サービス ディレクトリへのリンクをメモします。Snowflake 転送構成を作成するときに、サービスへの自己リンクが必要になります。

ステージング バケットを準備する

Snowflake データ転送を完了するには、ステージング バケットを作成してから、Snowflake からの書き込みアクセスを許可するように構成する必要があります。

次のオプションのいずれかを選択します。

AWS

AWS でホストされている Snowflake アカウントの場合は、Snowflake データを BigQuery に読み込む前にステージングするための Amazon S3 バケットを作成します。

  1. Amazon S3 バケットを作成します。

  2. Snowflake ストレージ統合オブジェクトを作成して構成し、Snowflake が外部ステージとして Amazon S3 バケットにデータを書き込めるようにします。

Amazon S3 バケットに対する読み取りアクセスを許可するには、次の操作も行う必要があります。

  1. 専用の Amazon IAM ユーザー を作成し、AmazonS3ReadOnlyAccess ポリシーを付与します。

  2. Amazon アクセスキー ペアを作成します IAM ユーザーの。

Azure

Azure でホストされている Snowflake アカウントの場合は、Snowflake データを BigQuery に読み込む前にステージングするための Azure Blob Storage コンテナを作成します。

  1. Azure ストレージ アカウントを作成し、ストレージ アカウント内にストレージ コンテナを作成します。
  2. Snowflake ストレージ統合オブジェクトを作成して構成し 、Snowflake が外部ステージとして Azure ストレージ コンテナにデータを書き込めるようにします。外部ステージの作成は必須ではないため、この手順はスキップできます。

Azure コンテナへの読み取りアクセスを許可するには、 そのコンテナの SAS トークンを生成します。

Google Cloud

でホストされている Snowflake アカウントの場合は、Snowflake データを BigQuery に読み込む前にステージングするための Cloud Storage バケットを作成します。 Google Cloud

  1. Cloud Storage バケットを作成します。
  2. Snowflake ストレージ統合オブジェクトを作成して構成し、Snowflake が外部ステージとして Cloud Storage バケットにデータを書き込めるようにします。

  3. ステージング バケットへのアクセスを許可するには、次のコマンドを使用して DTS サービス エージェントに roles/storage.objectViewer ロールを付与します。

    gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \
  --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \
  --role=roles/storage.objectViewer

プライベート Snowflake 転送構成を作成する

Snowflake 転送を作成します。転送構成を設定するときは、次の操作を行います。

コンソール

bq

  • use_private_network パラメータを TRUE に設定します。
  • service_attachment パラメータに、サービス アタッチメントの URI を指定します。サービス アタッチメント の URI の確認方法については、公開サービスの詳細を表示するをご覧ください。 サービス アタッチメントの URI の形式は projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT です。
  • private_network_service パラメータに、NLB サービスの自己リンクを指定します。 形式は projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAMEです。
  • cloud_provider: Snowflake アカウントがホストされている クラウド プロバイダに応じて、AWS、AZURE、GCP のいずれかを入力します。
  • staging_s3_uri: ステージング バケットとして使用する S3 バケットの URI を入力します。cloud_provider が AWS の場合にのみ必須です。
  • aws_access_key_id: アクセスキー ペアを入力します。cloud_provider が AWS の場合にのみ必須です。
  • aws_secret_access_key: アクセスキー ペアを入力します。cloud_provider が AWS の場合にのみ必須です。
  • azure_storage_account: ステージング バケットとして使用する ストレージ アカウント名 を入力します。cloud_provider が AZURE の場合にのみ必須です。
  • staging_azure_container: ステージング バケットとして使用する Azure Blob Storage 内のコンテナ を入力します。cloud_provider が AZURE の場合にのみ必須です。
  • azure_sas_token: SAS トークンを入力します。cloud_provider が AZURE の場合にのみ必須です。
  • staging_gcs_uri : ステージング バケットとして使用する Cloud Storage の URI を入力します。cloud_provider が GCP の場合にのみ必須です。