Snowflake 転送のプライベート接続を構成する

このガイドでは、Snowflake から BigQuery へのプライベート データ転送を作成するためのプライベート接続を構成する方法について説明します。プライベート データ転送を使用すると、1 つのソースから別のソースにデータを転送する際に、すべての処理をプライベート ネットワーク内で行うことができます。また、公共のインターネット経由でデータを転送する際のリスクを軽減できます。

以降のセクションでは、Snowflake 転送を作成する前にプライベート 接続を構成するために必要な手順について説明します。

プライベート転送は、Amazon Web Services（AWS）、Microsoft Azure、でホストされている Snowflake インスタンスでサポートされています Google Cloud。

Snowflake アカウントをクラウド プロバイダに接続するプライベート リンクを作成します。詳細については、次のいずれかのオプションを選択してください。

AWS

AWS PrivateLink を構成して、Snowflake アカウントを AWS アカウントに接続します。AWS アカウントには、Snowflake 転送に必要な Amazon S3 ステージング バケットが含まれている必要があります。

Azure

Azure Private Link を構成して、 Azure Virtual Network（VNet）を Azure の Snowflake VNet に接続します。Azure アカウントには、Snowflake 転送に必要な Blob ステージング バケットが含まれている必要があります。

Google Cloud

Private Service Connect を構成して、 Virtual Private Cloud（VPC）ネットワーク サブネットを でホストされている Snowflake アカウントに接続します。 Google Cloud Google Cloud Snowflake 転送に必要な Cloud Storage ステージング バケットが必要です。Google Cloud

Cross-Cloud Interconnect または HA VPN を設定する

AWS または Azure から Cross-Cloud Interconnect または HA VPN を設定します。この手順は、 Google Cloudでホストされている Snowflake アカウントでは必要ありません。

AWS

高可用性 VPN を使用すると、暗号化された VPN トンネルを介してデータを転送できます。プライベート Snowflake 転送に HA VPN を使用するには、HA VPN 接続を と Google Cloud AWSの間に作成するをご覧ください。

Cross-Cloud Interconnect 接続は、クラウド プロバイダ間に専用のプライベート リンクを作成します。この接続は、レイテンシ要件が厳しい大規模なデータ転送に適しています。プライベート Snowflake 転送に Cross-Cloud Interconnect を使用するには、AWS に接続するをご覧ください。

Azure

高可用性 VPN を使用すると、暗号化された VPN トンネルを介してデータを転送できます。プライベート Snowflake 転送に HA VPN を使用するには、と Azure の間に HA VPN 接続を作成する Google Cloud をご覧ください。

Cross-Cloud Interconnect 接続は、クラウド プロバイダ間に専用のプライベート リンクを作成します。この接続は、レイテンシ要件が厳しい大規模なデータ転送に適しています。プライベート Snowflake 転送に Cross-Cloud Interconnect を使用するには、Azure に接続するをご覧ください。

プロキシ VM を作成する

プライベート接続を完了するには、データが公共のインターネットに到達することなくデータソース間の接続を完了するために、プロキシ VM が必要です。この手順は、 AWS、Azure、 Google Cloudでホストされている Snowflake インスタンスで必要です。

Snowflake プライベート転送用のプロキシ VM を作成して構成するには、次の操作を行います。

  1. コンシューマー VPC ネットワーク内に 1 つ以上の Compute Engine VM インスタンスを作成します。
  2. HAProxy や Nginx などの TCP プロキシ ソフトウェアをダウンロードして、次のように構成します。
    1. ポートを指定します。例: 443
    2. 受信するすべての TCP トラフィックを、Snowflake インスタンスのプライベート ホスト名とポートに転送します。
  3. コンシューマー VPC ネットワークで構成された DNS を介して Snowflake プライベート ホスト名を解決するように VM を構成します。
  4. 次の操作を行って、内部パススルー ロードバランサを設定します。
    1. プロキシ VM をマネージド インスタンス グループ（MIG）にグループ化します。
    2. VM インスタンス グループのバックエンドを使用して内部パススルー ネットワーク ロードバランサを設定します。

サービス アタッチメントを作成する

Private Service Connect を使用してネットワーク アタッチメントを作成し、サービスを公開します。 この手順は、 AWS、Azure、 Google Cloudでホストされている Snowflake インスタンスで必要です。

サービス アタッチメントは、BigQuery データセットと同じリージョンに存在する必要があります。

サービスで明示的な承認を使用している場合（connection-preference が ACCEPT_MANUAL に設定されている場合）、Snowflake プライベート データ移転で使用されるサービス アカウントには、次の IAM 権限が必要です。

  • compute.serviceAttachments.get
  • compute.serviceAttachments.update
  • compute.regionOperations.get

サービス アタッチメントを作成したら、サービス アタッチメントの URI をメモします。この URI は、Snowflake 転送構成を作成するときに必要になります。

エンドポイントの作成

AWS アカウントまたは Azure アカウントにエンドポイントを作成します。 この手順は、 Google Cloudでホストされている Snowflake アカウントでは必要ありません。

AWS

AWS で、Amazon S3 に接続する VPC エンドポイントを作成します。 詳細については、インターフェース VPC エンドポイントを使用して AWS サービスにアクセスするをご覧ください。

Azure

Azure のストレージ アカウントにプライベート エンドポイントを構成します。詳細については、Azure Storage にプライベート エンドポイントを使用する をご覧ください。

Storage Transfer Service には、*.blob.core.microsoft.net エンドポイントが必要です。*.dfs.core.microsoft.net エンドポイントはサポートされていません。

作成したら、エンドポイントの IP アドレスをメモします。次のセクションでロードバランサを作成するときに、IP アドレスを指定する必要があります。

ネットワーク ロードバランサを作成する

ハイブリッド接続でリージョン内部プロキシ ネットワーク ロードバランサ（NLB）を設定します。ロードバランサを作成して、前のセクションで作成した Amazon S3 VPC エンドポイントまたは Azure Storage プライベート エンドポイントにトラフィックをルーティングできます。詳細については、 ハイブリッド接続でリージョン内部プロキシ ネットワーク ロードバランサを設定するをご覧ください。

NLB を登録する

ネットワーク NLB を作成したら、Storage Transfer Service の Service Directory に登録します。詳細については、Service Directory に NLB を登録するをご覧ください。

サービス ディレクトリへのリンクをメモします。Snowflake 転送構成を作成するときに、サービスへの自己リンクが必要になります。

プライベート Snowflake 転送構成を作成する

Snowflake 転送を作成します。転送構成を設定するときは、次の操作を行います。

コンソール

  • [**プライベート ネットワークを使用する**] で [**True**] を選択します。
  • [PSC サービス アタッチメント] に、サービス アタッチメントの URI を入力します。サービス アタッチメント の URI を確認する方法については、公開サービスの詳細を表示するをご覧ください。サービス アタッチメントの URI の形式は projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT です。
  • [Private Network Service] に、NLB サービスの自己リンクを入力します。 形式は projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAMEです。

bq

  • use_private_network パラメータを TRUE に設定します。
  • service_attachment パラメータに、サービス アタッチメントの URI を指定します。サービス アタッチメント の URI を確認する方法については、公開サービスの詳細を表示するをご覧ください。サービス アタッチメントの URI の形式は projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT です。
  • private_network_service パラメータに、NLB サービスの自己リンクを指定します。 形式は projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAMEです。