Private Konnektivität für Snowflake-Übertragungen konfigurieren
In diesem Leitfaden erfahren Sie, wie Sie private Konnektivität konfigurieren, um private Datenübertragungen von Snowflake zu BigQuery zu erstellen. Mit privaten Datenübertragungen können Sie Daten von einer Quelle zu einer anderen innerhalb eines privaten Netzwerks übertragen und die Sicherheitsrisiken bei der Datenübertragung über das öffentliche Internet senken.
In den folgenden Abschnitten werden die erforderlichen Schritte zum Konfigurieren der privaten Konnektivität beschrieben, bevor Sie eine Snowflake-Übertragung erstellen können.
Private Übertragungen werden für Snowflake-Instanzen unterstützt, die auf Amazon Web Services (AWS), Microsoft Azure und Google Cloudgehostet werden.

Private Verbindung zu Snowflake erstellen
Erstellen Sie einen privaten Link, der Ihr Snowflake-Konto mit Ihrem Cloud-Anbieter verbindet. Weitere Informationen finden Sie unter einer der folgenden Optionen:
AWS
Konfigurieren Sie AWS PrivateLink, um Ihr Snowflake-Konto mit Ihrem AWS-Konto zu verbinden. Ihr AWS-Konto muss den Amazon S3-Staging-Bucket enthalten, der für eine Snowflake-Übertragung erforderlich ist.
Azure
Konfigurieren Sie Azure Private Link, um Ihr Azure Virtual Network (VNet) mit dem Snowflake-VNet in Azure zu verbinden. Ihr Azure-Konto muss den Blob-Staging-Bucket enthalten, der für eine Snowflake-Übertragung erforderlich ist.
Google Cloud
Konfigurieren Sie Google Cloud Private Service Connect, um das Subnetz Ihres VPC-Netzwerks (Virtual Private Cloud) mit Ihrem Snowflake-Konto zu verbinden, das auf Google Cloudgehostet wird. IhreGoogle Cloud muss einen Cloud Storage-Staging-Bucket haben, der für eine Snowflake-Übertragung erforderlich ist.
Cross-Cloud Interconnect oder HA VPN einrichten
Richten Sie entweder Cross-Cloud Interconnect oder HA VPN von AWS oder Azure ein. Dieser Schritt ist für vonGoogle Cloudgehostete Snowflake-Konten nicht erforderlich.
AWS
Mit einem Hochverfügbarkeits-VPN können Sie Daten über einen verschlüsselten VPN-Tunnel übertragen. Wenn Sie ein HA VPN für Ihre private Snowflake-Übertragung verwenden möchten, lesen Sie den Hilfeartikel HA VPN-Verbindungen zwischen Google Cloud und AWS erstellen.
Eine Cross-Cloud Interconnect-Verbindung erstellt eine dedizierte private Verbindung zwischen Cloud-Anbietern und eignet sich für große Datenübertragungen mit geringen Latenzanforderungen. Informationen zur Verwendung von Cross-Cloud Interconnect für Ihre private Snowflake-Übertragung finden Sie unter Verbindung zu AWS herstellen.
Azure
Mit einem Hochverfügbarkeits-VPN können Sie Daten über einen verschlüsselten VPN-Tunnel übertragen. Wenn Sie ein HA VPN für Ihre private Snowflake-Übertragung verwenden möchten, lesen Sie den Hilfeartikel HA VPN-Verbindungen zwischen Google Cloud und Azure erstellen.
Eine Cross-Cloud Interconnect-Verbindung erstellt eine dedizierte private Verbindung zwischen Cloud-Anbietern und eignet sich für große Datenübertragungen mit geringen Latenzanforderungen. Informationen zur Verwendung von Cross-Cloud Interconnect für Ihre private Snowflake-Übertragung finden Sie unter Verbindung zu Azure herstellen.
Proxy-VM erstellen
Für eine private Verbindung ist eine Proxy-VM erforderlich, um die Verbindung zwischen Ihren Datenquellen herzustellen, ohne dass Ihre Daten das öffentliche Internet erreichen. Dieser Schritt ist für Snowflake-Instanzen erforderlich, die auf AWS, Azure oder Google Cloudgehostet werden.
So erstellen und konfigurieren Sie eine Proxy-VM für eine private Snowflake-Übertragung:
- Erstellen Sie eine oder mehrere Compute Engine-VM-Instanzen im Nutzer-VPC-Netzwerk.
- Laden Sie eine TCP-Proxy-Software wie HAProxy oder Nginx herunter und konfigurieren Sie Folgendes:
- Geben Sie einen Port an. Beispiel:
443. - Leiten Sie den gesamten eingehenden TCP-Traffic an den privaten Hostnamen und Port der Snowflake-Instanz weiter.
- Geben Sie einen Port an. Beispiel:
- Konfigurieren Sie die VMs so, dass der private Snowflake-Hostname über das im Nutzer-VPC-Netzwerk konfigurierte DNS aufgelöst wird.
Internen Passthrough-Load-Balancer erstellen
Richten Sie einen internen Passthrough-Load-Balancer für die Steuerungsebene ein. Gehen Sie dazu so vor:
- Gruppieren Sie die Proxy-VMs in einer verwalteten Instanzgruppe (MIG).
- Internen Passthrough-Network-Load-Balancer mit VM-Instanzgruppen-Back-Ends einrichten
Dienstanhang erstellen
Verwenden Sie Private Service Connect, um einen Netzwerkanhang zu erstellen und den Dienst zu veröffentlichen. Dieser Schritt ist für Snowflake-Instanzen erforderlich, die auf AWS, Azure oder Google Cloudgehostet werden.
Der Dienstanhang muss sich in derselben Region wie Ihr BigQuery-Dataset befinden.
Wenn Ihr Dienst eine explizite Genehmigung verwendet (connection-preference ist auf ACCEPT_MANUAL festgelegt), muss das Dienstkonto, das für die private Datenübertragung in Snowflake verwendet wird, die folgenden IAM-Berechtigungen haben:
compute.serviceAttachments.getcompute.serviceAttachments.updatecompute.regionOperations.get
Notieren Sie sich nach dem Erstellen des Dienstanhangs den URI des Dienstanhangs. Sie benötigen diesen URI, wenn Sie Ihre Snowflake-Übertragungskonfiguration erstellen.
Endpunkt erstellen
Erstellen Sie einen Endpunkt in Ihrem AWS- oder Azure-Konto. Dieser Schritt ist für vonGoogle Cloudgehostete Snowflake-Konten nicht erforderlich.
AWS
Erstellen Sie in AWS einen VPC-Endpunkt, der eine Verbindung zu Amazon S3 herstellt. Weitere Informationen finden Sie unter Über einen VPC-Schnittstellenendpunkt auf einen AWS-Dienst zugreifen.
Azure
Konfigurieren Sie einen privaten Endpunkt für das Speicherkonto in Azure. Weitere Informationen finden Sie unter Private Endpunkte für Azure Storage verwenden.
Storage Transfer Service erfordert den Endpunkt *.blob.core.windows.net. Der Endpunkt *.dfs.core.windows.net wird nicht unterstützt.
Notieren Sie sich nach dem Erstellen die IP-Adresse des Endpunkts. Sie müssen die IP-Adresse angeben, wenn Sie im folgenden Abschnitt den Load Balancer erstellen.
Regionalen Proxy-Load-Balancer erstellen
Richten Sie in Google Cloudeinen regionalen internen Proxy-Network-Load-Balancer mit Hybridkonnektivität ein. Dadurch wird eine interne IP-Adresse bereitgestellt, die auf Clients beschränkt ist, die im selben VPC-Netzwerk wie der Load Balancer ausgeführt werden. Außerdem wird Traffic an die S3-VPC-Endpunkte oder privaten Azure Storage-Endpunkte weitergeleitet, die Sie im vorherigen Abschnitt erstellt haben.
Sie sollten den Load Balancer im selben Projekt und VPC-Netzwerk wie den VLAN-Anhang erstellen, der mit Cloud Interconnect verbunden ist. Die Interconnect-Verbindung selbst kann sich in einem anderen Projekt innerhalb derselben Organisation befinden, der Anhang muss sich jedoch in derselben VPC und Region wie der Load Balancer befinden.
Geben Sie die IP-Adresse des S3-VPC-Endpunkts oder des privaten Azure Storage-Endpunkts an, wenn Sie die Schritte Endpunkte zur Hybridkonnektivitäts-NEG hinzufügen erreichen.
Notieren Sie sich die Frontend-IP-Adresse und den Port des NLB, da Sie diese im nächsten Abschnitt angeben müssen.
Verbindung validieren
Bevor Sie fortfahren, sollten Sie prüfen, ob der Load Balancer eine Verbindung zum Remote-Speicherendpunkt herstellen kann.
Anleitung:
- Erstellen Sie eine Compute Engine-VM im selben VPC-Netzwerk wie Ihr Load Balancer.
Verwenden Sie auf der VM
curl, um die Verbindung zur IP-Adresse und zum Port des Load Balancers zu testen:curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAMEErsetzen Sie Folgendes:
- HOSTNAME ist der Hostname Ihres Quellspeicheranbieters.
- Verwenden Sie für AWS S3 den S3-API-Endpunkt für die Region Ihres Buckets, z. B.
s3.us-west-1.amazonaws.com. - Verwenden Sie für Azure Storage den Blob-Endpunkt Ihres Speicherkontos, z. B.
mystorageaccount.blob.core.windows.net.
- Verwenden Sie für AWS S3 den S3-API-Endpunkt für die Region Ihres Buckets, z. B.
- PORT ist der Port, den Sie in der Weiterleitungsregel des Load Balancers konfiguriert haben, normalerweise
443. - LOAD_BALANCER_IP ist die Frontend-IP-Adresse Ihres Load Balancers.
- HOSTNAME ist der Hostname Ihres Quellspeicheranbieters.
Eine Antwort vom Remote-Endpunkt, auch ein Fehler, zeigt an, dass die Verbindung erfolgreich ist. Eine Zeitüberschreitung der Verbindung weist auf eine fehlerhafte Konfiguration in Ihrer Netzwerkeinrichtung hin, die Sie beheben sollten, bevor Sie fortfahren.
NLB registrieren
Registrieren Sie den NLB in Service Directory. BigQuery verwendet Service Directory, um die Adresse des Load Balancers aufzulösen und eine direkte Verbindung zu ihm herzustellen.
Folgen Sie der Anleitung zum Registrieren eines internen Load Balancers. Verwenden Sie die IP-Adresse und den Port des Load Balancers, die Sie beim Erstellen der Weiterleitungsregel angegeben haben.
Notieren Sie sich nach dem Erstellen den Self-Link des Dienstes. Es wird das Format projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service} verwendet.
Sie benötigen diesen Wert, wenn Sie den Übertragungsjob erstellen.
Staging-Bucket vorbereiten
Für eine Snowflake-Datenübertragung müssen Sie einen Staging-Bucket erstellen und dann so konfigurieren, dass Schreibzugriff von Snowflake möglich ist.
Wählen Sie eine der folgenden Optionen aus:
AWS
Erstellen Sie für AWS-gehostete Snowflake-Konten einen Amazon S3-Bucket, um die Snowflake-Daten bereitzustellen, bevor sie in BigQuery geladen werden.
Erstellen und konfigurieren Sie ein Snowflake-Speicherintegrationsobjekt, damit Snowflake Daten als externe Phase in den Amazon S3-Bucket schreiben kann.
Wenn Sie Lesezugriff auf Ihren Amazon S3-Bucket gewähren möchten, müssen Sie außerdem Folgendes tun:
Erstellen Sie einen dedizierten Amazon-IAM-Nutzer und weisen Sie ihm die Richtlinie
AmazonS3ReadOnlyAccesszu.Erstellen Sie ein Amazon-Zugriffsschlüsselpaar für den IAM-Nutzer.
Azure
Erstellen Sie für Azure-gehostete Snowflake-Konten einen Azure Blob Storage-Container, um die Snowflake-Daten bereitzustellen, bevor sie in BigQuery geladen werden.
- Erstellen Sie ein Azure-Speicherkonto und darin einen Speichercontainer.
- Erstellen und konfigurieren Sie ein Snowflake-Speicherintegrationsobjekt, damit Snowflake Daten als externe Phase in den Azure Storage-Container schreiben kann. Sie können die Schritte zum Erstellen einer externen Stage überspringen, da dies nicht erforderlich ist.
Wenn Sie Lesezugriff auf Ihren Azure-Container gewähren möchten, generieren Sie ein SAS-Token dafür.
Google Cloud
Erstellen Sie für von Google Cloudgehostete Snowflake-Konten einen Cloud Storage-Bucket, um die Snowflake-Daten bereitzustellen, bevor sie in BigQuery geladen werden.
- Cloud Storage-Bucket erstellen
- Erstellen und konfigurieren Sie ein Snowflake-Speicherintegrationsobjekt, damit Snowflake Daten als externe Phase in den Cloud Storage-Bucket schreiben kann.
Wenn Sie Zugriff auf den Staging-Bucket gewähren möchten, weisen Sie dem DTS-Dienst-Agent mit dem folgenden Befehl die Rolle
roles/storage.objectViewerzu:gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \ --role=roles/storage.objectViewer
Private Snowflake-Übertragungskonfiguration erstellen
Snowflake-Übertragung erstellen Gehen Sie beim Einrichten der Übertragungskonfiguration so vor:
Console
- Wählen Sie für Privates Netzwerk verwenden die Option Wahr aus.
- Geben Sie für PSC-Dienstanhang den URI des Dienstanhangs ein. Informationen zum Ermitteln des Dienstanhang-URI finden Sie unter Details für einen veröffentlichten Dienst ansehen.
Der URI des Dienstanhangs hat das Format
projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT. - Geben Sie für Privater Netzwerkdienst den selbstverweisenden Link des NLB-Dienstes ein.
Es wird das Format
projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAMEverwendet. - Der URI des Staging-Buckets, den Sie für die Übertragung verwenden möchten:
- Für ein von AWS gehostetes Snowflake-Konto ist ein Amazon S3-Bucket-URI zusammen mit Zugriffsdaten erforderlich.
- Für ein in Azure gehostetes Snowflake ist ein Azure Blob Storage-Konto und -Container erforderlich.
- Für ein vonGoogle Cloudgehostetes Snowflake-Konto ist ein Cloud Storage-Bucket-URI erforderlich.
Wählen Sie für Cloud-Anbieter je nachdem, welcher Cloud-Anbieter Ihr Snowflake-Konto hostet,
AWS,AZUREoderGCPaus.AWS
- Geben Sie im Feld Amazon S3-URI den URI des Amazon S3-Buckets ein, den Sie als Staging-Bucket verwenden möchten.
- Geben Sie bei Access key ID (Zugriffsschlüssel-ID) und Secret access key (Geheimer Zugriffsschlüssel) das Schlüsselpaar ein.
Azure
- Geben Sie unter Azure-Speicherkontoname und Container im Azure-Speicherkonto den Speicherkonto- und Containernamen des Azure Blob Storage ein, der als Staging-Bucket verwendet werden soll.
- Geben Sie unter SAS-Token das für den Container generierte SAS-Token ein.
Google Cloud
- Geben Sie als GCS-URI den URI des Cloud Storage ein, der als Staging-Bucket verwendet werden soll.
bq
- Legen Sie für den Parameter
use_private_networkden WertTRUEfest. - Geben Sie für den Parameter
service_attachmentden URI des Dienstanhangs an. Informationen zum Ermitteln des Dienstanhang-URI finden Sie unter Details für einen veröffentlichten Dienst ansehen. Der URI des Dienstanhangs hat das Formatprojects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT. - Geben Sie für den Parameter
private_network_serviceden Self-Link des NLB-Dienstes an. Es wird das Formatprojects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAMEverwendet. cloud_provider: Geben SieAWS,AZUREoderGCPein, je nachdem, welcher Cloud-Anbieter Ihr Snowflake-Konto hostet.staging_s3_uri: Geben Sie den URI des S3-Buckets ein, der als Staging-Bucket verwendet werden soll. Nur erforderlich, wenn dercloud_providerAWSist.aws_access_key_id: Geben Sie das Zugriffsschlüsselpaar ein. Nur erforderlich, wenn dercloud_providerAWSist.aws_secret_access_key: Geben Sie das Zugriffsschlüsselpaar ein. Nur erforderlich, wenn dercloud_providerAWSist.azure_storage_account: Geben Sie den Namen des Speicherkontos ein, das als Staging-Bucket verwendet werden soll. Nur erforderlich, wenn dercloud_providerAZUREist.staging_azure_container: Geben Sie den Container in Azure Blob Storage ein, der als Staging-Bucket verwendet werden soll. Nur erforderlich, wenn dercloud_providerAZUREist.azure_sas_token: Geben Sie das SAS-Token ein. Nur erforderlich, wenn dercloud_providerAZUREist.staging_gcs_uri: Geben Sie den URI des Cloud Storage ein, der als Staging-Bucket verwendet werden soll. Nur erforderlich, wenn dercloud_providerGCPist.