Configurare la connettività privata per i trasferimenti Snowflake

Questa guida mostra come configurare la connettività privata per creare trasferimenti di dati privati da Snowflake a BigQuery. I trasferimenti di dati privati consentono di trasferire dati da un'origine a un'altra all'interno di una rete privata e di ridurre i rischi per la sicurezza durante il trasferimento di dati tramite la rete internet pubblica.

Le sezioni seguenti mostrano i passaggi necessari per configurare la connettività privata prima di poter creare un trasferimento Snowflake.

I trasferimenti privati sono supportati per le istanze Snowflake ospitate su Amazon Web Services (AWS), Microsoft Azure e Google Cloud.

Crea un collegamento privato che connetta il tuo account Snowflake al tuo provider di servizi cloud. Per ulteriori informazioni, seleziona una delle seguenti opzioni:

AWS

Configura AWS PrivateLink per connettere il tuo account Snowflake al tuo account AWS account. Il tuo account AWS deve contenere il bucket di gestione temporanea Amazon S3 richiesto per un trasferimento Snowflake.

Azure

Configura Azure Private Link per connettere la tua rete virtuale (VNet) di Azure alla VNet Snowflake in Azure. Il tuo account Azure deve contenere il bucket di gestione temporanea Blob richiesto per un trasferimento Snowflake.

Google Cloud

Configura Google Cloud Private Service Connect per connettere la subnet della rete Virtual Private Cloud (VPC) al tuo account Snowflake ospitato su Google Cloud. Devi disporre di un bucket di gestione temporanea Cloud Storage richiesto per un trasferimento Snowflake.Google Cloud

Configurare Cross-Cloud Interconnect o VPN ad alta disponibilità affidabilità

Configura Cross-Cloud Interconnect o VPN ad alta disponibilità affidabilità da AWS o Azure. Questo passaggio non è obbligatorio per gli account Snowflake ospitati da Google Cloud.

AWS

Una VPN ad alta affidabilità consente di trasferire i dati tramite un tunnel VPN criptato. Per utilizzare una VPN ad alta disponibilità affidabilità per il trasferimento privato di Snowflake, consulta Creare connessioni VPN ad alta affidabilità tra Google Cloud e AWS.

Una connessione Cross-Cloud Interconnect crea un collegamento privato dedicato tra i provider di servizi cloud ed è adatta per trasferimenti di dati di grandi dimensioni con requisiti di bassa latenza. Per utilizzare Cross-Cloud Interconnect per il trasferimento privato di Snowflake, consulta Connettersi ad AWS.

Azure

Una VPN ad alta affidabilità consente di trasferire i dati tramite un tunnel VPN criptato. Per utilizzare una VPN ad alta affidabilità per il trasferimento privato di Snowflake, consulta Creare connessioni VPN ad alta disponibilità tra Google Cloud e Azure.

Una connessione Cross-Cloud Interconnect crea un collegamento privato dedicato tra i provider di servizi cloud ed è adatta per trasferimenti di dati di grandi dimensioni con requisiti di bassa latenza. Per utilizzare Cross-Cloud Interconnect per il trasferimento privato di Snowflake, consulta Connettersi ad Azure.

Creare una VM proxy

Per completare una connessione privata, è necessaria una VM proxy per completare la connessione tra le origini dati senza che i dati raggiungano la rete internet pubblica. Questo passaggio è obbligatorio per le istanze Snowflake ospitate su AWS, Azure o Google Cloud.

Per creare e configurare una VM proxy per un trasferimento privato di Snowflake:

  1. Crea una o più istanze VM Compute Engine nella rete VPC consumer.
  2. Scarica un software proxy TCP, come HAProxy o Nginx, e configura quanto segue:
    1. Specifica una porta. Ad esempio, 443.
    2. Inoltra tutto il traffico TCP in entrata al nome host e alla porta privati dell'istanza Snowflake.
  3. Configura le VM in modo che risolvano il nome host privato di Snowflake tramite il DNS configurato nella rete VPC consumer.
  4. Configura un bilanciatore del carico passthrough interno:
    1. Raggruppa le VM proxy in un gruppo di istanze gestite (MIG).
    2. Configura un bilanciatore del carico di rete passthrough interno con backend di gruppi di istanze VM.

Creare un collegamento al servizio

Utilizza Private Service Connect per creare un collegamento di rete e pubblicare il servizio. Questo passaggio è obbligatorio per le istanze Snowflake ospitate su AWS, Azure o Google Cloud.

Il collegamento al servizio deve trovarsi nella stessa regione del set di dati BigQuery.

Se il tuo servizio utilizza l'approvazione esplicita (connection-preference è impostato su ACCEPT_MANUAL), il account di servizio utilizzato nel trasferimento di dati privato Snowflake deve disporre delle seguenti autorizzazioni IAM:

  • compute.serviceAttachments.get
  • compute.serviceAttachments.update
  • compute.regionOperations.get

Dopo aver creato il collegamento al servizio, prendi nota dell'URI del collegamento al servizio. Avrai bisogno di questo URI quando crei la configurazione di trasferimento Snowflake.

Creare un endpoint

Crea un endpoint nel tuo account AWS o Azure. Questo passaggio non è obbligatorio per gli account Snowflake ospitati da Google Cloud.

AWS

In AWS, crea un endpoint VPC che si connetta ad Amazon S3. Per saperne di più, consulta Accedere a un servizio AWS utilizzando un endpoint VPC di interfaccia endpoint.

Azure

Configura un endpoint privato nell'account di archiviazione in Azure. Per saperne di più, consulta Utilizzare gli endpoint privati per Azure Storage.

Storage Transfer Service richiede l'endpoint *.blob.core.microsoft.net. L'endpoint *.dfs.core.microsoft.net non è supportato.

Una volta creato, prendi nota dell'indirizzo IP dell'endpoint. Dovrai specificare l'indirizzo IP quando crei il bilanciatore del carico nella sezione seguente.

Creare un bilanciatore del carico di rete

Configura un bilanciatore del carico di rete (NLB) proxy interno regionale con connettività ibrida. Puoi creare il bilanciatore del carico per instradare il traffico agli endpoint VPC di Amazon S3 o agli endpoint privati di Azure Storage creati nella sezione precedente. Per saperne di più, consulta Configurare un bilanciatore del carico di rete proxy interno regionale con connettività ibrida.

Registrare l'NLB

Dopo aver creato l'NLB di rete, registralo in Service Directory in Storage Transfer Service. Per saperne di più, consulta Registrare l'NLB in Service Directory.

Prendi nota del link a Service Directory. Avrai bisogno del self-link al servizio quando crei la configurazione di trasferimento Snowflake.

Creare una configurazione di trasferimento Snowflake privata

Crea il trasferimento Snowflake. Quando configuri la configurazione di trasferimento:

Console

  • Per Usa rete privata, seleziona True.
  • In Collegamento del servizio PSC, inserisci l'URI del collegamento al servizio. Per informazioni su come trovare l'URI del collegamento al servizio, consulta Visualizzare i dettagli di un servizio pubblicato. L'URI del collegamento al servizio ha il formato projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.
  • In Servizio di rete privata, inserisci il self-link del servizio NLB. Utilizza il formato projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.

bq

  • Per il parametro use_private_network, imposta TRUE.
  • Per il parametro service_attachment, specifica l'URI del collegamento al servizio. Per informazioni su come trovare l'URI del collegamento al servizio, consulta Visualizzare i dettagli di un servizio pubblicato. L'URI del collegamento al servizio ha il formato projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.
  • Per il parametro private_network_service, fornisci il self-link del servizio NLB. Utilizza il formato projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.