Configurer la connectivité privée pour les transferts Snowflake
Ce guide explique comment configurer la connectivité privée pour créer des transferts de données privés de Snowflake vers BigQuery. Les transferts de données privés vous permettent de transférer des données d'une source à une autre au sein d'un réseau privé, et de réduire les risques de sécurité lors du transfert de données sur l'Internet public.
Les sections suivantes décrivent les étapes requises pour configurer la connectivité privée avant de pouvoir créer un transfert Snowflake.
Les transferts privés sont compatibles avec les instances Snowflake hébergées sur Amazon Web Services (AWS), Microsoft Azure et Google Cloud.

Créer une liaison privée vers Snowflake
Créez un lien privé qui connecte votre compte Snowflake à votre fournisseur de services cloud. Pour en savoir plus, sélectionnez l'une des options suivantes :
AWS
Configurez AWS PrivateLink pour connecter votre compte Snowflake à votre compte AWS. Votre compte AWS doit contenir le bucket de préproduction Amazon S3 requis pour un transfert Snowflake.
Azure
Configurez Azure Private Link pour connecter votre réseau virtuel Azure (VNet) au VNet Snowflake dans Azure. Votre compte Azure doit contenir le bucket de préproduction Blob requis pour un transfert Snowflake.
Google Cloud
Configurez Google Cloud Private Service Connect pour connecter le sous-réseau de votre réseau cloud privé virtuel (VPC) à votre compte Snowflake hébergé sur Google Cloud. VotreGoogle Cloud doit disposer d'un bucket de préproduction Cloud Storage requis pour un transfert Snowflake.
Configurer interconnexion cross-cloud ou un VPN haute disponibilité
Configurez interconnexion cross-cloud ou un VPN haute disponibilité depuis AWS ou Azure. Cette étape n'est pas requise pour les comptes Snowflake hébergés surGoogle Cloud.
AWS
Un VPN haute disponibilité vous permet de transférer des données via un tunnel VPN chiffré. Pour utiliser un VPN haute disponibilité pour votre transfert Snowflake privé, consultez Créer des connexions VPN haute disponibilité entre Google Cloud et AWS.
Une connexion Cross-Cloud Interconnect crée une liaison privée dédiée entre les fournisseurs de services cloud et convient aux transferts de données volumineux nécessitant une faible latence. Pour utiliser interconnexion cross-cloud pour votre transfert Snowflake privé, consultez Se connecter à AWS.
Azure
Un VPN haute disponibilité vous permet de transférer des données via un tunnel VPN chiffré. Pour utiliser un VPN haute disponibilité pour votre transfert Snowflake privé, consultez Créer des connexions VPN haute disponibilité entre Google Cloud et Azure.
Une connexion Cross-Cloud Interconnect crée une liaison privée dédiée entre les fournisseurs de services cloud et convient aux transferts de données volumineux nécessitant une faible latence. Pour utiliser interconnexion cross-cloud pour votre transfert Snowflake privé, consultez Se connecter à Azure.
Créer une VM proxy
Pour établir une connexion privée, une VM proxy est nécessaire pour établir la connexion entre vos sources de données sans que vos données n'atteignent l'Internet public. Cette étape est requise pour les instances Snowflake hébergées sur AWS, Azure ou Google Cloud.
Pour créer et configurer une VM proxy pour un transfert privé Snowflake, procédez comme suit :
- Créez une ou plusieurs instances de VM Compute Engine dans le réseau VPC client.
- Téléchargez un logiciel de proxy TCP, tel que HAProxy ou Nginx, et configurez les éléments suivants :
- Spécifiez un port. Par exemple,
443. - Transférez tout le trafic TCP entrant vers le nom d'hôte et le port privés sur l'instance Snowflake.
- Spécifiez un port. Par exemple,
- Configurez les VM pour qu'elles résolvent le nom d'hôte privé Snowflake via le DNS configuré dans le réseau VPC client.
Créer un équilibreur de charge passthrough interne
Configurez un équilibreur de charge passthrough interne pour le plan de contrôle en procédant comme suit :
- Regroupez les VM proxy dans un groupe d'instances géré (MIG).
- Configurer un équilibreur de charge réseau passthrough interne avec des backends de groupe d'instances de VM
Créer un rattachement de service
Utilisez Private Service Connect pour créer un rattachement de réseau et publier le service. Cette étape est requise pour les instances Snowflake hébergées sur AWS, Azure ou Google Cloud.
Votre rattachement de service doit se trouver dans la même région que votre ensemble de données BigQuery.
Si votre service utilise l'approbation explicite (connection-preference est défini sur ACCEPT_MANUAL), le compte de service utilisé dans votre transfert de données privé Snowflake doit disposer des autorisations IAM suivantes :
compute.serviceAttachments.getcompute.serviceAttachments.updatecompute.regionOperations.get
Une fois que vous avez créé le rattachement de service, notez son URI. Vous aurez besoin de cet URI lorsque vous créerez votre configuration de transfert Snowflake.
Créer un point de terminaison
Créez un point de terminaison dans votre compte AWS ou Azure. Cette étape n'est pas requise pour les comptes Snowflake hébergés surGoogle Cloud.
AWS
Dans AWS, créez un point de terminaison VPC qui se connecte à Amazon S3. Pour en savoir plus, consultez Accéder à un service AWS à l'aide d'un point de terminaison d'interface VPC.
Azure
Configurez un point de terminaison privé sur le compte de stockage dans Azure. Pour en savoir plus, consultez Utiliser des points de terminaison privés pour Azure Storage.
Le service de transfert de stockage nécessite le point de terminaison *.blob.core.windows.net. Le point de terminaison *.dfs.core.windows.net n'est pas compatible.
Une fois le point de terminaison créé, notez son adresse IP. Vous devrez spécifier l'adresse IP lors de la création de votre équilibreur de charge dans la section suivante.
Créer un équilibreur de charge proxy régional
Dans Google Cloud, configurez un équilibreur de charge réseau proxy interne régional avec une connectivité hybride. Cela fournit une adresse IP interne limitée aux clients exécutés sur le même réseau VPC que l'équilibreur de charge, et qui achemine le trafic vers les points de terminaison VPC S3 ou les points de terminaison privés Azure Storage que vous avez créés dans la section précédente.
Vous devez créer l'équilibreur de charge dans le même projet et le même réseau VPC que le rattachement de VLAN qui communique avec Cloud Interconnect. Bien que l'interconnexion elle-même puisse se trouver dans un autre projet de la même organisation, le rattachement doit se trouver dans le même VPC et la même région que l'équilibreur de charge.
Spécifiez l'adresse IP du point de terminaison VPC S3 ou du point de terminaison privé Azure Storage lorsque vous atteignez les étapes intitulées Ajouter des points de terminaison au NEG de connectivité hybride.
Notez l'adresse IP et le port de l'interface de l'équilibreur de charge réseau, car vous devrez les spécifier dans la section suivante.
Valider la connexion
Avant de continuer, nous vous recommandons de vérifier que l'équilibreur de charge peut se connecter au point de terminaison de stockage distant.
Pour ce faire :
- Créez une VM Compute Engine dans le même réseau VPC que votre équilibreur de charge.
À partir de la VM, utilisez
curlpour tester la connectivité à l'adresse IP et au port de l'équilibreur de charge :curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAMERemplacez les éléments suivants :
- HOSTNAME est le nom d'hôte de votre fournisseur de stockage source.
- Pour AWS S3, utilisez le point de terminaison de l'API S3 pour la région de votre bucket, par exemple
s3.us-west-1.amazonaws.com. - Pour Azure Storage, utilisez le point de terminaison d'objets blob de votre compte de stockage, par exemple
mystorageaccount.blob.core.windows.net.
- Pour AWS S3, utilisez le point de terminaison de l'API S3 pour la région de votre bucket, par exemple
- PORT est le port que vous avez configuré sur la règle de transfert de l'équilibreur de charge, généralement
443. - LOAD_BALANCER_IP est l'adresse IP de l'interface de votre équilibreur de charge.
- HOSTNAME est le nom d'hôte de votre fournisseur de stockage source.
Une réponse du point de terminaison distant, même une erreur, indique que la connectivité est établie. Un délai avant expiration de la connexion indique une mauvaise configuration de votre réseau que vous devez résoudre avant de continuer.
Enregistrer votre NLB
Enregistrez l'équilibreur de charge réseau dans l'Annuaire des services. BigQuery utilise l'Annuaire des services pour résoudre l'adresse de l'équilibreur de charge et s'y connecter directement.
Suivez les instructions pour enregistrer un équilibreur de charge interne. Utilisez l'adresse IP et le port de l'équilibreur de charge que vous avez créés lors de la spécification de la règle de transfert.
Une fois le service créé, notez son lien d'accès direct. Il utilise le format projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.
Vous en aurez besoin pour créer le job de transfert.
Préparer le bucket de préproduction
Pour effectuer un transfert de données Snowflake, vous devez créer un bucket de préproduction, puis le configurer pour autoriser l'accès en écriture depuis Snowflake.
Sélectionnez l'une des options suivantes :
AWS
Pour les comptes Snowflake hébergés sur AWS, créez un bucket Amazon S3 pour stocker les données Snowflake avant de les charger dans BigQuery.
Créez et configurez un objet d'intégration de stockage Snowflake pour permettre à Snowflake d'écrire des données dans le bucket Amazon S3 en tant qu'étape externe.
Pour autoriser l'accès en lecture à votre bucket Amazon S3, vous devez également procéder comme suit :
Créez un utilisateur IAM Amazon dédié et attribuez-lui la stratégie
AmazonS3ReadOnlyAccess.Créez une paire de clés d'accès Amazon pour l'utilisateur IAM.
Azure
Pour les comptes Snowflake hébergés sur Azure, créez un conteneur Azure Blob Storage pour stocker les données Snowflake avant de les charger dans BigQuery.
- Créez un compte de stockage Azure et un conteneur de stockage dans celui-ci.
- Créez et configurez un objet d'intégration de stockage Snowflake pour permettre à Snowflake d'écrire des données dans le conteneur de stockage Azure en tant qu'étape externe. Vous pouvez ignorer les étapes de création d'une zone de préparation externe, car cela n'est pas nécessaire.
Pour autoriser l'accès en lecture à votre conteneur Azure, générez un jeton SAP pour celui-ci.
Google Cloud
Pour les comptes Snowflake hébergés sur Google Cloud, créez un bucket Cloud Storage pour stocker les données Snowflake avant de les charger dans BigQuery.
- Créez un bucket Cloud Storage.
- Créez et configurez un objet d'intégration de stockage Snowflake pour permettre à Snowflake d'écrire des données dans le bucket Cloud Storage en tant qu'étape externe.
Pour autoriser l'accès au bucket de préproduction, accordez le rôle
roles/storage.objectViewerà l'agent de service DTS à l'aide de la commande suivante :gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \ --role=roles/storage.objectViewer
Créer une configuration de transfert Snowflake privée
Créez le transfert Snowflake. Lorsque vous configurez le transfert, procédez comme suit :
Console
- Pour Utiliser un réseau privé, sélectionnez True.
- Dans le champ Rattachement de service PSC, saisissez l'URI du rattachement de service. Pour savoir comment trouver l'URI du rattachement de service, consultez Afficher les détails d'un service publié.
L'URI du rattachement de service est au format
projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT. - Dans le champ Service réseau privé, saisissez le lien d'auto-référencement du service NLB.
Il utilise le format
projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME. - L'URI du bucket de préproduction que vous souhaitez utiliser pour le transfert :
- Pour un compte Snowflake hébergé sur AWS, un URI de bucket Amazon S3 est requis, ainsi que des identifiants d'accès.
- Pour un Snowflake hébergé sur Azure, un compte et un conteneur Azure Blob Storage sont requis.
- Pour un compte Snowflake hébergé surGoogle Cloud, un URI de bucket Cloud Storage est requis.
Pour fournisseur de services cloud, sélectionnez
AWS,AZUREouGCPselon le fournisseur de services cloud qui héberge votre compte Snowflake.AWS
- Pour URI Amazon S3, saisissez l'URI du bucket Amazon S3 à utiliser comme bucket de préproduction.
- Dans les champs ID de clé d'accès et Clé d'accès secrète, saisissez la paire de clés d'accès.
Azure
- Dans les champs Nom du compte de stockage Azure et Conteneur dans le compte de stockage Azure, saisissez le nom du compte de stockage et du conteneur Azure Blob Storage à utiliser comme bucket de préproduction.
- Dans le champ Jeton SAP, saisissez le jeton SAP généré pour le conteneur.
Google Cloud
- Dans le champ URI GCS, saisissez l'URI de Cloud Storage à utiliser comme bucket de préproduction.
bq
- Pour le paramètre
use_private_network, définissez la valeurTRUE. - Pour le paramètre
service_attachment, spécifiez l'URI du rattachement de service. Pour savoir comment trouver l'URI du rattachement de service, consultez Afficher les détails d'un service publié. L'URI du rattachement de service est au formatprojects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT. - Pour le paramètre
private_network_service, indiquez le lien d'autoréférence du service NLB. Il utilise le formatprojects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME. cloud_provider: saisissezAWS,AZUREouGCPselon le fournisseur de services cloud qui héberge votre compte Snowflake.staging_s3_uri: saisissez l'URI du bucket S3 à utiliser comme bucket de préproduction. Obligatoire uniquement lorsque votrecloud_providerestAWS.aws_access_key_id: saisissez la paire de clés d'accès. Obligatoire uniquement lorsque votrecloud_providerestAWS.aws_secret_access_key: saisissez la paire de clés d'accès. Obligatoire uniquement lorsque votrecloud_providerestAWS.azure_storage_account: saisissez le nom du compte de stockage à utiliser comme bucket de préproduction. Obligatoire uniquement lorsque votrecloud_providerestAZURE.staging_azure_container: saisissez le conteneur dans Azure Blob Storage à utiliser comme bucket de préproduction. Obligatoire uniquement lorsque votrecloud_providerestAZURE.azure_sas_token: saisissez le jeton SAS. Obligatoire uniquement lorsque votrecloud_providerestAZURE.staging_gcs_uri: saisissez l'URI du bucket Cloud Storage à utiliser comme bucket de préproduction. Obligatoire uniquement lorsque votrecloud_providerestGCP.