Transfert depuis AWS ou Azure via un réseau privé géré par le client

Une connexion réseau privée, établie à l'aide de Google Cloud interconnexion cross-cloud ou de interconnexion partenaire, peut offrir des avantages significatifs pour le transfert de données entre AWS ou Azure et Cloud Storage :

  • Optimisation potentielle des coûts : vous pouvez potentiellement réduire les coûts de sortie. Cela peut être avantageux pour les clients disposant d'interconnexions existantes ou ceux qui effectuent des transferts de données volumineux ou récurrents, ce qui permet de réaliser des économies substantielles à long terme.
  • Bande passante réseau dédiée : l'utilisation d'une interconnexion peut offrir un débit élevé et constant, ainsi qu'une latence plus faible, ce qui est crucial pour les migrations volumineuses et urgentes, et la synchronisation des données en temps réel.
  • Répondre aux exigences de conformité : idéal pour les charges de travail où les exigences réglementaires imposent de conserver les données hors de l'Internet public. Cette fonctionnalité vous aide à transférer des données de manière privée à l'aide de l'interconnexion pour assurer la conformité, assurer la souveraineté des données et simplifier les audits.

Présentation

Ce document vous explique comment :

  • Commander et configurer interconnexion cross-cloud
  • Créer un point de terminaison dans S3 ou Azure
  • Configurer un équilibreur de charge réseau proxy interne régional avec une connectivité hybride
  • Enregistrer votre équilibreur de charge dans l'Annuaire des services
  • Créer un transfert
  • Vérifier que le trafic utilise l'interconnexion

Autorisations requises

Vous aurez besoin d'autorisations spécifiques pour effectuer chacune des sections suivantes. Ces autorisations sont listées dans la documentation de cet ensemble d'étapes.

Options d'interconnexion

Le service de transfert de stockage peut transférer des données depuis AWS et Azure via Cross-Cloud Interconnect (CCI) ou Partner Interconnect.

Les étapes ci-dessous sont spécifiques à CCI, mais s'appliquent également à la configuration de la mise en réseau pour interconnexion partenaire.

Commander et configurer interconnexion cross-cloud

Une interconnexion Cross-Cloud Interconnect est une connexion physique dédiée entre Google Cloud et d'autres fournisseurs de services cloud.

Si vous disposez déjà d'une connexion CCI, passez à la section suivante.

AWS

Suivez les instructions pour vous connecter à Amazon Web Services afin de commander et de configurer une nouvelle interconnexion cross-cloud. Vous aurez besoin des autorisations appropriées pour configurer la mise en réseau dans Google Cloud et dans AWS.

Regardez une vidéo expliquant comment commander et configurer une CCI entre AWS et Google Cloud.

Azure

Suivez les instructions pour vous connecter à Microsoft Azure afin de commander et de configurer une nouvelle interconnexion cross-cloud. Vous aurez besoin des autorisations appropriées pour configurer la mise en réseau dans Google Cloud et dans Azure.

Regardez une vidéo expliquant comment commander et configurer une CCI entre Azure et Google Cloud.

Si votre bucket Cloud Storage est un bucket régional, vous devez configurer l'ICC dans la même région que votre bucket pour réduire la latence du réseau.

Créer un point de terminaison dans S3 ou Azure

Créez un point de terminaison dans votre compte S3 ou Azure.

AWS

Dans votre compte Amazon Web Services, créez un point de terminaison VPC qui se connecte à S3.

Suivez les instructions AWS Accéder à un service AWS à l'aide d'un point de terminaison d'interface VPC pour créer le point de terminaison.

Azure

Configurez un point de terminaison privé sur le compte de stockage dans Azure en suivant ces étapes.

Le service de transfert de stockage nécessite le point de terminaison *.blob.core.windows.net. Le point de terminaison *.dfs.core.windows.net n'est pas accepté.

Une fois le point de terminaison créé, notez son adresse IP. Vous devrez spécifier l'adresse IP lors de la création de votre équilibreur de charge dans la section suivante.

Configurer un équilibreur de charge réseau proxy interne régional avec une connectivité hybride

Dans Google Cloud, configurez un équilibreur de charge réseau proxy interne régional avec une connectivité hybride. Cela fournit une adresse IP interne limitée aux clients exécutés sur le même réseau VPC que l'équilibreur de charge, et qui achemine le trafic vers les points de terminaison VPC S3 ou les points de terminaison privés Azure Storage que vous avez créés dans la section précédente.

Vous devez créer l'équilibreur de charge dans le même projet et le même réseau VPC que le rattachement de VLAN qui communique avec Cloud Interconnect. Bien que l'interconnexion elle-même puisse se trouver dans un autre projet de la même organisation, le rattachement doit se trouver dans le même VPC et la même région que l'équilibreur de charge.

Spécifiez l'adresse IP du point de terminaison VPC S3 ou du point de terminaison privé Azure Storage lorsque vous atteignez les étapes intitulées Ajouter des points de terminaison au NEG de connectivité hybride.

Notez l'adresse IP et le port de l'interface de l'équilibreur de charge réseau, car vous devrez les spécifier dans la section suivante.

Valider la connexion

Avant de continuer, nous vous recommandons de vérifier que l'équilibreur de charge peut se connecter au point de terminaison de stockage distant.

Pour ce faire :

  1. Créez une VM Compute Engine dans le même réseau VPC que votre équilibreur de charge.
  2. À partir de la VM, utilisez curl pour tester la connectivité à l'adresse IP et au port de l'équilibreur de charge :

    curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME
    

    Remplacez les éléments suivants :

    • HOSTNAME est le nom d'hôte de votre fournisseur de stockage source.
      • Pour AWS S3, utilisez le point de terminaison de l'API S3 pour la région de votre bucket, par exemple s3.us-west-1.amazonaws.com.
      • Pour Azure Storage, utilisez le point de terminaison d'objets blob de votre compte de stockage, par exemple mystorageaccount.blob.core.windows.net.
    • PORT est le port que vous avez configuré sur la règle de transfert de l'équilibreur de charge, généralement 443.
    • LOAD_BALANCER_IP est l'adresse IP de l'interface de votre équilibreur de charge.

Une réponse du point de terminaison distant, même une erreur, indique que la connectivité est établie. Un délai avant expiration de la connexion indique une mauvaise configuration de votre réseau que vous devez résoudre avant de continuer.

Enregistrer votre équilibreur de charge réseau dans l'Annuaire des services

Enregistrez l'équilibreur de charge réseau dans l'Annuaire des services. Le service de transfert de stockage utilise l'Annuaire des services pour résoudre l'adresse de l'équilibreur de charge et s'y connecter directement.

Suivez les instructions pour enregistrer un équilibreur de charge interne. Utilisez l'adresse IP et le port de l'équilibreur de charge que vous avez créés lors de la spécification de la règle de transfert.

Une fois le service créé, notez son lien d'accès direct. Il utilise le format projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Vous en aurez besoin pour créer le job de transfert.

Créer un transfert

Accordez les autorisations suivantes à l'agent de service. Pour savoir comment récupérer l'agent de service et lui accorder des autorisations, consultez Configurer l'accès à un récepteur : Cloud Storage.

Pour créer un job de transfert qui utilise interconnexion cross-cloud, vous devez utiliser l'API REST du service de transfert de stockage. Envoyez une requête comme suit. Notez le champ privateNetworkService, dans lequel vous allez spécifier le selfLink de votre service de l'Annuaire des services.

AWS

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
        "privateNetworkService": "SERVICE_SELF_LINK",
        "bucketName": "S3_BUCKET_NAME",
        "awsAccessKey": {
          "accessKeyId": "ACCESS_KEY_ID",
          "secretAccessKey": "SECRET_ACCESS_KEY"
        }
    },
    "gcsDataSink": {
        "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Azure

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "privateNetworkService": "SERVICE_SELF_LINK",
          "storageAccount": "AZURE_SOURCE_NAME",
          "container": "AZURE_CONTAINER",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_BUCKET_NAME"
      }
  }
}

Remplacez les éléments suivants :

  • SERVICE_SELF_LINK est le lien d'auto-référencement du service de l'Annuaire des services. Il utilise le format projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.

Pour en savoir plus sur les autres champs, consultez la documentation de référence sur transferSpec.

Vérifier que le trafic utilise l'interconnexion

Utilisez Cloud Monitoring pour vérifier le trafic transitant par votre interconnexion depuis AWS ou Azure.

  1. Dans la Google Cloud Console, accédez à Connectivité hybride > Cloud Interconnect.
  2. Sélectionnez le rattachement de VLAN qui se connecte à votre environnement AWS/Azure.
  3. Sur la page d'informations de votre connexion, sélectionnez l'onglet Surveillance. Recherchez les métriques qui indiquent un transfert de données. Plus précisément :
    • Octets d'entrée : cette métrique indique les données provenant d'AWS ou d'Azure vers votre VPC Google Cloud.
    • État opérationnel : assurez-vous que la connexion physique et la session BGP sont opérationnelles et en bon état.