Trasferimento da AWS o Azure su una rete privata gestita dal cliente

Una connessione di rete privata, stabilita utilizzando Google Cloud Cross-Cloud Interconnect o Partner Interconnect, può offrire vantaggi significativi per il trasferimento di dati tra AWS o Azure e Cloud Storage:

  • Potenziale ottimizzazione dei costi: puoi potenzialmente ottenere risparmi sui costi in uscita. Questo può essere vantaggioso per i clienti con interconnessioni esistenti o che eseguono trasferimenti di dati di grandi dimensioni o ricorrenti, con conseguenti risparmi sostanziali a lungo termine.
  • Larghezza di banda di rete dedicata: l'utilizzo di un'interconnessione può offrire una velocità effettiva coerente e ad alta capacità e una latenza inferiore, il che è fondamentale per le migrazioni di grandi dimensioni e sensibili al tempo e per la sincronizzazione dei dati in tempo reale.
  • Soddisfa le esigenze di conformità: ideale per i carichi di lavoro in cui i requisiti normativi impongono di mantenere i dati al di fuori della rete internet pubblica. Questa funzionalità ti aiuta a trasferire i dati in privato utilizzando l'interconnessione per raggiungere la conformità, supportare la sovranità dei dati e semplificare gli audit.

Panoramica

Questo documento illustra i passaggi per:

  • Ordinare e configurare una connessione Cross-Cloud Interconnect
  • Creare un endpoint in S3 o Azure
  • Configurare un bilanciatore del carico di rete proxy interno regionale con connettività ibrida
  • Registrare il bilanciatore del carico in Service Directory
  • Creare un trasferimento
  • Verificare che il traffico utilizzi l'interconnessione

Autorizzazioni obbligatorie

Per completare ognuna delle seguenti sezioni, avrai bisogno di autorizzazioni specifiche. Queste autorizzazioni sono elencate nella documentazione per questo insieme di passaggi.

Opzioni di interconnessione

Storage Transfer Service può trasferire dati da AWS e Azure tramite Cross-Cloud Interconnect (CCI) o Partner Interconnect.

I passaggi riportati di seguito sono specifici per CCI, ma si applicano anche alla configurazione della rete per Partner Interconnect.

Ordinare e configurare una connessione Cross-Cloud Interconnect

Una connessione Cross-Cloud Interconnect è una connessione fisica dedicata tra Google Cloud e altri provider di servizi cloud.

Se hai già una connessione CCI, vai alla sezione successiva.

AWS

Segui le istruzioni per connetterti ad Amazon Web Services per ordinare e configurare una nuova connessione Cross-Cloud Interconnect. Avrai bisogno delle autorizzazioni corrette per configurare la rete in Google Cloud e in AWS.

Guarda un video che illustra i passaggi per ordinare e configurare una connessione CCI tra AWS e Google Cloud.

Azure

Segui le istruzioni per connetterti a Microsoft Azure per ordinare e configurare una nuova connessione Cross-Cloud Interconnect. Avrai bisogno delle autorizzazioni corrette per configurare la rete in Google Cloud e in Azure.

Guarda un video che illustra i passaggi per ordinare e configurare una connessione CCI tra Azure e Google Cloud.

Se il bucket Cloud Storage è un bucket regionale, devi configurare la connessione CCI nella stessa regione del bucket per ridurre la latenza di rete.

Creare un endpoint in S3 o Azure

Crea un endpoint nel tuo account S3 o Azure.

AWS

Nel tuo account Amazon Web Services, crea un endpoint VPC che si connetta a S3.

Segui queste istruzioni di AWS: Accedi a un servizio AWS utilizzando un endpoint VPC di interfaccia per creare l'endpoint.

Azure

Configura un endpoint privato nell'account di archiviazione in Azure seguendo questi passaggi.

Storage Transfer Service richiede l'endpoint *.blob.core.windows.net. L'endpoint *.dfs.core.windows.net non è supportato.

Una volta creato, prendi nota dell'indirizzo IP dell'endpoint. Dovrai specificare l'indirizzo IP quando crei il bilanciatore del carico nella sezione successiva.

Configurare un bilanciatore del carico di rete proxy interno regionale con connettività ibrida

In Google Cloud, configura un bilanciatore del carico di rete proxy interno regionale con connettività ibrida. In questo modo viene fornito un indirizzo IP interno limitato ai client in esecuzione nella stessa rete VPC del bilanciatore del carico e che instrada il traffico agli endpoint VPC S3 o agli endpoint privati di Azure Storage creati nella sezione precedente.

Devi creare il bilanciatore del carico nello stesso progetto e nella stessa rete VPC del collegamento VLAN che si interfaccia con Cloud Interconnect. Sebbene l'interconnessione stessa possa trovarsi in un progetto diverso all'interno della stessa organizzazione, il collegamento deve trovarsi nella stessa rete VPC e nella stessa regione del bilanciatore del carico.

Specifica l'indirizzo IP dell'endpoint VPC S3 o dell'endpoint privato di Azure Storage quando raggiungi i passaggi con l'etichetta Aggiungi endpoint al NEG di connettività ibrida.

Prendi nota dell'indirizzo IP e della porta del frontend del bilanciatore del carico di rete, in quanto dovrai specificarli nella sezione successiva.

Convalidare la connessione

Prima di procedere, ti consigliamo di verificare che il bilanciatore del carico possa connettersi all'endpoint di archiviazione remoto.

Ecco come fare:

  1. Crea una VM di Compute Engine nella stessa rete VPC del bilanciatore del carico.

  2. Dalla VM, utilizza curl per testare la connettività all'indirizzo IP e alla porta del bilanciatore del carico:

    curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME

    Sostituisci quanto segue:

    • HOSTNAME è il nome host del tuo fornitore di spazio di archiviazione di origine.
      • Per AWS S3, utilizza l'endpoint API S3 per la regione del bucket, ad esempio s3.us-west-1.amazonaws.com.
      • Per Azure Storage, utilizza l'endpoint blob dell'account di archiviazione, ad esempio mystorageaccount.blob.core.windows.net.
    • PORT è la porta configurata nella regola di forwarding del bilanciatore del carico, in genere 443.
    • LOAD_BALANCER_IP è l'indirizzo IP del frontend del bilanciatore del carico.

Una risposta dall'endpoint remoto, anche un errore, indica che la connettività è riuscita. Un timeout di connessione indica una configurazione errata nella configurazione di rete che devi risolvere prima di continuare.

Registrare il bilanciatore del carico di rete in Service Directory

Registra il bilanciatore del carico di rete in Service Directory. Storage Transfer Service utilizza Service Directory per risolvere l'indirizzo del bilanciatore del carico e connettersi direttamente.

Segui le istruzioni per registrare un bilanciatore del carico interno. Utilizza l'indirizzo IP e la porta del bilanciatore del carico che hai creato quando hai specificato la regola di forwarding.

Una volta creato, prendi nota del self-link del servizio. Utilizza il formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Avrai bisogno di questo valore quando crei il job di trasferimento.

Creare un trasferimento

Concedi le seguenti autorizzazioni all'agente di servizio. Per istruzioni su come recuperare l'agente di servizio e concedere le autorizzazioni all'agente di servizio, consulta Autorizzazioni dell'agente di servizio.

Per creare un job di trasferimento che utilizzi una connessione Cross-Cloud Interconnect, devi utilizzare l'API REST di Storage Transfer Service. Invia una richiesta come segue. Prendi nota del campo privateNetworkService, in cui specificherai il self-link del servizio Service Directory.

AWS 

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
        "privateNetworkService": "SERVICE_SELF_LINK",
        "bucketName": "S3_BUCKET_NAME",
        "awsAccessKey": {
          "accessKeyId": "ACCESS_KEY_ID",
          "secretAccessKey": "SECRET_ACCESS_KEY"
        }
    },
    "gcsDataSink": {
        "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Azure 

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "privateNetworkService": "SERVICE_SELF_LINK",
          "storageAccount": "AZURE_SOURCE_NAME",
          "container": "AZURE_CONTAINER",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_BUCKET_NAME"
      }
  }
}

Sostituisci quanto segue:

  • SERVICE_SELF_LINK è il self-link del servizio Service Directory. Utilizza il formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.

Per informazioni sugli altri campi, consulta la documentazione di riferimento di transferSpec.

Verificare che il traffico utilizzi l'interconnessione

Utilizza Cloud Monitoring per verificare il traffico che transita attraverso l'interconnessione da AWS o Azure.

  1. Nella Google Cloud Console, vai a Connettività ibrida > Cloud Interconnect.
  2. Seleziona il collegamento VLAN che si connette al tuo ambiente AWS/Azure.
  3. Nella pagina dei dettagli della connessione, seleziona la scheda Monitoraggio. Cerca le metriche che indicano il trasferimento di dati. In particolare:
    • Byte in entrata: questa metrica mostra i dati provenienti da AWS o Azure nella tua rete VPC Google Cloud.
    • Stato operativo: assicurati che sia la connessione fisica sia la sessione BGP siano in uno stato operativo integro.