Trasferimento da AWS o Azure su una rete privata gestita dal cliente

Una connessione di rete privata, stabilita utilizzando Google Cloud Cross-Cloud Interconnect o Partner Interconnect, può offrire vantaggi significativi per il trasferimento di dati tra AWS o Azure e Cloud Storage:

  • Potenziale ottimizzazione dei costi: potenziale risparmio sui costi di uscita. Ciò può essere vantaggioso per i clienti con interconnessioni esistenti o per quelli che eseguono trasferimenti di dati di grandi dimensioni o ricorrenti, con conseguenti risparmi considerevoli a lungo termine.
  • Larghezza di banda di rete dedicata: l'utilizzo di un interconnessione può offrire un throughput coerente e ad alta capacità e una latenza inferiore, il che è fondamentale per le migrazioni di grandi dimensioni sensibili al tempo e la sincronizzazione dei dati in tempo reale.
  • Soddisfare le esigenze di conformità: ideale per i workload in cui i requisiti normativi impongono di mantenere i dati al di fuori di internet pubblico. Questa funzionalità ti aiuta a trasferire i dati in privato utilizzando l'interconnessione per ottenere la conformità, supportare la sovranità dei dati e semplificare gli audit.

Panoramica

Questo documento descrive i passaggi per:

  • Ordina e configura un'interconnessione Cross-Cloud Interconnect
  • Crea un endpoint in S3 o Azure
  • Configura un bilanciatore del carico di rete proxy interno regionale con connettività ibrida
  • Registra il bilanciatore del carico in Service Directory
  • Crea un trasferimento
  • Verifica che il traffico utilizzi l'interconnessione

Autorizzazioni obbligatorie

Per completare ognuna delle seguenti sezioni, sono necessarie autorizzazioni specifiche. Queste autorizzazioni sono elencate nella documentazione relativa a questo insieme di passaggi.

Opzioni di interconnessione

Storage Transfer Service può trasferire dati da AWS e Azure tramite Cross-Cloud Interconnect (CCI) o Partner Interconnect.

I passaggi riportati di seguito sono specifici per CCI, ma si applicano anche durante la configurazione del networking per Partner Interconnect.

Ordina e configura un'interconnessione Cross-Cloud Interconnect

Una connessione Cross-Cloud Interconnect è una connessione fisica dedicata tra Google Cloud e altri provider cloud.

Se hai già una connessione CCI, vai alla sezione successiva.

AWS

Segui le istruzioni per connetterti ad Amazon Web Services per ordinare e configurare una nuova Cross-Cloud Interconnectud. Avrai bisogno delle autorizzazioni corrette per configurare il networking in Google Cloud e in AWS.

Guarda un video che illustra i passaggi per ordinare e configurare un'interconnessione cloud tra AWS e Google Cloud.

Azure

Segui le istruzioni per connetterti a Microsoft Azure per ordinare e configurare un nuovo Cross-Cloud Interconnect. Devi disporre delle autorizzazioni corrette per configurare il networking in Google Cloud e in Azure.

Guarda un video che illustra i passaggi per ordinare e configurare un'interconnessione cloud tra Azure e Google Cloud.

Se il bucket Cloud Storage è un bucket regionale, devi configurare CCI nella stessa regione del bucket per ridurre la latenza di rete.

Crea un endpoint in S3 o Azure

Crea un endpoint nel tuo account S3 o Azure.

AWS

Nel tuo account Amazon Web Services, crea un endpoint VPC che si connette a S3.

Segui queste istruzioni di AWS: Accedi a un servizio AWS utilizzando un endpoint VPC di interfaccia per creare l'endpoint.

Azure

Configura un endpoint privato nell'account di archiviazione in Azure seguendo questi passaggi.

Storage Transfer Service richiede l'endpoint *.blob.core.microsoft.net. L'endpoint *.dfs.core.microsoft.net non è supportato.

Una volta creato, prendi nota dell'indirizzo IP dell'endpoint. Dovrai specificare l'indirizzo IP quando crei il bilanciatore del carico nella sezione successiva.

Configura un bilanciatore del carico di rete proxy interno regionale con connettività ibrida

In Google Cloud, configura un bilanciatore del carico di rete proxy interno regionale con connettività ibrida. In questo modo viene fornito un indirizzo IP interno limitato ai client in esecuzione nella stessa rete VPC del bilanciatore del carico e che instrada il traffico agli endpoint VPC S3 o agli endpoint privati di Azure Storage creati nella sezione precedente.

Devi creare il bilanciatore del carico nello stesso progetto e nella stessa rete VPC del collegamento VLAN che si interfaccia con Cloud Interconnect. Anche se l'interconnessione stessa può trovarsi in un progetto diverso all'interno della stessa organizzazione, l'allegato deve trovarsi nello stesso VPC e nella stessa regione del bilanciatore del carico.

Specifica l'indirizzo IP dell'endpoint VPC S3 o dell'endpoint privato di Azure Storage quando raggiungi i passaggi etichettati Aggiungi endpoint al NEG di connettività ibrida.

Prendi nota dell'indirizzo IP e della porta frontend del bilanciamento del carico di rete, perché dovrai specificarli nella sezione successiva.

Convalidare la connessione

Prima di procedere, ti consigliamo di verificare che il bilanciatore del carico possa connettersi all'endpoint di archiviazione remota.

Ecco come fare:

  1. Crea una VM di Compute Engine nella stessa rete VPC del bilanciatore del carico.

  2. Dalla VM, utilizza curl per testare la connettività all'indirizzo IP e alla porta del bilanciatore del carico:

    curl -v --resolve HOSTNAME:LOAD_BALANCER_IP:PORT https://HOSTNAME

    Dove:

    • <var>HOSTNAME</var> è il nome host del tuo fornitore di spazio di archiviazione di origine.
      • Per AWS S3, utilizza l'endpoint API S3 per la regione del tuo bucket, ad esempio s3.us-west-1.amazonaws.com.
      • Per Azure Storage, utilizza l'endpoint blob del tuo account di archiviazione, ad esempio mystorageaccount.blob.core.windows.net.
    • <var>PORT</var> è la porta che hai configurato nella regola di forwarding del bilanciatore del carico, in genere 443.
    • <var>LOAD_BALANCER_IP</var> è l'indirizzo IP di frontend del bilanciatore del carico.

Una risposta dall'endpoint remoto, anche un errore, indica che la connettività è riuscita. Un timeout della connessione indica una configurazione errata della rete che devi risolvere prima di continuare.

Registra il tuo NLB con Service Directory

Registra il bilanciamento del carico di rete in Service Directory. Storage Transfer Service utilizza Service Directory per risolvere l'indirizzo del bilanciatore del carico e connettersi direttamente.

Segui le istruzioni per registrare un bilanciatore del carico interno. Utilizza l'indirizzo IP e la porta del bilanciatore del carico che hai creato quando specifichi la regola di forwarding.

Una volta creato, prendi nota del self-link del servizio. Utilizza il formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. Questo valore ti servirà quando creerai il job di trasferimento.

Crea un trasferimento

Concedi le seguenti autorizzazioni al service agent. Per istruzioni su come recuperare il service agent e concedere le autorizzazioni al service agent, consulta Autorizzazioni del service agent gestito da Google.

Per creare un job di trasferimento che utilizza un'Cross-Cloud Interconnect, devi utilizzare l'API REST Storage Transfer Service. Invia una richiesta come segue. Prendi nota del campo privateNetworkService, in cui specificherai il selfLink del servizio Service Directory.

AWS 

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
        "privateNetworkService": "SERVICE_SELF_LINK",
        "bucketName": "S3_BUCKET_NAME",
        "awsAccessKey": {
          "accessKeyId": "ACCESS_KEY_ID",
          "secretAccessKey": "SECRET_ACCESS_KEY"
        }
    },
    "gcsDataSink": {
        "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Azure 

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "privateNetworkService": "SERVICE_SELF_LINK",
          "storageAccount": "AZURE_SOURCE_NAME",
          "container": "AZURE_CONTAINER",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_BUCKET_NAME"
      }
  }
}

Dove:

  • SERVICE_SELF_LINK è il link all'elemento corrente del servizio Service Directory. Utilizza il formato projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.

Per informazioni sugli altri campi, consulta la documentazione di riferimento di transferSpec.

Verifica che il traffico utilizzi l'interconnessione

Utilizza Cloud Monitoring per verificare il traffico che passa attraverso l'interconnessione da AWS o Azure.

  1. Nella Google Cloud Console, vai a Connettività ibrida > Cloud Interconnect.
  2. Seleziona il collegamento VLAN che si connette al tuo ambiente AWS/Azure.
  3. Nella pagina dei dettagli della connessione, seleziona la scheda Monitoraggio. Cerca le metriche che indicano il trasferimento di dati. In particolare:
    • Byte in entrata:questa metrica mostra i dati provenienti da AWS o Azure nel tuo VPC Google Cloud.
    • Stato operativo:assicurati che sia la connessione fisica sia la sessione BGP siano in uno stato operativo integro.