Trasferisci set di dati di grandi dimensioni da Cloud Storage a Filestore

Utilizza Storage Transfer Service per spostare set di dati di grandi dimensioni da Cloud Storage alle condivisioni file di Filestore.

Storage Transfer Service consente di trasferire in modo rapido e sicuro grandi set di dati tra sistemi di archiviazione di oggetti e file, indipendentemente dal fatto che i dati siano ospitati in Cloud Storage, in provider cloud di terze parti o on-premise.

Storage Transfer Service supporta i trasferimenti accelerati di set di dati di grandi dimensioni, gestendo centinaia di TB di dati o più. Sposta i tuoi set di dati di grandi dimensioni nel cloud per sfruttare le operazioni di analisi e machine learning disponibili dalle istanze Compute Engine sottostanti in cui sono montate le istanze Filestore.

Con Storage Transfer Service puoi creare trasferimenti gestiti da Google o configurare trasferimenti self-hosted per avere il controllo completo del routing della rete e dell'utilizzo della larghezza di banda.

Nota :per trasferire meno di 1 TB di dati dai bucket Cloud Storage, utilizza Google Cloud CLI. Per saperne di più, consulta Copiare dati da un bucket Cloud Storage a una condivisione file Filestore o Quando utilizzare Storage Transfer Service.

Trasferisci dati da un bucket Cloud Storage a una condivisione file Filestore

Il trasferimento di dati da Cloud Storage a una condivisione file Filestore utilizzando Storage Transfer Service richiede le seguenti attività:

1. Configurare l'ambiente.
2. Configura Filestore.
3. Configura Storage Transfer Service.
4. Crea e avvia il job di trasferimento.

Le sezioni seguenti illustrano ogni attività.

Configura l'ambiente

1. Seleziona o crea un progetto.

   Ai fini di questa guida, assicurati che le risorse di origine e di destinazione si trovino nello stesso progetto.

   Nella console Google Cloud , nella pagina di selezione del progetto, seleziona o crea un progettoGoogle Cloud .

   Se stai testando Filestore e non prevedi di conservare le risorse che crei, ti consigliamo di creare un progetto invece di selezionarne uno esistente. Al termine del test, puoi eliminare il progetto e tutte le relative risorse.

   Vai al selettore di progetti

2. Abilita la fatturazione.

   Verifica che la fatturazione sia abilitata per il tuo progetto Google Cloud . Scopri come verificare che la fatturazione sia abilitata per il tuo progetto.

3. Abilita le seguenti API:

   • API Filestore

   • API Resource Manager

   • API Pub/Sub

   • API Cloud Storage

   • API Storage Transfer

   • API Cloud Logging

   • API Compute Engine

   • API Service Usage

   • API Identity and Access Management

4. (Facoltativo) gcloud, un componente principale di Google Cloud SDK, è installato su ogni VM Compute Engine. Se esegui uno dei seguenti passaggi dalla riga di comando locale, configura Google Cloud SDK.

   Installa e inizializza Google Cloud SDK.

   Se hai già installato Google Cloud SDK, assicurati di avere l'ultima versione disponibile eseguendo:

   gcloud components update
   

5. Crea un service account. Nella sezione Concedi a questo account di servizio l'accesso al progetto, assegna i seguenti ruoli:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Pub/Sub Editor

   • Cloud Filestore Editor

   • Storage Object Admin

   • Storage Transfer Admin

   • Storage Transfer Agent

   1. Copia e salva il nome del account di servizio che hai creato per un passaggio successivo.

   2. Crea una account di servizio account per l'account che hai appena creato. Ai fini di questa guida, crea una sola chiave. Scarica il file di chiave e salvalo per un passaggio successivo.

      Nota: le chiavi dei service account comportano un rischio per la sicurezza se non vengono gestite correttamente. Dovresti scegliere un'alternativa più sicura alle chiavi del service account quando è possibile. Se devi eseguire l'autenticazione con una chiave dell'account di servizio, sei responsabile della sicurezza della chiave privata e di altre operazioni descritte in Best practice per la gestione delle chiavi dei service account. Se non riesci a creare una chiave del service account, la creazione di chiavi del service account potrebbe essere disabilitata per la tua organizzazione. Per ulteriori informazioni, vedi Gestione delle risorse dell'organizzazione sicure per impostazione predefinita.

      Se hai acquisito la chiave del service account da una fonte esterna, devi convalidarla prima dell'utilizzo. Per maggiori informazioni, consulta Requisiti di sicurezza per le credenziali di origine esterna.

6. Assegnare ruoli a un account utente. Nella pagina IAM, individua il tuo account utente e assegnagli i seguenti ruoli:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Storage Transfer Admin

   • Storage Admin

   Per saperne di più, consulta Autorizzazioni utente.

Configura Filestore

1. Crea un'istanza di Filestore. Quando crei l'istanza, applica le seguenti specifiche:

   1. Assicurati che il bucket Cloud Storage, la VM client e l'istanza Filestore si trovino tutti nella stessa regione.

   2. Seleziona un tipo di istanza regionale o enterprise.

   3. (Facoltativo) Per set di dati più grandi, richiedi un aumento della quota.

   4. Copia il nome dell'istanza e l'indirizzo IP e salvali per un passaggio successivo.

2. Monta un'istanza di Filestore su una macchina client.

   Questa guida descrive un trasferimento che utilizza quattro VM Compute Engine come macchine client NFS. Creerai un unico account di servizio che opera per conto delle quattro macchine client. Su ogni computer client verranno installati tre agenti Storage Transfer Service.

   Nota: per ottenere le prestazioni migliori, gli utenti devono utilizzare almeno quattro VM Compute Engine per questo scenario.

   1. Crea un'istanza VM di Compute Engine con accesso ad altri serviziGoogle Cloud .

      1. Configura una VM con le seguenti specifiche:

         1. Quando specifichi una località, assicurati che il bucket Google Cloud , la VM client e l'istanza Filestore si trovino tutti nella stessa regione.

         2. Ogni agente di Storage Transfer Service richiede 4 vCPU e 8 GB di RAM. Per ottenere prestazioni ottimali, esegui più agenti per VM. Ai fini di questa guida, esegui il provisioning di un'istanza di macchina virtuale Compute Engine e2-standard-32.

         3. Nella sezione Identità e accesso API, specifica quanto segue:

            1. Nel menu a discesa Service account, seleziona il service account che hai appena creato.

   2. Una volta creata l'istanza VM di Compute Engine, accedi alla macchina utilizzando SSH. Nella pagina Istanza VM di Compute Engine, individua l'istanza che hai creato e fai clic su SSH.

   3. Utilizza un editor di testo come Vim per creare una copia del file di chiave del account di servizio e salvarla temporaneamente in locale nella VM. Ad esempio, service-account-key.json.

   4. Installa Docker sulla VM.

   5. gcloud è già installato sull'istanza VM di Compute Engine. Dalla riga di comando SSH, inserisci il seguente comando per autorizzare il account di servizio a utilizzare gcloud:

      gcloud auth activate-service-account ACCOUNT --key-file=KEY_FILE
      

      dove:

      • ACCOUNT è l'indirizzo email del account di servizio che hai creato. Ad esempio, [e-mail].

      • KEY_FILE è il percorso locale relativo al file della chiave che hai copiato in precedenza. Ad esempio, sa-key.json.

   6. Sempre dalla riga di comando SSH, installa NFS:

      sudo apt-get -y update && sudo apt-get install nfs-common
      

   7. Crea una directory locale da mappare alla condivisione file di Filestore. Quando ripeti questi passaggi per le successive istanze VM di Compute Engine, utilizza lo stesso nome e lo stesso percorso:

      sudo mkdir -p MY_DIRECTORY
      

      dove:

      • MY_DIRECTORY è il nome della directory POSIX locale per l'istanza VM di Compute Engine. Ad esempio, /usr/local/my_dir.

   8. Monta la condivisione file associata all'istanza Filestore eseguendo il comando mount. Puoi utilizzare qualsiasi opzione di montaggio NFS. Per ottenere le prestazioni migliori, consulta i consigli per il montaggio NFS in Montaggio di una condivisione file su un'istanza VM di Compute Engine:

      sudo mount -o rw IP_ADDRESS:/FILE_SHARE MY_DIRECTORY
      

      dove:

      • IP_ADDRESS è l'indirizzo IP dell'istanza Filestore. Puoi trovarlo nella pagina Istanze Filestore.

      • FILE_SHARE è il nome della condivisione file sull'istanza. Ad esempio, my_fs_instance.

      • MY_DIRECTORY è il nome della directory a cui hai eseguito il mapping nel passaggio precedente. Si tratta di una directory sull'istanza VM di Compute Engine in cui vuoi montare l'istanza Filestore.

   9. Conferma il punto di montaggio:

      mount -l | grep nfs
      

      Viene restituito quanto segue o un risultato simile:

      10.66.55.194:/my_fs_instance on /home/usr/my_dir type nfs (rw,relatime,vers=3,rsize=524288,wsize=524288,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.66.55.194,mountvers=3,mountport=2050,mountproto=udp,local_lock=none,addr=10.66.55.194)
      

      In alternativa, puoi utilizzare anche il seguente comando:

      df -h --type=nfs
      

      Viene restituito quanto segue o un risultato simile:

      Filesystem                       Size  Used Avail Use% Mounted on
      10.66.55.194:/my_fs_instance  1.0T     0  1.0T   0% /home/usr/my_dir
      

   10. Prendi nota del percorso della directory POSIX locale e salvalo per un passaggio successivo.

   11. Ripeti i passaggi precedenti per creare altre tre istanze VM di Compute Engine e monta la stessa istanza Filestore su ciascuna. Utilizza lo stessoaccount di serviziot per gestire tutte e quattro le VM Compute Engine. Salva temporaneamente una copia locale della chiave del account di servizio in ogni VM.

Configura Storage Transfer Service

1. Crea un pool di agenti.

2. Autorizza il service agent per tutte le funzionalità di Storage Transfer Service.

   1. Inserisci questo comando:

      gcloud transfer authorize --add-missing --creds-file=KEY_FILE
      

      dove:

      • KEY_FILE è il percorso locale relativo al file della chiave che hai copiato in precedenza. Ad esempio, sa-key.json.

      Prendi nota della notifica restituita relativa all'agente di servizio e salva l'indirizzo email associato per il passaggio successivo.

   2. Dopo qualche minuto, dovresti vedere l'agente di servizio nella pagina IAM. Una volta propagati, verifica che siano assegnati i seguenti ruoli:

      • Pub/Sub Editor

      • Storage Admin

      Nota: in genere la propagazione delle autorizzazioni richiede pochi secondi, ma in alcuni casi possono essere necessari fino a sette minuti.

3. Installa gli agenti di trasferimento.

   Ogni agente di Storage Transfer Service richiede 4 vCPU e 8 GB di RAM.

   Nota :Storage Transfer Service conserva gli attributi POSIX e i link simbolici durante il trasferimento. Per saperne di più, consulta Conservazione dei metadati.

   1. Ti consigliamo di installare più agenti per massimizzare la tolleranza agli errori e per sfruttare lo scalabilità dinamica offerta da Storage Transfer Service. L'esempio seguente mostra come installare tre agenti su una macchina client. Dalla riga di comando SSH, esegui questo comando:

      gcloud transfer agents install --pool=MY_AGENT_POOL --count=3 \
      --creds-file=MY_SERVICE_ACCOUNT_KEY_FILE
      

      dove:

      • MY_AGENT_POOL è il nome del pool di agenti che hai creato in precedenza. Ad esempio, my-agent-pool.

      • MY_SERVICE_ACCOUNT_KEY_FILE è il percorso relativo alla chiave del account di servizio. Ad esempio, /relative/path/to/service-account-key.json.

   2. Ripeti questi passaggi per ogni macchina client.

Crea e avvia il job di trasferimento

1. Crea un job di trasferimento per spostare i dati dal bucket Cloud Storage all'istanza Filestore. Fai riferimento alla directory POSIX locale che hai salvato in precedenza per specificare il percorso di destinazione. Ad esempio: /home/usr/my_dir.

Monitorare lo stato del trasferimento

Console

Monitora lo stato del trasferimento dalla pagina Job di trasferimento della console Google Cloud .

Riga di comando

Puoi monitorare lo stato utilizzando la riga di comando:

gcloud transfer jobs monitor JOB_NAME

dove:

• JOB_NAME è il nome del job di trasferimento. Ad esempio, transferJobs/OPI6300379522015192941.

La risposta mostra quanto segue o un messaggio simile:

Polling for latest operation name...done.
Operation name: my-sts-project_transferJobs/OPI6300379522015192941_0000000001660692377
Parent job: OPI6300379522015192941
Start time: 2022-08-16T23:26:17.600981Z
SUCCESS | 100% (731.9MiB of 731.9MiB) | Skipped: 129.8kiB | Errors: 0
End time: 2022-08-16T23:27:23.429472Z

Per ulteriori informazioni, vedi Monitorare l'attività dell'agente o Dettagli del trasferimento del file system.

Passaggi successivi

• Migliora il rendimento delle Google Cloud risorse.
• Crea un'istanza VM di Compute Engine con accesso ad altri servizi Google Cloud .