Trasferimento dei dati

Transfer Appliance supporta i seguenti metodi per copiare i dati sull'appliance:

• SCP o SFTP per Microsoft Windows, Linux e macOS.
• Condivisione NFS per Linux e macOS.
• Condivisione SMB per Microsoft Windows e Linux.
• Monta sull'appliance per NFS e CIFS.

Dopo aver copiato i dati su Transfer Appliance, verifica che il trasferimento dei dati al bucket Cloud Storage sia completato prima di eliminare i dati di origine.

Requisiti per le dimensioni e la denominazione dei file

I file caricati sull'appliance devono rispettare i limiti di dimensione e le linee guida per la denominazione dei file di Cloud Storage:

• I limiti delle dimensioni dei file sono documentati nella pagina Quote e limiti di Cloud Storage.
• Le linee guida per i nomi dei file sono documentate nella pagina Linee guida per la denominazione degli oggetti.

Transfer Appliance non convalida le dimensioni o i nomi dei file. Se l'apparecchio contiene file che non rispettano queste regole quando viene rispedito a Google, potremmo non essere in grado di trasferirli.

Utilizzare SCP o SFTP per copiare i dati

Per copiare i dati sull'appliance utilizzando SCP o SFTP:

Microsoft Windows

1. Scarica un client SCP o SFTP che supporti i nomi dei file UTF-8, ad esempio WinSCP.

2. Utilizzando lo strumento SCP, connettiti all'appliance utilizzando le seguenti impostazioni:

   • Protocollo file: SFTP
   • Nome host: l'indirizzo IP dell'appliance.
   • Numero porta: 22
   • Nome utente: il nome utente dell'appliance fornito dal team di Transfer Appliance.
   • Password: la password dell'appliance fornita dal team di Transfer Appliance.

   La directory di destinazione su Transfer Appliance deve essere /mnt/ta_data.

Linux

1. Esegui questo comando:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Sostituisci quanto segue:

   • PATH_TO_FILES: il percorso dei file che stai copiando.
   • USERNAME: il nome utente dell'appliance fornito dal team Transfer Appliance.
   • IP_ADDRESS: l'indirizzo IP dell'appliance.

2. Quando richiesto, inserisci la password dell'appliance fornita dal team di Transfer Appliance.

macOS di Apple

1. Esegui questo comando:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Sostituisci quanto segue:

   • PATH_TO_FILES: il percorso dei file che stai copiando.
   • USERNAME: il nome utente dell'appliance fornito dal team Transfer Appliance.
   • IP_ADDRESS: l'indirizzo IP dell'appliance.

2. Quando richiesto, inserisci la password dell'appliance fornita dal team di Transfer Appliance.

Utilizzare la condivisione NFS per copiare i dati

Per copiare i dati nell'appliance utilizzando la condivisione NFS:

1. Per montare Transfer Appliance, esegui i seguenti comandi sull'origine dati:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Sostituisci IP_ADDRESS con l'indirizzo IP dell'appliance.

   macOS di Apple

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Sostituisci IP_ADDRESS con l'indirizzo IP dell'appliance.

2. Per copiare i dati nell'appliance, utilizza un'utilità di copia a tua scelta.

   La copia dei dati è un'operazione a lunga esecuzione. Su Apple macOS o Linux, ti consigliamo di utilizzare tmux o screen per garantire che il processo di copia sopravviva alla disconnessione o alla disconnessione dalla rete.

Salva la chiave SSH

Salva la chiave SSH per accedere più rapidamente a Transfer Appliance. Il salvataggio della chiave SSH può anche migliorare le velocità di trasferimento.

1. Sulla workstation, genera una coppia di chiavi utilizzando il seguente comando:

   posix-terminal
   ssh-keygen -t rsa
   

2. Crea un file /tmp/ssh_key sull'appliance.

3. Copia il contenuto del file della chiave pubblica dalla workstation in /tmp/ssh_key sull'appliance. Il file della chiave pubblica si trova nel seguente percorso della tua workstation:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Per autorizzare più chiavi, aggiungi ogni chiave su una nuova riga in /tmp/ssh_key.

4. Esegui questo comando sull'appliance. Le chiavi esistenti vengono sovrascritte.

   ta copy_ssh_keys
   

5. Accedi all'appliance.

   • Se la chiave privata si trova nella posizione predefinita sulla workstation, utilizza il seguente comando per accedere all'appliance:

     ssh ta_customer@IP_ADDRESS
     

   • Se la chiave privata non si trova nella posizione predefinita, utilizza il seguente comando per accedere all'appliance:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Utilizzare SMB per trasferire i dati

Per attivare la condivisione di file SMB:

1. Configura l'appliance per utilizzare SMB utilizzando il seguente flag del protocollo di condivisione file:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   La directory ta_data è condivisa e viene creato il seguente utente:

   • Nome utente: ta_customer
   • Password: ta_customer

2. In base al tipo di host, connettiti alla condivisione file SMB:

   Microsoft Windows

   Gestore di file

   1. Apri il file manager e modifica il percorso del file in \\IP_ADDRESS\ta_data.

   2. Quando ti viene chiesto, inserisci il tuo nome utente e la password.

   Riga di comando

   1. Al prompt dei comandi di Windows, inserisci: net use X: \\IP_ADDRESS\ta_data

   2. Quando ti viene chiesto, inserisci il tuo nome utente e la password.

   Linux

   Gestore di file

   1. Apri il file manager predefinito e fai clic su Connetti al server.

   2. Inserisci smb://IP_ADDRESS/ta_data.

   3. Quando ti viene chiesto, inserisci il tuo nome utente e la password.

   Riga di comando

   1. Installa il client SMB: sudo apt-get install smbclient.

   2. Connettiti alla condivisione file SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Viene visualizzato un prompt smb:\>.

Utilizzare le proprie condivisioni di file sull'appliance

L'appliance utilizza un comando di montaggio Linux wrapper per montare le condivisioni sull'appliance:

1. Esegui questi comandi:

   NFS

   1. Aggiorna il file /etc/exports sul dispositivo che ospita il server NFS concedendo l'accesso IP_ADDRESS al server.

   2. Esegui questi comandi sull'appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Sostituisci quanto segue:

      • IP_ADDRESS: l'indirizzo IP dell'appliance.
      • MOUNT_POINT: Il nome del punto di montaggio per questa condivisione.
      • NFS_SERVER_IP: L'indirizzo IP del dispositivo che ospita il server NFS
      • NFS_DIRECTORY: il percorso della condivisione NFS.
      • OPTIONS: l'elenco di opzioni separate da virgole. Queste opzioni sono quelle consentite dal comando mount di Linux.

   CIFS

   1. Esegui questi comandi sull'appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Sostituisci quanto segue:

      • MOUNT_POINT: Il nome del punto di montaggio per questa condivisione.
      • CIFS_SERVER_IP: l'indirizzo IP del dispositivo che ospita il server CIFS.
      • CIFS_NAME: il nome della condivisione CIFS.
      • OPTIONS: l'elenco separato da virgole delle opzioni, inclusi la password e il nome utente della condivisione CIFS. Queste opzioni sono quelle consentite dal comando mount di Linux.

   Se non diversamente specificato nelle opzioni di montaggio, il punto di montaggio verrà rimontato al riavvio finché non lo rimuoverai con il comando "ta unmount".

2. Per smontare tutti i montaggi sull'appliance, esegui questo comando:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Per copiare i dati nell'appliance, utilizza un'utilità di copia a tua scelta.

   RClone

   1. Per eseguire un comando di copia con RClone sull'appliance, esegui questo comando:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Sostituisci quanto segue:

      • MOUNT_POINT: la directory contenente i dati da trasferire.

   Recupero dall'archivio

   1. Per archiviare i dati in file tar durante il trasferimento, esegui questo comando:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Sostituisci quanto segue:

      • MOUNT_POINT: la directory contenente i dati da trasferire.
      • ARCHIVE_SIZE_BYTES: la dimensione target dei file tar da generare nella destinazione. Il valore predefinito è 1 GB, ma il valore previsto è compreso tra 5 MB e 20 GB inclusi.
      • THREAD_COUNT: Il numero di thread in esecuzione simultanea durante la creazione degli archivi. Il valore predefinito è 20 e deve essere compreso tra 1 e 10.000 inclusi.

      Il recupero dell'archivio viene eseguito in background, quindi puoi uscire in sicurezza dal terminale. Il pull inizia con una fase di elencazione dei dati prima che possa iniziare il trasferimento.

   2. Quando inizi un pull, viene restituito un ID. Questo valore può essere utilizzato per interagire con il pull:

      Per controllare lo stato di un pull, esegui questo comando:

      ta pull --id=ID --status

      Per mettere in pausa un pull, esegui il comando seguente:

      ta pull --id=ID --pause

      Per riprendere un pull in pausa o interrotto, esegui questo comando:

      ta pull --id=ID --resume

      Sostituisci quanto segue:

      • ID: l'ID pull.

   3. Una volta completato il pull, i file tar.gz si trovano nella directory /mnt/ta_data/TA_ARCHIVE_ID/. Verrà generato e salvato un file manifest in /mnt/ta_data/manifest_ID.tsv. Questo file conterrà informazioni sui file trasferiti, specificando quali file contiene il file tarball. Un file manifest degli errori verrà salvato in modo simile in /mnt/ta_data/manifest_ID_ERROR.tsv, con i dettagli di eventuali errori riscontrati durante il pull.

   Ti consigliamo di eseguire un comando pull alla volta.

   Nota:il pull non è progettato per gestire set di dati con directory contenenti più di 50.000 sottodirectory. Per evitare tempi di attesa prolungati, valuta la possibilità di utilizzare altri metodi di copia.

   I test di velocità sono stati condotti su un set di dati di 100 GB su un TA7 (ora ritirato). Questi valori vengono forniti per aiutarti a scegliere tra le due utilità di copia disponibili. Le velocità di trasferimento possono variare in base al tipo di elettrodomestico e alla connettività di rete.

   Metodo	Dimensioni file	Dimensioni archivio (byte) (solo estrazione archivio)	Tariffa (NFS)	Tariffa (PMI)
   RClone	100 MB	N/D	600 MB/s	620 MB/s
   Recupero dall'archivio	100 MB	10 GB	750 MB/s	850 MB/s
   RClone	1 MB	N/D	280 MB/s	270 MB/s
   Recupero dall'archivio	1 MB	500 MB	630 MB/s	380 MB/s
   RClone	100 kB	N/D	150 MB/s	150 MB/s
   Recupero dall'archivio	100 kB	5 MB	270 MB/s	90 MB/s

Benchmark di trasferimento dei dati

Queste velocità di trasferimento dei dati rappresentano le prestazioni di scrittura massime di Transfer Appliance quando si utilizzano strumenti di copia standard. Per isolare le prestazioni di scrittura ed eliminare potenziali colli di bottiglia di lettura dall'origine dati, i dati sono stati generati direttamente sulla condivisione NFS montata dell'appliance. L'appliance (TA40) è stata connessa all'origine dati con una porta da 10 Gb e le velocità sono state misurate per le seguenti dimensioni dei file:

• File da 10 GB, 1 GB e 100 MB (set di dati da 5 TB)
• File da 10 MB e 1 MB (set di dati da 1 TB)

Dimensioni file	Velocità media di copia(NFS)	Tempo stimato per il trasferimento di 40 TB	Tempo stimato per il trasferimento di 300 TB
10 GB	560 MBps	21 ore	6 giorni e 12 ore
1 GB	400 MBps	1 giorno e 5 ore	9 giorni
100 MB	300 MBps	1 giorno e 15 ore	12 giorni
10 MB	130 MBps	3 giorni e 18 ore	28 giorni
1 MB	30 MBps	16 giorni	120 giorni