Transférer les données

Transfer Appliance accepte les méthodes suivantes pour copier les données vers le serveur :

Une fois que vous avez copié les données sur Transfer Appliance, vérifiez que le transfert des données vers le bucket Cloud Storage est terminé avant de supprimer vos données sources.

Exigences concernant la taille et le nom des fichiers

Les fichiers importés dans l'appliance doivent respecter les limites de taille et les consignes de dénomination des fichiers Cloud Storage :

Transfer Appliance ne valide pas la taille ni les noms des fichiers. Si l'appliance contient des fichiers qui ne respectent pas ces règles lorsqu'elle est renvoyée à Google, il est possible que nous ne puissions pas transférer ces fichiers.

Utiliser SCP ou SFTP pour copier des données

Pour copier des données sur le serveur à l'aide de SCP ou de SFTP, procédez comme suit :

Microsoft Windows

  1. Téléchargez un client SCP ou SFTP compatible avec les noms de fichiers UTF-8, tels que WinSCP.

  2. À l'aide de l'outil SCP, connectez-vous au serveur à l'aide des paramètres suivants :

    • File protocol (Protocole de fichier) : SFTP
    • Nom d'hôte : l'adresse IP du serveur.
    • Numéro du port : 22
    • Nom d'utilisateur : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
    • Mot de passe : mot de passe du serveur fourni par l'équipe Transfer Appliance

    Le répertoire de destination sur Transfer Appliance doit être /mnt/ta_data.

Linux

  1. Exécutez la commande suivante :

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    Remplacez les éléments suivants :

    • PATH_TO_FILES : chemin d'accès aux fichiers que vous copiez.
    • USERNAME : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
    • IP_ADDRESS : adresse IP du serveur.

  2. Lorsque vous y êtes invité, saisissez le mot de passe du serveur fourni par l'équipe Transfer Appliance.

Apple macOS

  1. Exécutez la commande suivante :

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    Remplacez les éléments suivants :

    • PATH_TO_FILES : chemin d'accès aux fichiers que vous copiez.
    • USERNAME : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.
    • IP_ADDRESS : adresse IP du serveur.

  2. Lorsque vous y êtes invité, saisissez le mot de passe du serveur fourni par l'équipe Transfer Appliance.

Utiliser le partage NFS pour copier des données

Pour copier des données sur le serveur à l'aide du partage NFS, procédez comme suit :

  1. Pour installer Transfer Appliance, exécutez les commandes suivantes sur votre source de données :

    Linux

    1. sudo mkdir /mnt/data

    2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data

      Remplacez IP_ADDRESS par l'adresse IP du serveur.

    Apple macOS

    1. cd ~

    2. mkdir ta_data

    3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data

      Remplacez IP_ADDRESS par l'adresse IP du serveur.

  2. Pour copier des données vers le serveur, utilisez l'utilitaire de copie de votre choix.

    La copie de données est une opération de longue durée. Sous Apple macOS ou Linux, nous vous recommandons d'utiliser tmux ou screen pour vous assurer que le processus de copie persiste après votre déconnexion ou la déconnexion du réseau.

Enregistrer votre clé SSH

Enregistrez votre clé SSH pour vous connecter plus rapidement à votre Transfer Appliance. L'enregistrement de votre clé SSH peut également améliorer la vitesse de transfert.

  1. Sur votre poste de travail, générez une paire de clés à l'aide de la commande suivante :

    posix-terminal
ssh-keygen -t rsa

  2. Créez un fichier /tmp/ssh_key sur l'appliance.

  3. Copiez le contenu du fichier de clé publique de votre poste de travail dans /tmp/ssh_key sur l'appliance. Le fichier de clé publique se trouve à l'emplacement suivant sur votre poste de travail :

    • Linux : ~/.ssh/id_rsa.pub
    • Windows : C:Users/USERNAME/.ssh

    Pour autoriser plusieurs clés, ajoutez-en une par ligne dans /tmp/ssh_key.

  4. Exécutez la commande suivante sur l'appliance. Toutes les clés existantes sont écrasées.

    ta copy_ssh_keys

  5. Connectez-vous à l'appliance.

    • Si la clé privée se trouve à l'emplacement par défaut sur votre poste de travail, utilisez la commande suivante pour vous connecter à l'appliance :

      ssh ta_customer@IP_ADDRESS

    • Si la clé privée ne se trouve pas à l'emplacement par défaut, utilisez la commande suivante pour vous connecter à l'appliance :

      ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS

Utiliser SMB pour transférer des données

Pour activer le partage de fichiers SMB, procédez comme suit :

  1. Configurez l'appliance pour qu'elle utilise SMB à l'aide de l'indicateur de protocole de partage de fichiers suivant :

     ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb

    Le répertoire ta_data est partagé et l'utilisateur suivant est créé :

    • Nom d'utilisateur : ta_customer
    • Mot de passe : ta_customer

  2. En fonction de votre type d'hôte, connectez-vous au partage de fichiers SMB :

    Microsoft Windows

    Gestionnaire de fichiers

    1. Ouvrez le gestionnaire de fichiers et modifiez le chemin d'accès au fichier en \\IP_ADDRESS\ta_data.

    2. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

    Ligne de commande

    1. Saisissez la commande suivante dans l'invite de commande Windows : net use X: \\IP_ADDRESS\ta_data

    2. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

    Linux

    Gestionnaire de fichiers

    1. Ouvrez le gestionnaire de fichiers par défaut, puis cliquez sur Se connecter au serveur.

    2. Saisissez smb://IP_ADDRESS/ta_data.

    3. Saisissez votre nom d'utilisateur et votre mot de passe lorsque vous y êtes invité.

    Ligne de commande

    1. Installez le client SMB : sudo apt-get install smbclient.

    2. Connectez-vous au partage de fichiers SMB : smbclient //IP_ADDRESS/ta_data -U USERNAME

      Une invite smb:\> s'affiche.

Utiliser vos propres partages de fichiers sur l'appliance

L'appliance utilise une commande d'installation Linux encapsulée pour installer les partages sur l'appliance :

  1. Exécutez les commandes suivantes :

    NFS

    1. Mettez à jour le fichier /etc/exports sur l'appareil hébergeant le serveur NFS pour accorder à IP_ADDRESS l'accès au serveur.

    2. Exécutez les commandes suivantes sur l'appliance :

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      Remplacez les éléments suivants :

      • IP_ADDRESS : adresse IP de l'appliance.
      • MOUNT_POINT : nom du point de montage de ce partage.
      • NFS_SERVER_IP : adresse IP de votre appareil hébergeant le serveur NFS
      • NFS_DIRECTORY : chemin d'accès à votre partage NFS.
      • OPTIONS : liste d'options séparées par une virgule. Ces options sont celles autorisées par la commande mount de Linux.

    CIFS

    1. Exécutez les commandes suivantes sur l'appliance :

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      Remplacez les éléments suivants :

      • MOUNT_POINT : nom du point de montage de ce partage.
      • CIFS_SERVER_IP : adresse IP de votre appareil hébergeant le serveur CIFS.
      • CIFS_NAME : nom du partage CIFS.
      • OPTIONS : liste d'options séparées par une virgule, y compris le mot de passe et le nom d'utilisateur du partage CIFS. Ces options sont celles autorisées par la commande mount de Linux.

    Sauf indication contraire dans les options de montage, le point de montage sera remonté au redémarrage jusqu'à ce que vous le supprimiez avec la commande "ta unmount".

  2. Pour démonter tous les montages sur l'appliance, exécutez la commande suivante :

     ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

  3. Pour copier des données vers le serveur, utilisez l'utilitaire de copie de votre choix.

    RClone

    1. Pour exécuter une commande de copie avec RClone sur l'appliance, exécutez la commande suivante :

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Remplacez les éléments suivants :

      • MOUNT_POINT : répertoire contenant les données à transférer.

    Récupérer des archives

    1. Pour archiver vos données dans des fichiers tar lors du transfert, exécutez la commande suivante :

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
--destination=/mnt/ta_data --count=THREAD_COUNT

      Remplacez les éléments suivants :

      • MOUNT_POINT : répertoire contenant les données à transférer.
      • ARCHIVE_SIZE_BYTES : taille cible des fichiers tar à générer à la destination. La valeur par défaut est de 1 Go, mais elle doit être comprise entre 5 Mo et 20 Go (inclus).
      • THREAD_COUNT : nombre de threads exécutés simultanément pour créer des archives. La valeur par défaut est 20, mais elle doit être comprise entre 1 et 10 000 (inclus).

      L'extraction d'archives s'exécute en arrière-plan. Vous pouvez donc quitter le terminal sans problème. L'extraction commence par une phase de listing des données avant que le transfert puisse commencer.

    2. Un ID est renvoyé lorsque vous commencez un extrait. Cette valeur peut être utilisée pour interagir avec l'extrait :

      Pour vérifier l'état d'un pull, exécutez la commande suivante : 

      ta pull --id=ID --status

      Pour suspendre un pull, exécutez la commande suivante : 

      ta pull --id=ID --pause

      Pour reprendre une extraction suspendue ou interrompue, exécutez la commande suivante : 

      ta pull --id=ID --resume

      Remplacez les éléments suivants :

      • ID : ID de l'extraction.

    3. Une fois l'extraction terminée, les fichiers tar se trouvent dans le répertoire /mnt/ta_data/TA_ARCHIVE_ID/. Un fichier manifeste sera généré et enregistré à l'emplacement /mnt/ta_data/manifest_ID.tsv. Ce fichier contiendra des informations sur les fichiers transférés, en indiquant quels fichiers sont contenus dans quel fichier tar. Un fichier manifeste d'erreur sera également enregistré sous /mnt/ta_data/manifest_ID_ERROR.tsv. Il détaillera toutes les erreurs rencontrées lors de l'extraction.

    Nous vous recommandons d'exécuter une commande pull à la fois.

    Les tests de vitesse ont été effectués sur un ensemble de données de 100 Go sur un TA7 (désormais obsolète). Ces valeurs sont fournies pour vous aider à choisir entre les deux utilitaires de copie disponibles. Les débits de transfert peuvent varier en fonction du type d'appareil et de la connectivité réseau.

    Méthode Taille de fichier Taille de l'archive en octets (extraction d'archive uniquement) Tarif (NFS) Tarif (PME)
    RClone 100 Mo N/A 600 Mo/s* 620 Mo/s
    Récupérer des archives 100 Mo 10 Go 750 Mo/s 850 Mo/s*
    RClone 1 Mo N/A 280 Mo/s 270 Mo/s
    Récupérer des archives 1 Mo 500 Mo 630 Mo/s 380 Mo/s
    RClone 100 Ko N/A 150 Mo/s 150 Mo/s
    Récupérer des archives 100 Ko 5 Mo 270 Mo/s 90 Mo/s

Benchmarks de transfert de données

Ces vitesses de transfert de données représentent les performances d'écriture maximales de Transfer Appliance lorsque vous utilisez des outils de copie standards. Pour isoler les performances d'écriture et éliminer les éventuels goulots d'étranglement de lecture de la source de données, les données ont été générées directement sur le partage NFS monté de l'appliance. L'appliance (TA40) était connectée à la source de données avec un port 10 Gb. Les vitesses ont été mesurées pour les tailles de fichier suivantes :

  • Fichiers de 10 Go, 1 Go et 100 Mo (ensemble de données de 5 To)
  • Fichiers de 10 Mo et 1 Mo (ensemble de données de 1 To)
Taille de fichier Vitesse de copie moyenne(NFS) Durée estimée du transfert de 40 To Temps estimé pour le transfert de 300 To
10 Go 560 MBps 21 heures 6 jours et 12 heures
1 Go 400 MBps 1 jour et 5 heures 9 jours
100 Mo 300 MBps 1 jour et 15 heures 12 jours
10 Mo 130 Mbit/s 3 jours et 18 heures 28 jours
1 Mo 30 Mbit/s 16 jours 120 jours