Exporter vos données depuis Cloud Storage vers un autre emplacement

Vous pouvez utiliser un serveur Transfer Appliance pour exporter vos données depuis Cloud Storage.

Avant de commencer

La page suivante fournit des instructions sur la commande d'un serveur Transfer Appliance pour l'exportation de données, y compris sur la validation et l'activation du serveur, l'exécution du transfert et le renvoi du serveur à Google.

Le mode en ligne ne peut pas être activé sur les serveurs commandés à des fins d'exportation de données.

Fonctionnement

Demander un serveur : commandez un serveur Transfer Appliance pour l'exportation de données et appliquez des autorisations.
Google copie vos données sur le serveur : nous chiffrons vos données, les copions sur le serveur, chiffrons le serveur, puis vous l'expédions.
Réceptionnez le serveur et téléchargez vos données : les systèmes Linux et Apple macOS installent le partage NFS exposé par le serveur. Les systèmes Windows utilisent SCP, SSH ou SMB pour télécharger des données depuis le serveur.
Effacez les données du serveur et renvoyez-le : finalisez le transfert, effacez les données du serveur, puis renvoyez-le à Google.

Exporter des données

Pour exporter vos données, procédez comme suit :

  1. Commandez un serveur Transfer Appliance pour l'exportation de données.

  2. Réceptionnez et validez votre serveur.

  3. Activez votre serveur.

  4. Configurez le logiciel du serveur.

  5. Téléchargez les données.

  6. Finalisez les données copiées et effacez les données du serveur.

  7. Retournez le serveur.

Commander un serveur Transfer Appliance pour l'exportation de données

Le bucket source doit contenir les données nécessaires à l'exportation avant de lancer une commande, car toutes les données supplémentaires ajoutées après la commande ne pourront pas être exportées vers le serveur.

Pour commander un serveur Transfer Appliance, procédez comme suit :

Accédez à la page Commander un serveur. Choisissez le type de serveur que vous souhaitez commander et sélectionnez le sens du transfert de données De Cloud Storage vers un environnement sur site. Indiquez votre clé de chiffrement gérée par le client (CMEK) et le nom du bucket source à partir duquel vous souhaitez transférer vos données. Vous pouvez également indiquer le chemin d'accès au fichier manifeste.

Accéder à la commande Transfer Appliance

Fichier manifeste facultatif :

Le transfert de fichiers ou d'objets spécifiques peut être spécifié à l'aide d'un fichier manifeste. Ce fichier manifeste doit être sélectionné lors de la création de la commande.

Pour créer un fichier manifeste d'objets, créez un fichier CSV dont la première colonne contient les noms d'objet relatifs au nom du bucket et au dossier spécifiés dans la source de données dans Cloud Storage. Tous les objets doivent se trouver dans le même bucket.

Vous pouvez également spécifier une deuxième colonne facultative avec le numéro de génération Cloud Storage de la version spécifique à transférer.

Par exemple, vous pouvez transférer les objets suivants :

Chemin de l'objet Numéro de génération Cloud Storage
SOURCE_PATH/object1.pdf 1664826685911832
SOURCE_PATH/object2.pdf
SOURCE_PATH/object3.pdf 1664826610699837

Votre fichier manifeste doit ressembler à l'exemple suivant :

object1.pdf,1664826685911832
object2.pdf
object3.pdf,1664826610699837

Enregistrez le fichier manifeste avec le nom de fichier de votre choix et l'extension .csv. Ce fichier doit résider dans la même source de données dans Cloud Storage.

Préparer les autorisations et l'accès

Une fois la commande envoyée, fournissez les autorisations requises pour préparer votre serveur Transfer Appliance. Les autorisations peuvent être définies par l'application de configuration Cloud ou par une configuration manuelle.

Une fois votre demande reçue, l'équipe Transfer Appliance valide les détails de votre commande et transfère vos données sur le serveur. L'équipe Transfer Appliance scelle et expédie votre serveur à la destination demandée. Aucune autre action n'est requise tant que vous n'avez pas reçu votre serveur.

Réceptionner et valider votre serveur

Une fois que vous avez reçu votre serveur, vérifiez que le colis est arrivé intact et connectez-vous à Transfer Appliance :

  1. Vérifiez le contenu du colis pour vous assurer que votre serveur n'a pas été altéré pendant le transport.

  2. Exécutez l'application d'attestation Transfer Appliance pour vous assurer que le logiciel du serveur n'a pas été altéré.

Connecter et activer votre serveur

Pour vous connecter à votre serveur et l'activer, procédez comme suit sur votre ordinateur portable :

  1. Connectez-vous à Transfer Appliance de la même manière que celle décrite à l'étape de validation ci-dessus.

  2. Activez votre serveur à l'aide des commandes suivantes. Assurez-vous que votre ordinateur portable est connecté à Internet et que l'utilisateur est autorisé à installer et à exécuter la commande gcloud ci-dessous. Vous devrez peut-être installer la Google Cloud CLI si ce n'est pas déjà fait en suivant les instructions d'installation de la Google Cloud CLI.

    1. Exécutez gcloud auth application-default login.

  1. Exécutez la commande d'activation.

    Windows

     taattestator_x86_64-windows.exe --activation

    Linux

     ./taattestator_x86_64-linux --activation

    macOS

     ./taattestator_x86_64-darwin --activation

Configurer le logiciel du serveur

Configurez le logiciel de Transfer Appliance et vérifiez l'état du serveur.

Télécharger les données

Extrayez les données du serveur à l'aide de l'une des méthodes suivantes. Nous vous recommandons vivement de vérifier que le téléchargement des données est terminé avant de supprimer les données de votre bucket Cloud Storage source. Il est recommandé de vérifier les données par rapport au fichier manifeste s'il a été fourni au moment de la commande.

SCP ou SFTP

Copiez les données à l'aide de SCP ou de SFTP en fonction de votre système d'exploitation :

Windows

  1. Téléchargez un client SCP ou SFTP compatible avec les noms de fichiers UTF-8, tels que WinSCP.

  2. À l'aide de l'outil SCP, connectez-vous au serveur avec les paramètres suivants :

    • File protocol (Protocole de fichier) : SFTP

    • Host name (Nom d'hôte) : adresse IP du serveur

    • Port number (Numéro de port) : 22

    • Username (Nom d'utilisateur) : nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance

    • Password (Mot de passe) : mot de passe du serveur fourni par l'équipe Transfer Appliance

    Le répertoire source sur Transfer Appliance doit être /mnt/ta_data.

Linux

  1. Exécutez la commande suivante :

    scp USERNAME@IP_ADDRESS:/mnt/ta_data PATH_ON_DEVICE

    Remplacez les éléments suivants :

    • PATH_ON_DEVICE: chemin d'accès sur l'appareil sur lequel vous copiez les données.

    • USERNAME: nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.

    • IP_ADDRESS: adresse IP du serveur.

  2. Lorsque vous y êtes invité, saisissez le mot de passe du serveur fourni par l'équipe Transfer Appliance.

macOS

  1. Exécutez la commande suivante :

    scp USERNAME@IP_ADDRESS:/mnt/ta_data PATH_ON_DEVICE

    Remplacez les éléments suivants :

    • PATH_ON_DEVICE: chemin d'accès sur l'appareil sur lequel vous copiez les données.

    • USERNAME: nom d'utilisateur du serveur fourni par l'équipe Transfer Appliance.

    • IP_ADDRESS : adresse IP du serveur.

  2. Lorsque vous y êtes invité, saisissez le mot de passe du serveur fourni par l'équipe Transfer Appliance.

Partage NFS

Copiez les données depuis le serveur à l'aide du partage NFS :

  1. Exécutez la commande suivante sur votre source de données en fonction de votre système d'exploitation :

    Linux

    1. sudo apt install nfs-common

    2. sudo mkdir /mnt/data

    3. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data

    Remplacez IP_ADDRESS par l'adresse IP du serveur.

    macOS

    1. cd ~

    2. mkdir ta_data

    3. sudo mount -t nfs -o vers=4, resvport IP_ADDRESS:/mnt/ta_data ~/ta_data

    Remplacez IP_ADDRESS par l'adresse IP du serveur.

    1. Copiez les données depuis le serveur à l'aide de l'utilitaire de copie de votre choix.

    La copie de données est une opération de longue durée. Pour macOS ou Linux, nous vous recommandons d'utiliser tmux ou screen pour vous assurer que le processus de copie persiste après votre déconnexion ou la déconnexion du réseau.

Partage SMB

Pour activer le partage de fichiers SMB, procédez comme suit :

  1. Configurez le serveur pour qu'il utilise SMB à l'aide de l'indicateur de protocole de partage de fichiers suivant :

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb

    Le répertoire ta_data est partagé et l'utilisateur suivant est créé :

    • Nom d'utilisateur : ta_customer
    • Mot de passe : ta_customer

  2. En fonction de votre type d'hôte, connectez-vous au partage de fichiers SMB :

    Microsoft Windows

    Gestionnaire de fichiers

    1. Ouvrez le gestionnaire de fichiers et modifiez le chemin d'accès au fichier en \\IP_ADDRESS\ta_data.

    2. Lorsque vous y êtes invité, saisissez votre nom d'utilisateur et votre mot de passe.

    Ligne de commande

    1. Saisissez la commande suivante dans l'invite de commandes Windows : net use X: \\IP_ADDRESS\ta_data

    2. Lorsque vous y êtes invité, saisissez votre nom d'utilisateur et votre mot de passe.

    Linux

    Gestionnaire de fichiers

    1. Ouvrez le gestionnaire de fichiers par défaut et cliquez sur Connect to server (Se connecter au serveur).

    2. Saisissez smb://IP_ADDRESS/ta_data.

    3. Lorsque vous y êtes invité, saisissez votre nom d'utilisateur et votre mot de passe.

    Ligne de commande

    1. Installez le client SMB : sudo apt-get install smbclient.

    2. Connectez-vous au partage de fichiers SMB : smbclient //IP_ADDRESS/ta_data -U USERNAME

    Une invite smb:\> s'affiche.

Finaliser les données copiées et effacer les données du serveur

La finalisation des données copiées prépare le serveur à être renvoyé à Google. Une fois les données copiées finalisées, les données du serveur deviennent inaccessibles et ne peuvent plus être récupérées.

  1. Finalisez les données copiées.

  2. Effacez les données (facultatif) sur le serveur.

Retourner le serveur

Emballez et renvoyez le serveur à Google.

Points à noter concernant la sécurité

Vos données sont chiffrées à l'aide d'une clé de chiffrement des données (DEK) générée par Google Cloud. La DEK est ensuite chiffrée par une clé de chiffrement de clé (KEK) et stockée dans votre bucket source. Vos données chiffrées sont transférées vers le serveur, qui est également chiffré à l'aide de dm-crypt sur le réseau de centres de données privé de Google à l'aide de connexions TLS sécurisées.

Vos données restent chiffrées dans le centre de données, pendant le transfert, et ne sont accessibles qu'une fois que vous avez activé le serveur. Pour en savoir plus sur les protocoles de sécurité de Google, consultez la section Sécurité et chiffrement.

Tarifs

La tarification standard de Transfer Appliance s'applique aux serveurs d'exportation de données. Pour en savoir plus, consultez la page Tarifs de Transfer Appliance.