Cette page explique comment importer et télécharger des objets vers et depuis des buckets de stockage d'appliance isolée Google Distributed Cloud (GDC).
Avant de commencer
Un espace de noms de projet gère les ressources de bucket dans le serveur d'API de gestion. Vous devez disposer d'un projet pour utiliser des buckets et des objets.
Vous devez également disposer des autorisations de bucket appropriées pour effectuer l'opération suivante. Consultez Accorder l'accès à un bucket.
Pour exécuter des commandes sur le serveur d'API de gestion, connectez-vous et générez le fichier kubeconfig pour le serveur d'API de gestion si vous n'en avez pas.
Consignes de dénomination des objets
Suivez les consignes ci-dessous pour nommer des objets :
- Utilisez des caractères UTF-8 lorsque vous nommez des objets.
- Évitez d'inclure des informations permettant d'identifier l'utilisateur.
Importer des objets dans des buckets de stockage
Pour importer un objet, exécutez les commandes suivantes :
gdcloud storage cp LOCAL_PATH s3://REMOTE_PATH
gdcloud storage cp s3://REMOTE_SOURCE_PATH s3://REMOTE_MOVE_DESTINATION_PATH
gdcloud storage mv s3://REMOTE_SOURCE_PATH s3://REMOTE_MOVE_DESTINATION_PATH
La commande suivante importe tous les fichiers texte du répertoire local dans un bucket :
gdcloud storage cp *.txt s3://BUCKET
La commande suivante importe plusieurs fichiers du répertoire local dans un bucket :
gdcloud storage cp abc1.txt abc2.txt s3://BUCKET
Pour importer un dossier dans un bucket, utilisez l'option --recursive pour copier une arborescence de répertoires complète. La commande suivante importe l'arborescence de répertoires dir :
gdcloud storage cp dir s3://BUCKET --recursive
Effectuez des importations en plusieurs parties pour les objets volumineux ou utilisez-les automatiquement lorsque vous avez un fichier de plus de 15 Mo à importer. Dans ce cas, le fichier est divisé en plusieurs parties de 15 Mo chacune. La dernière partie est plus petite. Chaque partie est importée séparément et reconstruite à la destination une fois le transfert terminé.
Si l'importation d'une partie échoue, vous pouvez la redémarrer sans affecter les autres parties déjà importées.
Il existe deux options liées aux importations en plusieurs parties :
--disable-multipart: désactive les importations en plusieurs parties pour tous les fichiers.--multipart-chunk-size-mb=SIZE: définit la taille de chaque bloc d'une importation en plusieurs parties.
Les fichiers dont la taille est supérieure à SIZE sont automatiquement importés en plusieurs parties multithread. Les fichiers plus petits sont importés à l'aide de la méthode traditionnelle. SIZE est exprimée en mégaoctets. La taille de bloc par défaut est de 15 Mo. La taille de bloc minimale autorisée est de 5 Mo et la taille maximale est de 5 Go.
Télécharger des objets à partir de buckets de stockage
Pour obtenir des objets à partir du bucket :
gdcloud storage cp s3://BUCKET/OBJECT LOCAL_FILE_TO_SAVE
Pour télécharger tous les fichiers texte d'un bucket dans votre répertoire actuel :
gdcloud storage cp s3://BUCKET/*.txt .
Pour télécharger le fichier texte abc.txt d'un bucket dans votre répertoire actuel :
gdcloud storage cp s3://BUCKET/abc.txt .
Pour télécharger une ancienne version du fichier, listez d'abord toutes les versions du fichier :
gdcloud storage ls s3://BUCKET/abc.txt --all-versions
Exemple de résultat :
s3://my-bucket/abc.txt#OEQxNTk4MUEtMzEzRS0xMUVFLTk2N0UtQkM4MjAwQkJENjND
s3://my-bucket/abc.txt#ODgzNEYzQ0MtMzEzRS0xMUVFLTk2NEItMjI1MTAwQkJENjND
s3://my-bucket/abc.txt#ODNCNDEzNzgtMzEzRS0xMUVFLTlDOUMtQzRDOTAwQjg3RTg3
Ensuite, téléchargez une version spécifique du fichier texte abc.txt du bucket dans votre répertoire actuel :
gdcloud storage cp s3://BUCKET/abc.txt#OEQxNTk4MUEtMzEzRS0xMUVFLTk2N0UtQkM4MjAwQkJENjND .