Cloud Run fournit un espace disque éphémère qui ne persiste que pendant la durée de votre instance. Cette fonctionnalité vous permet de spécifier la quantité de disque dont vous avez besoin et l'emplacement pour le monter. Cloud Run alloue ensuite cette quantité de disque à votre ressource.
Les disques sont automatiquement provisionnés, préformatés en ext4 et chiffrés avec des clés spécifiques à l'instance au démarrage. L'espace disque éphémère crée votre volume de sorte que n'importe quel utilisateur puisse le lire ou y écrire. Comme le stockage est éphémère, toutes les données sont définitivement supprimées lorsque l'instance s'arrête. Cela inclut les arrêts causés par :
- Plantages d'instance
- Achèvement de tâches (réussite ou échec)
Les disques sont dédiés à une instance spécifique et ne sont pas partagés avec d'autres instances. Vous contrôlez la structure du système de fichiers avec un point de montage configurable pour chaque volume.
Avant d'arrêter une instance, Cloud Run envoie un signal SIGTERM à tous les conteneurs d'une instance, indiquant le début de la période de 10 secondes avant l'arrêt réel marqué par l'envoi d'un signal SIGKILL par Cloud Run. Vous pouvez utiliser cette fenêtre de 10 secondes pour effectuer des opérations de nettoyage, comme une dernière série de copie du contenu du disque vers le stockage persistant.
Cas d'utilisation
Vous pouvez utiliser un espace disque éphémère pour les opérations suivantes :
- Charges de travail de traitement des données : lorsque vous traitez de grands fichiers de données dans Cloud Run, vous stockez généralement l'intégralité du fichier en mémoire ou vous orchestrez sa division en plus petits morceaux. Avec le stockage éphémère, vous n'avez pas besoin de payer pour de grandes quantités de mémoire afin de créer une copie locale temporaire de vos données. Vous pourrez également traiter des ensembles de données plus volumineux.
- Mise en cache : dans les cas d'utilisation de diffusion Web, la mise en cache des données sur le disque plutôt que leur récupération à partir d'un stockage à distance peut optimiser la latence de votre application.
Limites de stockage et d'instances
Les limites suivantes s'appliquent :
- Limite de stockage des instances : par défaut, chaque instance est limitée à 10 Go d'espace total. Si nécessaire, demandez une augmentation de quota.
- Limite de volume par instance : chaque instance est limitée à 10 volumes maximum.
- Limite par projet : par défaut, chaque projet est limité à 100 Go par région. Si nécessaire, demandez une augmentation de quota.
Demander une augmentation du quota
Les projets qui utilisent un espace disque éphémère Cloud Run dans une région pour la première fois se voient automatiquement accorder une limite de 10 Go par instance et par région, et de 100 Go par projet et par région.
Si vous avez besoin de capacité supplémentaire, vous devez demander une augmentation de quota pour votre job Cloud Run. Utilisez les liens fournis dans les boutons suivants pour demander le quota dont vous avez besoin.
| Quota actuel | Lien vers le quota |
|---|---|
| 10 Go par instance | Demander un quota plus important par instance |
| 100 Go par projet | Demander un quota plus important par projet |
Pour savoir comment demander une augmentation de quota, consultez Augmenter le quota.
Limites
Les limites suivantes s'appliquent :- L'espace disque éphémère n'est disponible que dans l'environnement d'exécution de deuxième génération. Par défaut, les jobs Cloud Run utilisent l'environnement d'exécution de deuxième génération.
- La migration à chaud n'est pas compatible. Cela signifie que les jobs Cloud Run seront moins fiables, en particulier les jobs de longue durée.
Chemins d'accès non autorisés
Cloud Run ne vous permet pas d'installer un volume sur /dev, /proc ou /sys, ni dans leurs sous-répertoires.
Régions où le service est disponible
La fonctionnalité d'espace disque éphémère est disponible dans les régions suivantes :
- Pour les charges de travail sans GPU, l'espace disque éphémère est disponible dans :
asia-northeast1(Tokyo)europe-west1(Belgique)
Faibles émissions de CO2
northamerica-northeast1(Montréal) Faibles émissions de CO2
northamerica-northeast2(Toronto) Faibles émissions de CO2
us-central1(Iowa) Faibles émissions de CO2
us-east1(Caroline du Sud)us-east4(Virginie du Nord)us-west1(Oregon) Faibles émissions de CO2
- Si vous utilisez des GPU, l'espace disque éphémère est disponible dans toutes les régions compatibles avec les GPU.
Avant de commencer
- Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
- Installez et initialisez la gcloud CLI.
-
Mettez à jour les composants :
gcloud components update
- Consultez la page Tarifs de Cloud Run pour connaître les tarifs associés au processeur, à la mémoire et à la sortie réseau. La taille totale du disque provisionné et la durée de vie de l'instance qui l'utilise contribuent à votre coût.
Rôles requis
Pour obtenir les autorisations nécessaires pour configurer un espace disque éphémère, demandez à votre administrateur de vous accorder les rôles IAM suivants :
- Développeur Cloud Run (
roles/run.developer) sur le job Cloud Run - Utilisateur du compte de service (
roles/iam.serviceAccountUser) sur l'identité du service
Pour obtenir la liste des rôles et des autorisations IAM associés à Cloud Run, consultez les sections Rôles IAM Cloud Run et Autorisations IAM Cloud Run. Si votre job Cloud Run communique avec des APIGoogle Cloud , telles que des bibliothèques clientes Cloud, consultez le guide de configuration de l'identité du service. Pour en savoir plus sur l'attribution de rôles, consultez les pages Autorisations de déploiement et Gérer les accès.
Créer et installer un espace disque éphémère
Vous pouvez créer et associer un disque éphémère à l'aide de la console Google Cloud , de la Google Cloud CLI, de YAML ou de Terraform :
Console
Dans la console Google Cloud , accédez à la page Jobs de Cloud Run :
Cliquez sur Déployer un conteneur pour remplir la page des paramètres initiaux du job. Si vous configurez un job existant, sélectionnez-le, puis cliquez sur Afficher et modifier la configuration du job.
Cliquez sur Conteneurs, Connexions, Sécurité pour développer la page des propriétés du job.
Cliquez sur l'onglet Conteneur.
- Sous Ressources :
- Sélectionnez Espace disque éphémère.
- Spécifiez la taille du disque éphémère dans le menu.
- Saisissez le chemin d'installation.
- Sous Ressources :
Cliquez sur Créer ou Mettre à jour.
gcloud
Pour ajouter un volume et l'installer, procédez comme suit :
gcloud beta run jobs update JOB \
--add-volume=name=VOLUME_NAME,type=ephemeral-disk,size=SIZE \
--add-volume-mount=volume=VOLUME_NAME,mount-path=MOUNT_PATH
Remplacez les éléments suivants :
- JOB : nom de votre job.
- VOLUME_NAME : nom que vous souhaitez attribuer à votre volume.
- SIZE : taille du disque, par exemple
100Gi. La taille doit être d'au moins10Gipour les volumesephemeral-disk. - MOUNT_PATH : chemin relatif où vous installez le volume, par exemple,
/mnt/my-volume.
YAML
Si vous créez un job, ignorez cette étape. Si vous mettez à jour un job existant, téléchargez sa configuration YAML :
gcloud run jobs describe JOB_NAME --format export > job.yaml
Configurez le fichier YAML :
apiVersion: run.googleapis.com/v1 kind: Job metadata: name: JOB labels: cloud.googleapis.com/location: REGION annotations: run.googleapis.com/launch-stage: BETA spec: template: spec: template: spec: volumes: - name: VOLUME_NAME emptyDir: medium: Disk sizeLimit: SIZE containers: - image: IMAGE_URL volumeMounts: - name: VOLUME_NAME mountPath: MOUNT_PATHRemplacez les éléments suivants :
- JOB : nom de votre job.
- REGION : région Google Cloud .
- IMAGE_URL : référence à l'image de conteneur (par exemple,
us-docker.pkg.dev/cloudrun/container/job:latest). - VOLUME_NAME : nom que vous souhaitez attribuer à votre volume.
- MOUNT_PATH : chemin relatif où vous installez le volume, par exemple,
/mnt/my-volume. - SIZE : taille du disque, par exemple
100Gi. La taille doit être d'au moins10Gipour les volumesephemeral-disk.
Créez ou mettez à jour le job à l'aide de la commande suivante :
gcloud run jobs replace job.yaml
La commande
gcloud run jobs replaceutilise par défaut le fichierjob.yamls'il est présent.
Terraform
Pour savoir comment appliquer ou supprimer une configuration Terraform, consultez Commandes Terraform de base.
Ajoutez les éléments suivants à une ressourcegoogle_cloud_run_v2_job dans votre configuration Terraform : resource "google_cloud_run_v2_job" "default" {
name = "JOB"
location = "REGION"
deletion_protection = "true"
launch_stage = "BETA"
template {
template {
containers {
image = "IMAGE_URL"
volume_mounts {
name = "VOLUME_NAME"
mount_path = "MOUNT_PATH"
}
}
volumes {
name = "VOLUME_NAME"
empty_dir {
medium = "DISK"
size_limit = "SIZE"
}
}
}
}
lifecycle {
ignore_changes = [
launch_stage,
]
}
}
Remplacez les éléments suivants :
- JOB : nom de votre job.
- REGION : région Google Cloud .
- IMAGE_URL : référence à l'image de conteneur (par exemple,
us-docker.pkg.dev/cloudrun/container/job:latest). - VOLUME_NAME : nom que vous souhaitez attribuer à votre volume.
- MOUNT_PATH : chemin relatif où vous installez le volume, par exemple,
/mnt/my-volume. - SIZE : taille du disque, par exemple
100Gi. La taille doit être d'au moins10Gipour les volumesephemeral-disk.
Lire et écrire dans un volume
Si vous utilisez la fonctionnalité d'installation de volume Cloud Run, vous accédez à un volume installé à l'aide des mêmes bibliothèques dans votre langage de programmation que celles que vous utilisez pour lire et écrire des fichiers sur votre système de fichiers local.
Ceci est particulièrement utile si vous utilisez un conteneur existant qui attend que des données soient stockées sur le système de fichiers local et utilise des opérations standards du système de fichiers pour y accéder.
Les extraits suivants supposent une installation de volume avec un mountPath défini sur /mnt/my-volume.
Nodejs
Utilisez le module File System pour créer un fichier ou ajouter des données à un fichier existant dans le volume /mnt/my-volume :
var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });Python
Écrivez les données dans un fichier conservé dans le volume /mnt/my-volume :
f = open("/mnt/my-volume/sample-logfile.txt", "a")Go
Utilisez le package os pour créer un fichier conservé dans le volume /mnt/my-volume :
f, err := os.Create("/mnt/my-volume/sample-logfile.txt")Java
Utilisez la classe Java.io.File pour créer un fichier journal dans le volume /mnt/my-volume :
import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");Effacer et supprimer des volumes et des installations de volumes
Vous pouvez effacer tous les volumes et les montages, ou supprimer des volumes et des montages de volume individuels.
Effacer tous les volumes et les montages de volume
Pour effacer tous les volumes et les montages de volume de votre job à conteneur unique, exécutez la commande suivante :
gcloud run jobs update JOB \ --clear-volumes --clear-volume-mounts
Si vous avez plusieurs conteneurs, suivez les conventions de la CLI sidecars pour effacer les volumes et les installations de volumes :
gcloud run jobs update JOB \ --clear-volumes \ --clear-volume-mounts \ --container=container1 \ --clear-volumes \ -–clear-volume-mounts \ --container=container2 \ --clear-volumes \ -–clear-volume-mounts
Supprimer des volumes et des montages de volume individuels
Pour supprimer un volume, vous devez également supprimer tous les montages de volume qui l'utilisent.
Pour supprimer des volumes ou des montages de volumes individuels, utilisez les indicateurs remove-volume et remove-volume-mount :
gcloud run jobs update JOB \ --remove-volume VOLUME_NAME --container=container1 \ --remove-volume-mount MOUNT_PATH \ --container=container2 \ --remove-volume-mount MOUNT_PATH
Bonnes pratiques
Suivez les bonnes pratiques ci-dessous pour gérer efficacement les données éphémères et optimiser les performances de stockage.
Copier vers l'espace de stockage persistant
Si vous prévoyez de copier le contenu de l'espace disque éphémère vers un stockage persistant, tel qu'un bucket Cloud Storage, nous vous recommandons de le faire de manière incrémentielle plutôt que de vous fier au délai de grâce de 10 secondes entre SIGTERM et SIGKILL.
Pour en savoir plus sur les arrêts forcés, consultez Contrat d'exécution du conteneur.
Cloud Run peut lire et écrire des données depuis Cloud Storage sans aucune configuration réseau supplémentaire. Pour obtenir des performances optimales, nous vous recommandons d'acheminer le trafic vers et depuis Cloud Storage via un réseau VPC à l'aide du VPC direct.
Cette méthode fonctionne si la ressource Cloud Run n'a pas besoin d'accéder à Internet. Si vous avez besoin d'un accès à Internet, configurez Cloud NAT ou consultez Trafic interne vers une API Google.
Pour configurer la sortie VPC directe avec un job, procédez comme suit :
Dans la console Google Cloud , accédez à la page Cloud Run :
Si vous configurez un nouveau job, cliquez sur l'onglet Jobs, puis sur Déployer un conteneur. Remplissez la page des paramètres initiaux du job selon vos besoins. Si vous configurez un job existant, cliquez sur celui-ci, puis sur Afficher et modifier la configuration du job.
Cliquez sur Conteneurs, connexions, sécurité pour développer la page des propriétés du job.
Cliquez sur l'onglet Connexions.
Cliquez sur Se connecter à un VPC pour le trafic sortant.
Cliquez sur Envoyer le trafic directement à un VPC.
Dans le champ Réseau, sélectionnez le réseau VPC auquel vous souhaitez envoyer du trafic.
Dans le champ Sous-réseau, sélectionnez le sous-réseau à partir duquel votre job reçoit des adresses IP. Vous pouvez exécuter plusieurs jobs sur le même sous-réseau.
Pour le Routage du trafic, sélectionnez Acheminer tout le trafic vers le VPC pour envoyer tout le trafic sortant via le réseau VPC.
Cliquez sur Créer ou Mettre à jour.
Pour vérifier que votre job se trouve sur votre réseau VPC, cliquez sur le job, puis sur l'onglet Configuration. Le réseau et le sous-réseau sont répertoriés dans la fiche VPC.
Activez l'accès privé à Google sur le sous-réseau auquel vous vous êtes connecté.