Cloud Run fournit un espace disque éphémère qui ne persiste que pendant la durée de votre instance. Cette fonctionnalité vous permet de spécifier la quantité de disque dont vous avez besoin et l'emplacement où l'installer. Cloud Run alloue ensuite cette quantité de disque à votre ressource.
Les disques sont automatiquement provisionnés, préformatés au format ext4 et chiffrés avec des clés spécifiques à l'instance au démarrage. L'espace disque éphémère crée votre volume afin que tout utilisateur puisse le lire ou y écrire. Comme le stockage est éphémère, toutes les données sont définitivement supprimées lorsque l'instance s'arrête. Cela inclut les arrêts causés par les éléments suivants :
- Plantages d'instance
- Achèvement de tâches de job (réussite ou échec)
Les disques sont dédiés à une instance spécifique et ne sont pas partagés entre d'autres instances. Vous contrôlez la structure du système de fichiers avec un point d'installation configurable pour chaque volume.
Avant d'arrêter une instance, Cloud Run envoie un signal SIGTERM à tous les conteneurs d'une instance, indiquant le début de la période de 10 secondes avant l'arrêt réel marqué par l'envoi d'un signal SIGKILL par Cloud Run. Vous pouvez utiliser cette fenêtre de 10 secondes pour effectuer des opérations de nettoyage, par exemple en effectuant une dernière copie du contenu du disque dans un stockage persistant.
Cas d'utilisation
Vous pouvez utiliser un espace disque éphémère pour les éléments suivants :
- Charges de travail de traitement des données : lorsque vous traitez des fichiers de données volumineux dans Cloud Run, vous stockez généralement l'intégralité du fichier en mémoire ou vous orchestrez sa division en plus petits morceaux. Avec le stockage éphémère, vous n'avez pas besoin de payer de grandes quantités de mémoire pour créer une copie locale temporaire de vos données. Vous pourrez également traiter des ensembles de données plus volumineux.
- Mise en cache : dans les cas d'utilisation de diffusion Web, la mise en cache des données sur disque plutôt que leur récupération à partir d'un stockage distant peut optimiser la latence de votre application.
Limites de stockage et d'instance
Les limites suivantes s'appliquent :
- Limite de stockage d'instance : par défaut, chaque instance est limitée à 10 Go d'espace total. Si nécessaire, demandez une augmentation du quota.
- Limite de volume d'instance : chaque instance est limitée à un maximum de 10 volumes.
- Limite de projet : par défaut, chaque projet est limité à 100 Go par région. Si nécessaire, demandez une augmentation du quota.
Demander une augmentation du quota
Les projets qui utilisent un espace disque éphémère Cloud Run dans une région pour la première fois bénéficient automatiquement d'une limite de 10 Go par instance et par région, et d'une limite de 100 Go par projet et par région.
Si vous avez besoin de capacité supplémentaire, vous devez demander une augmentation de quota pour votre job Cloud Run. Utilisez les liens fournis dans les boutons suivants pour demander le quota dont vous avez besoin.
| Quota actuel | Lien de quota |
|---|---|
| 10 Go par instance | Demander un quota plus élevé par instance |
| 100 Go par projet | Demander un quota plus élevé par projet |
Pour en savoir plus sur la demande d'augmentation de quota, consultez la section Demander une augmentation de quota.
Limites
Les limites suivantes s'appliquent :- L'espace disque éphémère n'est disponible que dans l'environnement d'exécution de deuxième génération. Par défaut, les jobs Cloud Run utilisent l'environnement d'exécution de deuxième génération.
- La migration à chaud n'est pas compatible. Cela signifie que les jobs Cloud Run seront moins fiables, en particulier les jobs de longue durée.
Chemins d'accès non autorisés
Cloud Run ne vous permet pas d'installer un volume sur /dev, /proc et /sys, ni dans leurs sous-répertoires.
Régions où le service est disponible
La fonctionnalité d'espace disque éphémère est disponible dans les régions suivantes :
- Pour les charges de travail non GPU, l'espace disque éphémère est disponible dans les régions suivantes :
asia-northeast1(Tokyo)europe-west1(Belgique)
Faibles émissions de CO2
northamerica-northeast1(Montréal) Faibles émissions de CO2
northamerica-northeast2(Toronto) Faibles émissions de CO2
us-central1(Iowa) Faibles émissions de CO2
us-east1(Caroline du Sud)us-east4(Virginie du Nord)us-west1(Oregon) Faibles émissions de CO2
- Si vous utilisez des GPU, l'espace disque éphémère est disponible dans toutes les régions qui prennent en charge les GPU.
Avant de commencer
- Connectez-vous à votre Google Cloud compte. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
- Installez et initialisez la gcloud CLI.
-
Mettez à jour les composants :
gcloud components update
- Consultez la page des tarifs de Cloud Run pour connaître les tarifs du processeur, de la mémoire et de la sortie réseau. La taille totale du disque provisionné et la durée de vie de l'instance qui l'utilise contribuent à votre coût.
Rôles requis
Pour obtenir les autorisations nécessaires pour configurer un espace disque éphémère, demandez à votre administrateur de vous accorder les rôles IAM suivants :
- Développeur Cloud Run (
roles/run.developer) sur le job Cloud Run - Utilisateur du compte de service (
roles/iam.serviceAccountUser) sur l'identité du service
Pour obtenir la liste des rôles et des autorisations IAM associés à Cloud Run, consultez les sections Rôles IAM Cloud Run et Autorisations IAM Cloud Run. Si votre job Cloud Run communique avec Google Cloud des API, telles que des bibliothèques clientes Cloud, consultez le guide de configuration de l'identité du service. Pour en savoir plus sur l'attribution de rôles, consultez les pages Autorisations de déploiement et Gérer les accès.
Créer et installer un espace disque éphémère
Vous pouvez créer et installer un disque éphémère à l'aide de la Google Cloud console, de la Google Cloud CLI, de YAML ou de Terraform :
Console
Dans la Google Cloud console, accédez à la page Jobs de Cloud Run :
Cliquez sur Déployer un conteneur pour remplir la page des paramètres initiaux du job. Si vous configurez un job existant, sélectionnez-le, puis cliquez sur Afficher et modifier la configuration du job.
Cliquez sur Conteneurs, connexions, sécurité pour développer la page des propriétés du job.
Cliquez sur l'onglet Conteneur.
- Sous Ressources :
- Sélectionnez Disque éphémère.
- Spécifiez la taille du disque éphémère dans le menu.
- Saisissez le chemin d'installation.
- Sous Ressources :
Cliquez sur Créer ou Mettre à jour.
gcloud
Pour ajouter un volume et l'installer, procédez comme suit :
gcloud beta run jobs update JOB \
--add-volume=name=VOLUME_NAME,type=ephemeral-disk,size=SIZE \
--add-volume-mount=volume=VOLUME_NAME,mount-path=MOUNT_PATH
Remplacez les éléments suivants :
- JOB : nom de votre job.
- VOLUME_NAME : nom que vous souhaitez donner à votre volume.
- SIZE : taille du disque, par exemple
100Gi. La taille doit être d'au moins10Gipour les volumesephemeral-disk. - MOUNT_PATH : chemin d'accès relatif où vous installez le volume,
par exemple
/mnt/my-volume.
YAML
Si vous créez un job, ignorez cette étape. Si vous mettez à jour un job existant, téléchargez sa configuration YAML :
gcloud run jobs describe JOB_NAME --format export > job.yaml
Configurez le fichier YAML :
apiVersion: run.googleapis.com/v1 kind: Job metadata: name: JOB labels: cloud.googleapis.com/location: REGION annotations: run.googleapis.com/launch-stage: BETA spec: template: spec: template: spec: volumes: - name: VOLUME_NAME emptyDir: medium: Disk sizeLimit: SIZE containers: - image: IMAGE_URL volumeMounts: - name: VOLUME_NAME mountPath: MOUNT_PATHRemplacez les éléments suivants :
- JOB : nom de votre job.
- REGION : région Google Cloud .
- IMAGE_URL : référence à l'
image de conteneur, par
exemple
us-docker.pkg.dev/cloudrun/container/job:latest. - VOLUME_NAME : nom que vous souhaitez donner à votre volume.
- MOUNT_PATH : chemin d'accès relatif où vous installez le volume,
par exemple
/mnt/my-volume. - SIZE : taille du disque, par exemple
100Gi. La taille doit être d'au moins10Gipour les volumesephemeral-disk.
Créez ou mettez à jour le job à l'aide de la commande suivante :
gcloud run jobs replace job.yaml
Terraform
Pour savoir comment appliquer ou supprimer une configuration Terraform, consultez la page Commandes Terraform de base.
Ajoutez les éléments suivants à unegoogle_cloud_run_v2_job
ressource dans votre configuration Terraform : resource "google_cloud_run_v2_job" "default" {
name = "JOB"
location = "REGION"
deletion_protection = "true"
launch_stage = "BETA"
template {
template {
containers {
image = "IMAGE_URL"
volume_mounts {
name = "VOLUME_NAME"
mount_path = "MOUNT_PATH"
}
}
volumes {
name = "VOLUME_NAME"
empty_dir {
medium = "DISK"
size_limit = "SIZE"
}
}
}
}
lifecycle {
ignore_changes = [
launch_stage,
]
}
}
Remplacez les éléments suivants :
- JOB : nom de votre job.
- REGION : région Google Cloud .
- IMAGE_URL : référence à l'
image de conteneur, par
exemple
us-docker.pkg.dev/cloudrun/container/job:latest. - VOLUME_NAME : nom que vous souhaitez donner à votre volume.
- MOUNT_PATH : chemin d'accès relatif où vous installez le volume,
par exemple
/mnt/my-volume. - SIZE : taille du disque, par exemple
100Gi. La taille doit être d'au moins10Gipour les volumesephemeral-disk.
Lire et écrire dans un volume
Si vous utilisez la fonctionnalité d'installation de volume Cloud Run, vous accédez à un volume installé à l'aide des mêmes bibliothèques dans votre langage de programmation que celles que vous utilisez pour lire et écrire des fichiers sur votre système de fichiers local.
Ceci est particulièrement utile si vous utilisez un conteneur existant qui attend que des données soient stockées sur le système de fichiers local et utilise des opérations standards du système de fichiers pour y accéder.
Les extraits suivants supposent une installation de volume avec un mountPath défini sur /mnt/my-volume.
Nodejs
Utilisez le module File System pour créer un fichier ou ajouter des données à un fichier existant dans le volume /mnt/my-volume :
var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });Python
Écrivez les données dans un fichier conservé dans le volume /mnt/my-volume :
f = open("/mnt/my-volume/sample-logfile.txt", "a")Go
Utilisez le package os pour créer un fichier conservé dans le volume /mnt/my-volume :
f, err := os.Create("/mnt/my-volume/sample-logfile.txt")Java
Utilisez la classe Java.io.File pour créer un fichier journal dans le volume /mnt/my-volume :
import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");Effacer et supprimer des volumes et des installations de volume
Vous pouvez effacer tous les volumes et toutes les installations, ou supprimer des volumes et des installations de volume spécifiques.
Effacer tous les volumes et toutes les installations de volume
Pour effacer tous les volumes et toutes les installations de volume de votre job à conteneur unique, exécutez la commande suivante :
gcloud run jobs update JOB \ --clear-volumes --clear-volume-mounts
Si vous disposez de plusieurs conteneurs, suivez les conventions de la CLI side-car pour effacer les volumes et les installations de volume :
gcloud run jobs update JOB \ --clear-volumes \ --clear-volume-mounts \ --container=container1 \ --clear-volumes \ -–clear-volume-mounts \ --container=container2 \ --clear-volumes \ -–clear-volume-mounts
Supprimer des volumes et des installations de volume spécifiques
Pour supprimer un volume, vous devez également supprimer toutes les installations de volume qui l'utilisent.
Pour supprimer des volumes ou des installations de volume spécifiques, utilisez les options remove-volume et remove-volume-mount :
gcloud run jobs update JOB \ --remove-volume VOLUME_NAME --container=container1 \ --remove-volume-mount MOUNT_PATH \ --container=container2 \ --remove-volume-mount MOUNT_PATH
Bonnes pratiques
Respectez les bonnes pratiques suivantes pour gérer efficacement les données éphémères et optimiser les performances de stockage.
Copier dans un stockage persistant
Si vous avez l'intention de copier le contenu de l'espace disque éphémère dans un stockage persistant, tel qu'un bucket Cloud Storage, nous vous recommandons d'effectuer une copie incrémentielle plutôt que de vous fier au délai de grâce de 10 secondes entre SIGTERM et SIGKILL.
Pour en savoir plus sur les arrêts forcés, consultez le contrat d'exécution de conteneur.
Cloud Run peut lire et écrire à partir de Cloud Storage sans aucune configuration réseau supplémentaire. Pour obtenir des performances optimales, nous vous recommandons d'acheminer le trafic vers et depuis Cloud Storage via un réseau VPC à l'aide du VPC direct.
Cette méthode fonctionne si vous n'avez pas besoin que la ressource Cloud Run accède à Internet. Si vous avez besoin d'un accès à Internet, configurez Cloud NAT ou consultez Trafic interne vers une API Google.
Pour configurer la sortie VPC directe avec un job, procédez comme suit :
Dans la Google Cloud console, accédez à la page Cloud Run :
Si vous configurez un nouveau job, cliquez sur l'onglet Jobs , puis sélectionnez Déployer un conteneur. Remplissez la page des paramètres initiaux du job selon vos besoins. Si vous configurez un job existant, cliquez sur le job, puis sur Afficher et modifier la configuration du job.
Cliquez sur Conteneurs, connexions, sécurité pour développer la page des propriétés du job.
Cliquez sur l'onglet Connexions.
Cliquez sur Se connecter à un VPC pour le trafic sortant.
Cliquez sur Envoyer le trafic directement à un VPC.
Dans le champ Réseau, sélectionnez le réseau VPC auquel vous souhaitez envoyer du trafic.
Dans le champ Sous-réseau, sélectionnez le sous-réseau à partir duquel votre job reçoit des adresses IP. Vous pouvez exécuter plusieurs jobs sur le même sous-réseau.
Pour Routage du trafic, sélectionnez Acheminer tout le trafic vers le VPC pour envoyer tout le trafic sortant via le réseau VPC.
Cliquez sur Créer ou Mettre à jour.
Pour vérifier que votre job se trouve sur votre réseau VPC, cliquez sur le job, puis sur l'onglet Configuration. Le réseau et le sous-réseau sont répertoriés dans la fiche VPC.
Activez l'accès privé à Google sur le sous-réseau auquel vous vous êtes connecté.