Pour vous aider à planifier la capacité et à éviter les interruptions de service, Cloud Logging applique des quotas et des limites système aux requêtes API, au stockage et aux configurations de ressources. Vous pouvez demander une augmentation pour la plupart des quotas, mais les limites système sont fixes et ne peuvent pas être modifiées.
Quotas et limites d'utilisation de Logging
Le tableau suivant répertorie les quotas et les limites qui s'appliquent à l'utilisation de Cloud Logging. En règle générale, vous pouvez demander une augmentation de quota. Toutefois, les limites ne peuvent pas être modifiées.
Certaines entrées sont répertoriées comme étant par projet, mais la note indique que l'entrée s'applique également aux comptes de facturation, aux dossiers et aux organisations, et qu'elle n'est pas hiérarchique. Par exemple, si vous avez plusieurs projets Google Cloud dans une organisation, vous pouvez configurer jusqu'à 200 récepteurs pour chaque projet Google Cloud . Pour cette même organisation, vous pouvez également configurer jusqu'à 200 récepteurs au niveau de l'organisation.
| Catégorie | Valeur maximale de la limite ou valeur de quota initiale de |
Remarques |
|---|---|---|
Taille d'un LogEntry |
256 Kio | Cette limite est approximative et est basée sur la taille des données internes, et non sur la taille réelle de la requête API REST. Ne peut pas être augmenté. |
| Taille d'une entrée de journal d'audit | 512 Kio | Ne peut pas être augmenté. |
| Nombre d'étiquettes | 64 par LogEntry |
Ne peut pas être augmenté. |
Longueur d'une clé d'étiquette LogEntry |
512 octets | Cloud Logging tronque les clés d'étiquette surdimensionnées lorsque l'entrée de journal associée est écrite. Ne peut pas être augmenté. |
Longueur d'une valeur d'étiquette LogEntry |
64 Kio | Cloud Logging tronque les valeurs d'étiquette surdimensionnées lorsque l'entrée de journal associée est écrite. Ne peut pas être augmenté. |
| Longueur d'une requête en langage de requête Logging | 20 000 caractères | Ne peut pas être augmenté. |
| Distribution de requêtes | 200 buckets | Cette limite correspond au nombre maximal de buckets pouvant contenir des entrées de journal pour une ressource. Pour en savoir plus, consultez La requête renvoie une erreur. Ne peut pas être augmenté. Pour des raisons de performances, réduisez le nombre de buckets de journaux et créez-les dans une seule région. Si vous devez fréquemment interroger des entrées de journal provenant de différentes ressources, envisagez de les acheminer vers quelques buckets de journaux centralisés. |
| Nombre de récepteurs | 200 par Google Cloud projet | Peut être porté à 4 000. Ce quota s'applique également aux comptes de facturation, aux dossiers et aux organisations, et n'est pas hiérarchique. |
| Longueur d'un filtre d'inclusion de récepteur | 20 000 caractères | Ne peut pas être augmenté. |
| Longueur d'un filtre d'exclusion de récepteur | 20 000 caractères | Ne peut pas être augmenté. |
| Nombre de filtres d'exclusion | 50 par récepteur | Ne peut pas être augmenté. Si vous avez besoin de plus de 50 filtres d'exclusion, affinez le filtre d'inclusion. |
| Nombre de buckets de journaux | 100 par Google Cloud projet | Peut être porté à 2 500. Ce quota correspond au nombre maximal de buckets pouvant contenir des entrées de journal pour une ressource. Il inclut les buckets en attente de suppression. Ce quota s'applique également aux comptes de facturation, aux dossiers et aux organisations, et n'est pas hiérarchique. Si vous augmentez le nombre maximal de buckets de journaux, l'expérience utilisateur peut être dégradée, car le champ d'application des journaux par défaut ne peut pas inclure tous les buckets de journaux d'un projet. |
| Nombre de champs indexés personnalisés | 20 par bucket de journaux | Ne peut pas être augmenté. Cloud Logging est compatible avec l'indexation en texte intégral. Par conséquent, nous vous déconseillons de définir une indexation personnalisée. |
| Nombre de vues de journaux | 30 par bucket de journaux | Peut être porté à 1 000 vues de journaux sur un seul bucket de journaux. Si vous augmentez le nombre maximal de vues de journaux, l'expérience utilisateur peut être dégradée, car le champ d'action des journaux par défaut ne peut pas inclure toutes les vues de journaux d'un projet. |
| Code temporel le plus ancien pouvant être stocké dans les buckets de journaux | Déterminée par la durée de conservation du bucket de journaux. | Pour un bucket de journaux personnalisé avec la période de conservation par défaut, cette valeur est de 30 jours dans le passé. L'API Logging accepte les entrées de journal avec des codes temporels plus anciens, et ces entrées de journal sont acheminées vers les destinations de récepteur. Toutefois, si des entrées de journal avec des codes temporels plus anciens sont acheminées vers un bucket de journaux, elles ne sont pas stockées. |
| Code temporel futur pouvant être stocké dans des buckets de journaux | Jusqu'à un jour dans le futur | L'API Logging rejette les entrées dont l'horodatage est supérieur à un jour dans le futur et renvoie une erreur INVALID_ARGUMENT. Ne peut pas être augmenté. |
| Nombre de champs d'application de journal par ressource | 100 | Peut être porté à 10 000. |
| Nombre de vues de journaux et de projets inclus dans un champ d'action des journaux | 100 | Nous vous recommandons de lister les vues de journaux plutôt que les projets dans un champ d'action de journaux, dans la mesure du possible. Lister les vues de journaux permet de réduire le temps de requête et de mieux comprendre quelles entrées de journal sont interrogées. |
| Nombre de projets inclus dans un champ d'application de journal | 5 | Nous vous recommandons de lister les vues de journaux plutôt que les projets dans un champ d'action de journaux, lorsque cela est possible. Les vues de journaux peuvent se trouver dans différents projets. |
| Nombre maximal de vues d'analyse par projet Google Cloud | 100 | Ne peut pas être augmenté. Cette fonctionnalité est en version Preview publique. |
| Nombre maximal de vues d'analyse par région et par projet Google Cloud | 50 | Ne peut pas être augmenté. Cette fonctionnalité est en version Preview publique. |
| Nombre maximal de régions pouvant stocker des vues d'analyse par projet Google Cloud | 10 | Ne peut pas être augmenté. Cette fonctionnalité est en version Preview publique. |
Quotas et limites des API Logging
Les limites suivantes s'appliquent à votre utilisation de l'API Logging. Vous pouvez demander des modifications de vos quotas et limites de l'API Logging. Pour obtenir des instructions, consultez la section Demander des modifications des quotas de l'API Cloud Logging sur cette page.
Pour afficher vos quotas d'API, accédez au tableau de bord des API, sélectionnez une API, puis Quotas.
| Catégorie | Valeur maximale de la limite ou valeur de quota initiale de |
Remarques |
|---|---|---|
| Durée de vie des jetons de page de l'API | 24 heures | Ne peut pas être augmenté. |
| Nombre de sessions d'affichage des dernières lignes en direct ouvertes | 10 par Google Cloud projet | Ne peut pas être augmenté. Cette limite s'applique également aux comptes de facturation, aux dossiers et aux organisations, et n'est pas hiérarchique. |
| Nombre d'entrées d'affichage des dernières lignes en direct renvoyées | 60 000 par minute | Ne peut pas être augmenté. |
| Nombre de champs restreints | 20 par bucket | Ne peut pas être augmenté. |
| Taille d'un champ restreint | 800 B | Ne peut pas être augmenté. |
Taille d'une requête entries.write |
10 Mo | Ne peut pas être augmenté. |
Taux de requêtes entries.write, par région |
4,8 Go par minute, par projet Google Cloud dans les régions asia-east1, asia-northeast1, asia-southeast1, asia-south1, europe-west1, europe-west2, europe-west3, europe-west4, us-central1, us-east4, us-west1
300 Mo par minute, par projet Google Cloud dans toutes les autres régions |
Vous pouvez demander une augmentation de quota. Ce quota s'applique également aux comptes de facturation, aux dossiers et aux organisations, et n'est pas hiérarchique. Pour en savoir plus sur ces quotas, consultez Quotas d'ingestion par région. L'utilisation de filtres "Exclure" ne réduit pas le taux de requêtes d'écriture, car les entrées de journal sont exclues après l'envoi de la requête |
Nombre de requêtes entries.list |
60 par minute et par projet Google Cloud | Ne peut pas être augmenté. Cette limite s'applique également aux comptes de facturation, aux dossiers et aux organisations, et n'est pas hiérarchique. Pour interroger de grands volumes de journaux, envisagez d'utiliser les API BigQuery. Pour transférer de grands volumes de journaux, envisagez d'utiliser un récepteur de journaux ou de copier les entrées de journal. |
Nombre de noms de ressources différents dans une seule commande entries.write |
1000 | Ne peut pas être augmenté. Le champ |
| Requêtes de contrôle par minute | 600 | Ne peut pas être augmenté. Ce quota s'applique aux requêtes API d'administration et de configuration. Il inclut toutes les requêtes du quota quotidien de requêtes de contrôle, ainsi que les requêtes qui suppriment des journaux ou gèrent des ressources telles que les buckets de journaux, les vues de journaux, les stratégies IAM sur les vues de journaux, les champs d'application des journaux et les métriques basées sur les journaux. |
| Requêtes de contrôle par jour | 1 000 par projet Google Cloud | Ne peut pas être augmenté. Ce quota s'applique aux requêtes API de création et de mise à jour des exclusions et des récepteurs. |
| Nombre de Google Cloud projets ou d'autres noms de ressources dans une requête entries.list unique |
100 | Ne peut pas être augmenté. |
| Nombre d'opérations de copie simultanées | 1 par projet Google Cloud | Ne peut pas être augmenté. Cette limite s'applique également aux comptes de facturation, aux dossiers et aux organisations, et n'est pas hiérarchique. |
| Taux d'exportations vers des sujets Pub/Sub | 60 Go/min par projet, dossier ou organisation Google Cloud où le récepteur est défini | Vous pouvez envoyer une demande d'assistance pour augmenter votre quota. L'augmentation du quota est accordée en fonction de la disponibilité de Pub/Sub. Si le taux d'exportations dépasse le quota, l'erreur est enregistrée dans une entrée de journal. Le champ de résumé indique une erreur de configuration du récepteur, et le code d'erreur est Pour en savoir plus sur le dépannage, consultez Problèmes de quota avec les récepteurs. |
Quotas d'ingestion par région
Pour améliorer l'isolation et protéger les ressources régionales contre la surcharge d'ingestion, les quotas Cloud Logging limitent le volume de données écrites dans une région d'ingestion par projetGoogle Cloud .
Le tableau suivant indique le quota par défaut pour chaque région :
| Région d'ingestion | Valeur par défaut |
|---|---|
asia-east1,
asia-northeast1,
asia-southeast1,
asia-south1,
europe-west1,
europe-west2,
europe-west3,
europe-west4,
us-central1,
us-east4,
us-west1
|
4, 8 Go par minute et par projet Google Cloud |
| Toutes les régions restantes | 300 Mo par minute et par projet Google Cloud |
Les valeurs par défaut des quotas régionaux dépassent les volumes d'ingestion de la plupart des utilisateurs. Toutefois, si le volume d'ingestion de votre projet à partir d'une région était proche ou supérieur au quota par défaut au cours des six mois ou plus précédant l'application des quotas, votre quota initial inclut une augmentation automatique et ponctuelle. Par conséquent, vos quotas peuvent être supérieurs aux valeurs par défaut du tableau précédent. Pour en savoir plus sur l'examen des quotas, consultez Examiner vos quotas d'API Cloud Logging.
Si vous dépassez un quota régional, vos requêtes d'écriture adressées à l'API Cloud Logging peuvent être refusées avec un message d'erreur "ressource épuisée". Pour obtenir des recommandations vous permettant d'éviter de dépasser les quotas, consultez Gérer et surveiller vos quotas Logging.
Vérifier les quotas de l'API Cloud Logging
Pour examiner vos quotas d'API Cloud Logging, procédez comme suit :
-
Dans la console Google Cloud , accédez à la page Quotas et limites du système :
Accéder à la page Quotas et limites du système
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est IAM et administration.
- Filtrez la liste des quotas pour le service de l'API Cloud Logging.
Demander des modifications des quotas de l'API Cloud Logging
Pour déterminer si vous pouvez demander une limite de quota plus élevée ou plus faible pour l'API Logging à l'aide de la console Google Cloud , accédez à la page Quotas et limites du système et recherchez le quota qui vous intéresse.
- Si le quota est listé, vous pouvez utiliser cette page pour demander une modification de la limite. Pour en savoir plus sur ces étapes, consultez Afficher et gérer les quotas.
- Si le quota n'est pas listé ou si vous demandez une mise à jour du quota et que vous obtenez l'erreur
Edit is not allowed for this quota, contactez Cloud Customer Care et demandez une modification du quota. La facturation doit être activée sur le projetGoogle Cloud pour que vous puissiez modifier les quotas dans la console Google Cloud .
Gérer et surveiller vos quotas d'API Cloud Logging
Pour éviter les interruptions de service causées par le dépassement des quotas, vous pouvez procéder comme suit :
- Utilisez l'ajustement automatique des quotas pour surveiller l'utilisation de vos quotas et demander des augmentations en votre nom. Pour en savoir plus, consultez Outil d'ajustement de quota.
- Créez des alertes sur les quotas pour être informé de l'utilisation. Pour en savoir plus, consultez la page Configurer des alertes de quota.
Optimiser l'utilisation de entries.list
L'utilisation attendue de entries.list consiste à rechercher les journaux correspondants. Cette méthode n'est pas destinée à la récupération de grands volumes d'entrées de journal. Si vous épuisez régulièrement votre quota entries.list, envisagez les options suivantes :
Assurez-vous d'utiliser l'API Cloud Logging de manière efficace. Pour en savoir plus, consultez Optimiser l'utilisation de l'API.
Si vous savez à l'avance que les entrées de journal que vous souhaitez analyser dépassent le quota
entries.list, configurez un récepteur de journaux pour exporter vos journaux vers une destination compatible.
- Pour analyser les entrées de journal en dehors de Logging, vous pouvez copier rétroactivement les entrées de journal qui existent déjà dans Logging vers des buckets Cloud Storage. Lorsque vous copiez des journaux dans un bucket Cloud Storage, vous pouvez partager des entrées de journal avec des auditeurs en dehors de Logging et exécuter des scripts dans Cloud Storage.
Pour agréger et analyser vos entrées de journal dans Logging, stockez vos entrées de journal dans un bucket de journaux, puis mettez à niveau ce bucket de journaux pour utiliser Analyse de l'observabilité. Pour en savoir plus sur ces étapes, consultez Configurer des buckets de journaux.
L'Analyse de l'observabilité vous permet d'interroger vos entrées de journal à l'aide du langage SQL standard de BigQuery.
Métriques basées sur les journaux
Cette entrée ne s'applique qu'aux données de métriques que Google Cloud Observability dérive de vos données de journaux (métriques basées sur les journaux). Cette section ne s'applique pas aux données de métriques écrites par les services Google Cloud ou vos applications.
Les limites suivantes s'appliquent à votre utilisation des métriques basées sur les journaux définies par l'utilisateur. À l'exception du nombre de descripteurs de métriques, ces limites sont fixes. Vous ne pouvez pas les augmenter ni les diminuer.
| Catégorie | Valeur maximale |
|---|---|
| Nombre d'étiquettes | 10 par métrique |
| Longueur de la valeur d'un libellé | 1,024 B |
| Longueur de la description d'un libellé | 800 B |
| Longueur du filtre1 | 20 000 caractères |
| Longueur des descripteurs de métriques | 8 000 B |
| Nombre de descripteurs de métriques | 500 par projet Google Cloud 2 |
| Nombre de séries temporelles actives3 | 30 000 par métrique4 |
| Nombre de buckets d'histogramme | 200 par métrique de distribution personnalisée |
| Conservation des données | Consultez Cloud Monitoring : conservation des données. |
1 Chaque métrique basée sur les journaux contient un filtre. Lorsqu'une entrée de journal correspond au filtre, elle est comptabilisée. Les filtres sont définis à l'aide du langage de requête Logging.
2 Cette limite s'applique également aux comptes de facturation, aux dossiers et aux organisations, et n'est pas hiérarchique.
3 Une série temporelle est active si vous y avez écrit des points de données au cours des dernières 24 heures.
4 Le système limite le nombre de séries temporelles actives par ressource surveillée à 1 000 000. Pour les métriques basées sur les journaux au niveau du projet, la ressource est définie par la ressource dans l'entrée de journal. Pour les métriques basées sur les journaux et limitées au bucket, la ressource est logging_bucket.
Lorsque cette limite est atteinte, le système limite les données de métriques pour la ressource. Vous pouvez réduire le nombre de séries temporelles d'une métrique basée sur les journaux en réduisant sa cardinalité.
Journaux d'audit
Les tailles maximales des journaux d'audit sont indiquées dans le tableau suivant. Ces valeurs peuvent vous aider à estimer l'espace dont vous avez besoin dans vos destinations de récepteur.
| Type de journal d'audit | Taille maximale |
|---|---|
| Activité d'administration | 512 Kio |
| Accès aux données | 512 Kio |
| #system-event | 512 Kio |
| Refus de règles | 512 Kio |
Durée de conservation des journaux
Les durées de conservation Cloud Logging suivantes s'appliquent aux buckets de journaux, quels que soient les types de journaux inclus dans le bucket ou s'ils ont été copiés depuis un autre emplacement :
| Bucket | Ressources | Durée de conservation par défaut | Conservation personnalisée |
|---|---|---|---|
_Required |
projet, dossier, organisation | 400 jours | Non configurable |
_Default |
dossier, organisation | 30 jours | Non configurable |
_Default |
projet | 30 jours | Configurable |
| Définie par l'utilisateur | projet | 30 jours | Configurable |
Pour les buckets de journaux _Default et définis par l'utilisateur qui se trouvent dans des projets, vous pouvez configurer Cloud Logging pour qu'il conserve vos journaux entre 1 jour et3650 days. Pour en savoir plus sur la définition de règles de conservation, consultez Configurer la conservation personnalisée.
Pour stocker les entrées de journal d'un dossier ou d'une organisation pendant plus de 30 jours, créez un récepteur de journaux et acheminez ces entrées de journal vers un bucket de journaux d'un projet.
Tarifs
Pour en savoir plus sur la tarification, consultez la page Tarifs de Google Cloud Observability. Si vous acheminez les données de journaux vers d'autres services Google Cloud , consultez les documents suivants :