Métriques d'utilisation du stockage

Cette page décrit les métriques d'utilisation de stockage fournies par Spanner.

Par défaut, vos données sont stockées sur des disques SSD. Vous pouvez choisir de stocker vos données sur des disques SSD ou HDD à l'aide du stockage par niveaux. Pour en savoir plus, consultez Présentation du stockage par niveaux.

Métriques de stockage

Spanner fournit les métriques de stockage suivantes :

  • Stockage total de la base de données : quantité de données stockées dans la base de données ou dans les bases de données de l'instance. Cette valeur est soumise à la limite de stockage.
  • Espace de stockage total de sauvegarde : quantité de données stockées par les sauvegardes associées à l’instance ou à la base de données. Le stockage des sauvegardes est stocké séparément et facturé séparément. Aucune limite ne s'applique au volume que vous pouvez stocker.

Vous pouvez consulter des graphiques pour ces métriques dans la Google Cloud console ou dans la console Cloud Monitoring.

De plus, l'utilisation du stockage de la base de données s'affiche sur les pages Instances et Détails de l'instance dans la Google Cloud console.

Accéder à la page des instances

Stockage multiversion

Si vous utilisez les métriques de stockage précédentes pour vérifier fréquemment la taille de vos données, vous pouvez parfois obtenir des résultats contraires à vos attentes. Par exemple, vous pouvez constater une diminution notable du stockage total signalé pour votre base de données, même si vous n'avez supprimé aucune donnée récemment. Inversement, vous pouvez constater que sa taille reste relativement inchangée juste après avoir effectué une suppression importante.

Ces effets sont dus à la prise en charge du stockage multiversion par Spanner. Le stockage multiversion conserve toutes les données supprimées ou écrasées en stockage et disponibles pendant une durée limitée pour activer des fonctionnalités qui vous permettent de lire les valeurs de données précédentes, telles que les lectures obsolètes et la récupération à un moment précis. La suppression d'un grand nombre de données n'est pas immédiatement reflétée dans les métriques de stockage de votre base de données. De même, une baisse apparemment spontanée de la taille totale d'une base de données signifie probablement que le processus régulier de compactage des données de Spanner a récemment nettoyé un grand ensemble de données qui ont été supprimées ou écrasées il y a plusieurs jours.

Spanner garantit la disponibilité continue des données supprimées ou écrasées pendant l'intervalle défini par l' version_retention_period option (une heure par défaut). Il exécute automatiquement un processus en arrière-plan tous les quelques jours, qui supprime définitivement toutes les données obsolètes antérieures à cet intervalle de conservation des versions. Pour supprimer définitivement les données obsolètes plus rapidement, vous pouvez déclencher manuellement un compactage majeur.

Effets de la division et de la fusion

En période de forte charge ou de points chauds, Spanner utilise la division et la fusion pour répartir l'utilisation du processeur sur les ressources de calcul provisionnées. Ces opérations de déplacement de données en arrière-plan peuvent se produire même si vous n'insérez ni ne modifiez de données.

L'un des effets secondaires de cette optimisation est une augmentation temporaire de l'utilisation du stockage. Pour les données en cours de déplacement, il peut y avoir jusqu'à deux copies des données d'origine conservées à un moment donné. Cette surcharge ne croît pas indéfiniment. Au cours du cycle de compactage, Spanner réduit les divisions et supprime les copies supplémentaires de données. Vous pouvez vous attendre à ce que cette surcharge de stockage se stabilise, généralement dans un délai de deux semaines. Vous pouvez également déclencher manuellement un compactage majeur pour supprimer immédiatement les copies supplémentaires.

Statistiques de stockage

Toutes les données ingérées dans Spanner s'affichent généralement dans les statistiques de stockage en quelques minutes. Toutefois, dans certains cas, même si les données sont accessibles en lecture (et durables grâce à des techniques telles que la journalisation anticipée), leur affichage dans les statistiques d'utilisation du stockage prendra plus de temps, jusqu'à plusieurs jours.

En effet, toutes les données ingérées (à l'exception d'une copie enregistrée lors de la validation à des fins de durabilité et de récupération) résident temporairement en mémoire avant d'être écrites dans le stockage physique en arrière-plan. La quantité de données qui peuvent et seront stockées en mémoire, ainsi que la durée pendant laquelle elles y resteront avant d'être écrites dans le stockage physique, dépendent de la taille de votre calcul, ainsi que de la taille et des performances de votre charge de travail.

Créer des alertes de stockage

Vous pouvez créer des alertes de stockage dans la console Cloud Monitoring. Nous fournissons également un moyen simple de créer une alerte de stockage de base de données directement depuis la Google Cloud console. Le lien Créer une règle d'alerte dans le graphique (voir la capture d'écran) vous redirige vers la page de création d'alerte dans la console Cloud Monitoring et remplit automatiquement les champs appropriés.

Écran des métriques Spanner dans la console avec un bouton "Créer une règle d'alerte".

Nous vous recommandons de maintenir votre espace de stockage total de base de données en dessous de la limite de stockage. Ainsi, Spanner dispose d'une marge suffisante pour fonctionner normalement et effectuer une maintenance de routine sur les données.

Si vous approchez de la limite, Spanner peut vous empêcher d'effectuer des opérations qui vous amènent à dépasser cette limite, par exemple :

  • Restaurer une base de données à partir d'une sauvegarde.
  • Modifier le schéma de la base de données (par exemple, ajouter un index).
  • Réduire la capacité de calcul de votre instance.

Si vous dépassez la limite de stockage, Spanner va tenter de fonctionner normalement, mais vous risquez de rencontrer un problème de dégradation des performances ou d'échec en raison d'une pression des ressources. Si vous approchez ou dépassez le maximum recommandé, Google Cloud la console affiche un avertissement indiquant "L'instance a atteint sa capacité de stockage maximale, ce qui peut entraîner une dégradation d'activité" lors de l'affichage de l'instance concernée.

Vous pouvez également créer des alertes dans Cloud Monitoring pour vous avertir.

Réduire l'utilisation du stockage de la base de données

Pour réduire l'utilisation du stockage d'une base de données d'une instance, vous pouvez :

  • Ajouter de la capacité de calcul.
  • Supprimer les bases de données inutilisées.
  • Supprimer des données d'une base de données. Même si la suppression des données prend effet immédiatement du point de vue de la visibilité des données, elle peut ne pas affecter la métrique d'utilisation du stockage tant que Spanner n'a pas compacté les données, ce qui se produit généralement dans les 12 heures pour les suppressions importantes de données ou dans un délai d'une semaine dans le cas contraire. Par conséquent, vous pouvez constater un délai entre le moment où les données sont supprimées et le moment où les modifications apparaissent dans la métrique. Pour récupérer plus rapidement de l'espace de stockage, vous pouvez déclencher manuellement un compactage majeur.

En règle générale, nous vous recommandons de commencer par ajouter la capacité de calcul à votre instance. Une fois que vous avez ajouté la capacité de calcul, vous pouvez examiner et traiter les causes premières d'une utilisation élevée du stockage.

Si vous souhaitez automatiser ce processus, vous pouvez créer une application qui surveille l'utilisation de l'espace de stockage de la base de données, puis ajoute ou supprime des capacités de calcul en fonction des besoins, à l'aide de la méthode UpdateInstance.

Étape suivante