Ce document décrit les métriques d'utilisation du stockage fournies par Spanner Omni.
Métriques de stockage
Vous pouvez afficher les métriques de stockage à l'aide de la console Spanner Omni. Pour en savoir plus, consultez Utiliser la console Spanner Omni.
Spanner Omni fournit les métriques de stockage suivantes :
Capacité de stockage : capacité de stockage totale et disponible du système de fichiers. Vous pouvez le consulter dans le tableau de bord Vue d'ensemble de la console Spanner Omni. Le tableau de bord du système de fichiers Spanner Omni fournit une répartition par zone.
Stockage utilisé par la base de données : octets physiques non répliqués utilisés par chaque base de données. Vous pouvez les consulter dans le tableau de bord Insights système de la console Spanner Omni.
Stockage multiversion
Si vous utilisez régulièrement des métriques de stockage pour vérifier la taille de vos données, vous pouvez obtenir des résultats inattendus. Par exemple, vous pouvez constater une diminution notable du stockage total indiqué pour votre base de données, même si vous n'avez supprimé aucune donnée. À l'inverse, il est possible que sa taille reste relativement inchangée juste après une suppression importante.
Ces effets découlent de la prise en charge du stockage multiversion par Spanner Omni. Le stockage multiversion conserve toutes les données que vous supprimez ou écrasez dans le stockage et les rend disponibles pendant une durée limitée pour vous permettre de lire les valeurs de données précédentes, telles que les lectures obsolètes et la récupération à un moment précis. Supprimer un grand nombre de données
n'est pas immédiatement reflétée dans les métriques de stockage de votre base de données. De même, une diminution apparemment spontanée de la taille totale d'une base de données signifie probablement que le processus de compaction régulière des données de Spanner Omni a nettoyé un grand ensemble de données que vous avez supprimées ou écrasées plusieurs jours auparavant.
Par défaut, cet intervalle est d'une heure. Il exécute périodiquement un processus en arrière-plan qui supprime définitivement toutes les données obsolètes antérieures à l'intervalle de conservation des versions.
Conséquences du fractionnement
Pendant les périodes de forte charge ou les points chauds, Spanner Omni utilise la répartition pour distribuer votre utilisation du processeur sur vos ressources de calcul provisionnées. La division a pour effet secondaire d'augmenter temporairement l'utilisation de l'espace de stockage. Pour les données fractionnées, au cours du cycle de compaction hebdomadaire, Spanner Omni peut conserver jusqu'à deux copies de la plage fractionnée d'origine à tout moment, jusqu'à ce que le cycle réduise les fractionnements et supprime les copies de données supplémentaires.
Statistiques de stockage
Toutes les données que vous ingérez dans Spanner Omni apparaissent dans les statistiques de stockage au bout de quelques minutes. Toutefois, dans certains cas, même si vous pouvez accéder aux données pour les lire et qu'elles restent durables grâce à des techniques telles que la journalisation write-ahead, leur affichage dans les statistiques d'utilisation du stockage peut prendre plus de temps (plusieurs jours).
Cela se produit parce que les données ingérées, à l'exception d'une copie enregistrée lors de l'opération d'écriture pour la durabilité et la récupération, résident temporairement en mémoire. Spanner Omni écrit ensuite ces données dans l'espace de stockage physique en arrière-plan. La quantité de données pouvant résider en mémoire et la durée pendant laquelle elles y restent avant que Spanner Omni ne les écrive dans le stockage physique dépendent de la taille de votre calcul, ainsi que de la taille et des performances de votre charge de travail.
Créer des alertes de stockage
Pour les déploiements Spanner Omni, les alertes Prometheus utilisent les seuils d'utilisation du stockage suivants :
SpannerStorageUtilizationWarning: avertissement de stockage élevé (80 %) sur un serveur.SpannerStorageUtilizationCritical: alertes pour un stockage critique (90 %) sur un serveur.SpannerStoragePerVCPUTooHigh: avertit lorsque le stockage par processeur virtuel dépasse 500 Go.
Recommandations pour l'utilisation du stockage de la base de données
Nous vous recommandons de limiter le stockage de votre base de données à moins de 500 Go par vCPU. Ainsi, Spanner Omni dispose d'une marge suffisante pour fonctionner normalement et effectuer une maintenance de routine sur les données.
Si vous approchez de la limite, Spanner Omni peut vous empêcher d'effectuer des opérations qui vous amènent à dépasser cette limite, par exemple :
Restauration d'une base de données à partir d'une sauvegarde.
Modifier le schéma de la base de données (par exemple, ajouter un index).
Réduire la capacité de calcul de votre déploiement.
Si vous dépassez la limite de stockage, Spanner Omni tente de fonctionner normalement, mais vous risquez de rencontrer un problème de dégradation des performances ou d'échec en raison d'une pression des ressources.
Réduire l'utilisation du stockage des bases de données
Pour réduire l'utilisation du stockage de la base de données d'un déploiement, effectuez les actions suivantes :
Ajoutez de la capacité de calcul.
Utilisez la CLI Spanner Omni pour supprimer les bases de données inutilisées.
Utilisez la CLI Spanner Omni pour supprimer des données d'une base de données. Bien que la suppression des données prenne effet immédiatement du point de vue de la visibilité des données, elle peut ne pas affecter la métrique d'utilisation du stockage tant que Spanner Omni ne les a pas compactées. La compaction a généralement lieu dans les 12 heures pour les suppressions de données importantes, ou dans la semaine dans le cas contraire. Par conséquent, vous remarquerez peut-être un délai entre la suppression des données et l'apparition des modifications dans la métrique.
Effectuez ces opérations à l'aide de la CLI Spanner Omni.
En règle générale, nous vous recommandons de commencer par ajouter de la capacité de calcul à votre déploiement. Une fois que vous avez ajouté la capacité de calcul, vous pouvez examiner et traiter les causes premières d'une utilisation élevée du stockage.