Surveiller et gérer l'utilisation du quota Data Boost

Spanner Data Boost est soumis à des quotas qui limitent le nombre d'appels ExecuteStreamingSQL et StreamingRead simultanés exécutés par projet et par région. Lorsque le nombre de requêtes simultanées dépasse le quota, les requêtes échouent et des erreurs RESOURCE EXHAUSTED s'affichent.

Vérifier le quota

Pour vérifier le quota de simultanéité dans votre projet, procédez comme suit :

  1. Accédez à la page "Quotas" de la console Google Cloud .

    Accéder à la section "Quotas"

  2. Dans le champ Filtre, saisissez databoost. Dans la liste, sélectionnez l'une des options suivantes :

    • DataBoostQuotaPerProjectPerRegion pour afficher le quota de requêtes simultanées Data Boost.
    • DataBoostMilliQuotaPerProjectPerRegion pour afficher le quota de requêtes simultanées Data Boost en milli-opérations.

  3. Dans le tableau qui s'affiche, recherchez votre région et consultez la limite correspondante.

Surveiller l'utilisation du quota

Pour surveiller votre utilisation des quotas, procédez comme suit :

  1. Dans la console Google Cloud , accédez à Monitoring.
    Accéder à Monitoring
  2. Si l'explorateur de métriques s'affiche dans le menu de navigation, sélectionnez-le. Sinon, cliquez sur Ressources, puis sélectionnez Explorateur de métriques.
  3. En haut de la page, sélectionnez un intervalle de temps.
  4. Dans la liste déroulante Métrique, dans le champ Filtrer par nom de ressource ou de métrique, saisissez consumer, puis appuyez sur Enter pour affiner la recherche.
  5. Pour afficher le quota de requêtes simultanées Data Boost :
    1. Dans la liste, sélectionnez Quota du client > Quota > Utilisation simultanée du quota, puis cliquez sur Appliquer.
    2. Cliquez sur + AJOUTER UN FILTRE pour créer un filtre.
    3. Dans la liste déroulante Libellé 1, sélectionnez quota_metric.
    4. Dans le champ de texte Valeur 1, saisissez ou sélectionnez spanner.googleapis.com/data_boost_quota.

  6. Pour afficher le quota de requêtes simultanées Data Boost en milli-opérations :

    1. Dans la liste, sélectionnez Quota du client > Quota > Utilisation du quota de taux, puis cliquez sur Appliquer.
    2. Cliquez sur + AJOUTER UN FILTRE pour créer un filtre.
    3. Dans la liste déroulante Libellé 1, sélectionnez quota_metric.
    4. Dans le champ de texte Valeur 1, saisissez ou sélectionnez spanner.googleapis.com/data_boost_milli_quota.

    L'explorateur de métriques affiche un graphique en courbes de l'utilisation des quotas par région.

  7. Facultatif : Sous Affichage, pour Type de widget, sélectionnez Graphique à barres empilées.

Surveiller les erreurs et les limites de quota

Pour surveiller les erreurs de quota dues au quota de requêtes simultanées Data Boost, procédez comme suit :

  1. Dans l'explorateur de métriques, sélectionnez la métrique Quota du client > Quota > Erreur de dépassement de quota.

  2. Ajoutez un filtre pour quota_metric égal à spanner.googleapis.com/data_boost_quota.

Pour surveiller la limite du quota de milli-opérations de requêtes simultanées Data Boost, procédez comme suit :

  1. Dans l'explorateur de métriques, sélectionnez la métrique Quota du client > Quota > Limite de quota.

  2. Ajoutez un filtre pour quota_metric égal à spanner.googleapis.com/data_boost_milli_quota.

Définir une alerte pour l'utilisation de Data Boost

Vous pouvez créer une règle d'alerte qui vous avertit lorsque le nombre de requêtes partitionnées simultanées qui demandent le boost de données (appels ExecuteStreamingSQL et StreamingRead simultanés) par projet et par région dépasse un seuil spécifique. Pour cela, procédez comme suit :

  1. Suivez les instructions de la section Créer des règles d'alerte basées sur un seuil de métrique.
  2. Dans la liste déroulante Sélectionner une métrique, dans le champ Filtrer par nom de ressource ou de métrique, saisissez consumer et appuyez sur Enter pour affiner la recherche.

  3. Pour définir une alerte sur l'utilisation du quota de requêtes simultanées Data Boost :

    1. Dans la liste Sélectionner une métrique, sélectionnez Quota du client > Quota > Utilisation simultanée du quota, puis cliquez sur Appliquer.
    2. Dans la section Ajouter des filtres, cliquez sur Ajouter un filtre pour en créer un.
    3. Dans la liste déroulante Filtre, sélectionnez quota_metric.
    4. Dans le champ de texte Valeur, saisissez ou sélectionnez spanner.googleapis.com/data_boost_quota, puis cliquez sur OK.
    5. Créez une règle d'alerte et définissez le seuil sur un pourcentage du quota.

    Par exemple, si le quota par défaut est de 200 et que vous souhaitez être averti lorsque le nombre de requêtes simultanées atteint 80 % du maximum, saisissez 160 dans le champ Valeur du seuil.

  4. Pour définir une alerte sur l'utilisation du quota de milli-opérations de requêtes simultanées Data Boost :

    1. Dans la liste Sélectionner une métrique, sélectionnez Quota du client > Quota > Utilisation du quota de taux, puis cliquez sur Appliquer.
    2. Dans la section Ajouter des filtres, cliquez sur Ajouter un filtre pour en créer un.
    3. Dans la liste déroulante Filtre, sélectionnez quota_metric.
    4. Dans le champ de texte Valeur, saisissez ou sélectionnez spanner.googleapis.com/data_boost_milli_quota, puis cliquez sur OK.
    5. Créez une règle d'alerte et définissez le seuil sur un pourcentage du quota.

    Par exemple, si le quota par défaut est de 1 000 000 et que vous souhaitez être averti lorsque les milli-opérations de requête atteignent 80 % de la limite, saisissez 800 000 dans le champ Valeur seuil.

Gérer les erreurs de quota

Si le taux d'erreurs de dépassement de quota est élevé lorsque vous utilisez Dataflow avec Data Boost, nous vous recommandons d'ajuster le nombre maximal de nœuds de calcul dans votre tâche Dataflow pour éviter de dépasser le quota Data Boost. Vous pouvez également demander un quota plus élevé. Votre charge de travail peut être limitée par le quota de requêtes simultanées Data Boost ou par le quota de milli-opérations. Vous devrez peut-être augmenter votre quota de milli-opérations après avoir augmenté le quota de requêtes simultanées.

Empêcher un compte principal de consommer des ressources Data Boost

Si un compte principal dépasse régulièrement la quantité de ressources Data Boost qu'il est raisonnablement censé consommer, vous pouvez l'empêcher d'utiliser ces ressources en révoquant l'autorisation spanner.databases.useDataBoost Identity and Access Management (IAM) du compte principal. Vous pouvez automatiser la révocation de l'autorisation en configurant le canal de notification d'une alerte en tant que webhook qui appelle une fonction Cloud. Pour plus d'informations, consultez les articles suivants :

Étapes suivantes