Surveiller et gérer l'utilisation du quota Data Boost

Spanner Data Boost est soumis à des quotas qui limitent le nombre d'appels ExecuteStreamingSQL et StreamingRead simultanés exécutés par projet et par région. Lorsque le nombre de requêtes simultanées dépasse le quota, les requêtes échouent avec des erreurs RESOURCE_EXHAUSTED.

Vérifier le quota

Pour vérifier le quota de simultanéité dans votre projet, procédez comme suit :

  1. Accédez à la page "Quotas" dans la console Google Cloud .

    Accéder à la section "Quotas"

  2. Dans le champ Filtre, saisissez databoost. Dans la liste, sélectionnez l'une des options suivantes :

    • DataBoostQuotaPerProjectPerRegion pour afficher le quota de requêtes simultanées Data Boost.
    • DataBoostMilliQuotaPerProjectPerRegion pour afficher le quota de requêtes simultanées Data Boost en milli-opérations.

  3. Dans le tableau qui s'affiche, recherchez votre région et affichez la limite correspondante.

Surveiller l'utilisation des quotas

Pour surveiller l'utilisation de vos quotas, procédez comme suit :

  1. Dans la console Google Cloud , accédez à Monitoring.
    Accéder à Monitoring
  2. Si l'Explorateur de métriques s'affiche dans le menu de navigation, sélectionnez-le. Sinon, cliquez sur Ressources, puis sélectionnez Explorateur de métriques.
  3. En haut de la page, sélectionnez un intervalle de temps.
  4. Dans la liste déroulante Métrique, dans le champ Filtrer par nom de ressource ou de métrique, saisissez consumer et appuyez sur Enter pour affiner la recherche.
  5. Pour afficher le quota de requêtes simultanées Data Boost :
    1. Dans la liste, sélectionnez Quota du client > Quota > Utilisation simultanée du quota, puis cliquez sur Appliquer.
    2. Cliquez sur + AJOUTER UN FILTRE pour créer un filtre.
    3. Dans la liste déroulante Libellé 1, sélectionnez quota_metric.
    4. Dans le champ de texte Valeur 1, saisissez ou sélectionnez spanner.googleapis.com/data_boost_quota.

  6. Pour afficher le quota de requêtes simultanées Data Boost en milli-opérations :

    1. Dans la liste, sélectionnez Quota du client > Quota > Utilisation du quota de débit, puis cliquez sur Appliquer.
    2. Cliquez sur + AJOUTER UN FILTRE pour créer un filtre.
    3. Dans la liste déroulante Libellé 1, sélectionnez quota_metric.
    4. Dans le champ de texte Valeur 1, saisissez ou sélectionnez spanner.googleapis.com/data_boost_milli_quota.

    L'explorateur de métriques affiche un graphique en courbes de l'utilisation des quotas par région.

  7. Facultatif : Sous Affichage, pour Type de widget, sélectionnez Graphique à barres empilées.

Surveiller les erreurs et les limites de quota

Pour surveiller les erreurs de quota dues au quota de requêtes simultanées Data Boost, procédez comme suit :

  1. Dans l'explorateur de métriques, sélectionnez la métrique Quota du client > Quota > Erreur de dépassement de quota.

  2. Ajoutez un filtre pour quota_metric égal à spanner.googleapis.com/data_boost_quota.

Pour surveiller la limite du quota de milli-opérations pour les requêtes simultanées Data Boost, procédez comme suit :

  1. Dans l'explorateur de métriques, sélectionnez la métrique Quota du client > Quota > Limite de quota.

  2. Ajoutez un filtre pour quota_metric égal à spanner.googleapis.com/data_boost_milli_quota.

Définir une alerte pour l'utilisation de Data Boost

Vous pouvez créer une règle d'alerte qui vous avertit lorsque le nombre de requêtes partitionnées simultanées qui demandent Data Boost (appels ExecuteStreamingSQL et StreamingRead simultanés) par projet et par région dépasse un certain seuil. Pour ce faire, procédez comme suit :

  1. Suivez les instructions de la section Créer des règles d'alerte basées sur un seuil de métrique.
  2. Dans la liste déroulante Sélectionner une métrique, dans le champ Filtrer par nom de ressource ou de métrique, saisissez consumer et appuyez sur Enter pour affiner la recherche.

  3. Pour définir une alerte sur l'utilisation du quota de requêtes simultanées Data Boost :

    1. Dans la liste Sélectionner une métrique, sélectionnez Quota du client > Quota > Utilisation simultanée du quota, puis cliquez sur Appliquer.
    2. Dans la section Ajouter des filtres, cliquez sur Ajouter un filtre pour créer un filtre.
    3. Dans la liste déroulante Filtre, sélectionnez quota_metric.
    4. Dans le champ de texte Valeur, saisissez ou sélectionnez spanner.googleapis.com/data_boost_quota, puis cliquez sur OK.
    5. Continuez à créer une règle d'alerte et définissez le seuil sur un certain pourcentage du quota.

    Par exemple, si le quota par défaut est de 200 et que vous souhaitez être averti lorsque le nombre de requêtes simultanées atteint 80 % du maximum, saisissez 160 dans le champ Valeur de seuil.

  4. Pour définir une alerte sur l'utilisation du quota de milli-opérations de requêtes simultanées Data Boost :

    1. Dans la liste Sélectionner une métrique, sélectionnez Quota du client > Quota > Utilisation du quota de débit, puis cliquez sur Appliquer.
    2. Dans la section Ajouter des filtres, cliquez sur Ajouter un filtre pour créer un filtre.
    3. Dans la liste déroulante Filtre, sélectionnez quota_metric.
    4. Dans le champ de texte Valeur, saisissez ou sélectionnez spanner.googleapis.com/data_boost_milli_quota, puis cliquez sur OK.
    5. Continuez à créer une règle d'alerte et définissez le seuil sur un certain pourcentage du quota.

    Par exemple, si le quota par défaut est de 1 000 000 et que vous souhaitez être averti lorsque les milli-opérations de requête atteignent 80 % de la limite, saisissez 800 000 dans le champ Valeur seuil.

Gérer les erreurs de quota

Si le taux d'erreurs de dépassement de quota est élevé, lorsque vous utilisez Dataflow avec Data Boost, nous vous recommandons d'ajuster le nombre maximal de nœuds de calcul dans votre job Dataflow pour éviter de dépasser le quota Data Boost. Vous pouvez également demander un quota supérieur. Votre charge de travail peut être limitée par le quota de requêtes simultanées Data Boost ou par le quota de milli-opérations. Vous devrez peut-être augmenter votre quota de milli-opérations après avoir augmenté le quota de requêtes simultanées.

Empêcher un compte principal d'utiliser des ressources Data Boost

Si un compte principal dépasse systématiquement la quantité de ressources Data Boost qu'il est raisonnablement censé consommer, vous pouvez l'empêcher d'utiliser les ressources Data Boost en révoquant l'autorisation IAM (Identity and Access Management) spanner.databases.useDataBoost du compte principal. Vous pouvez automatiser la révocation de l'autorisation en configurant le canal de notification d'une alerte en tant que webhook qui appelle une fonction Cloud. Pour plus d'informations, consultez les articles suivants :

Étapes suivantes