Autoscaler les pools de nœuds de calcul en fonction des métriques Prometheus

Aperçu — Autoscaling des métriques externes Cloud Run (CREMA)

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Aperçu — Pools de nœuds de calcul Cloud Run

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Ce tutoriel explique comment effectuer l'autoscaling de vos pools de nœuds de calcul Cloud Run en fonction des métriques Prometheus à l'aide de Cloud Run External Metrics Autoscaling (CREMA).

Le service d'autoscaling CREMA effectue un calcul basé sur un ratio à l'aide des données de Prometheus. Le service Autoscaler ajuste dynamiquement le nombre d'instances pour s'assurer que votre pool de nœuds de calcul dispose de la quantité de ressources adaptée à la charge de travail actuelle. CREMA calcule l'utilisation du processeur de votre pool de nœuds de calcul sur une période spécifique et la compare à votre seuil configuré pour ajuster les instances.

Objectifs

Au cours de ce tutoriel, vous allez :

• Déployez un pool de nœuds de calcul Cloud Run pour exécuter une charge de travail en arrière-plan qui signale les métriques d'utilisation à Google Cloud Managed Service pour Prometheus.

• Déployez le service CREMA d'autoscaler pour mettre à l'échelle de manière dynamique le pool de nœuds de calcul en fonction des métriques Prometheus.

• Testez votre service CREMA en observant les journaux de service et en vérifiant les modifications du nombre d'instances dans la console Google Cloud .

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

• Cloud Build
• Artifact Registry
• Cloud Run
• Cloud Monitoring

Pour obtenir une estimation des coûts en fonction de votre utilisation prévue, utilisez le simulateur de coût.

Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai sans frais.

Avant de commencer

Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Activez les API Cloud Run, Parameter Manager, Artifact Registry, Cloud Build et Cloud Monitoring.

   Rôles requis pour activer les API

   Pour activer les API, vous avez besoin du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

   Activer les API

2. Installez et initialisez la gcloud CLI.
3. Mettez à jour les composants :

   gcloud components update

4. Définissez les variables de configuration suivantes pour CREMA, utilisées dans ce tutoriel :

   export PROJECT_ID=PROJECT_ID
   export REGION=us-central1
   export CREMA_SA_NAME=crema-service-account
   export CONSUMER_SA_NAME=consumer-service-account
   export CONSUMER_WORKER_POOL_NAME=worker-pool-consumer
   export CREMA_SERVICE_NAME=my-crema-service

   Remplacez PROJECT_ID par l'ID de votre projet Google Cloud .
5. Définissez l'ID de votre projet en exécutant la commande suivante :

   gcloud config set project $PROJECT_ID

6. Les frais de votre service de scaling Cloud Run dépendent de la fréquence à laquelle vous déclenchez le scaling. Pour en savoir plus, estimez les coûts avec le simulateur de coût.

Rôles requis

Pour obtenir les autorisations nécessaires pour suivre le tutoriel, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :

• Administrateur de dépôts Artifact Registry (roles/artifactregistry.repoAdmin)
• Éditeur Cloud Build (roles/cloudbuild.builds.editor)
• Administrateur Cloud Run (roles/run.admin)
• Créer des comptes de service (roles/iam.serviceAccountCreator)
• Utilisateur du compte de service (roles/iam.serviceAccountUser)
• Consommateur Service Usage (roles/serviceusage.serviceUsageConsumer)
• Administrateur Parameter Manager (roles/parametermanager.admin)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Remarque : Les rôles de base IAM peuvent également contenir des autorisations permettant de suivre le tutoriel. Les rôles de base ne doivent pas être attribués dans un environnement de production, mais ils peuvent être attribués dans un environnement de développement ou de test.

Créer des comptes de service personnalisés

Ce tutoriel nécessite les deux comptes de service suivants avec les autorisations minimales requises pour utiliser les ressources provisionnées :

• Compte de service consommateur : identité du pool de nœuds de calcul qui exécute une charge de travail en arrière-plan. Exécutez la commande suivante pour créer le compte de service consommateur :

  gcloud iam service-accounts create $CONSUMER_SA_NAME \
    --display-name="Consumer service account"
  

• Compte de service CREMA : identité de l'autoscaler. Exécutez la commande suivante pour créer le compte de service CREMA :

  gcloud iam service-accounts create $CREMA_SA_NAME \
    --display-name="CREMA service account"
  

Accorder des autorisations supplémentaires à vos comptes de service personnalisés

Pour mettre à l'échelle le pool de nœuds de calcul, accordez les autorisations suivantes sur les comptes de service personnalisés :

1. Accordez à votre compte de service CREMA l'autorisation de lire les paramètres dans Parameter Manager :

   gcloud projects add-iam-policy-binding $PROJECT_ID \
     --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/parametermanager.parameterViewer"
   

2. Accordez à votre compte de service CREMA l'autorisation de mettre à l'échelle le pool de nœuds de calcul :

   gcloud projects add-iam-policy-binding $PROJECT_ID \
     --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/run.developer"
   

3. Attribuez le rôle d'utilisateur de compte de service à votre compte de service CREMA :

   gcloud projects add-iam-policy-binding $PROJECT_ID \
     --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/iam.serviceAccountUser"
   

4. Autorisez votre compte de service CREMA à afficher les métriques :

    gcloud projects add-iam-policy-binding $PROJECT_ID \
      --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com" \
      --role="roles/monitoring.viewer"
   

5. Autorisez votre compte de service CREMA à écrire des métriques :

    gcloud projects add-iam-policy-binding $PROJECT_ID \
      --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com" \
      --role="roles/monitoring.metricWriter"
   

Déployer un pool de nœuds de calcul Cloud Run

Déployez un pool de nœuds de calcul avec 0 instance pour que CREMA puisse effectuer un scaling up :

gcloud beta run worker-pools deploy $CONSUMER_WORKER_POOL_NAME \
  --image us-docker.pkg.dev/cloudrun/container/worker-pool:latest \
  --instances 0 \
  --region $REGION \
  --memory 4G \
  --cpu 4 \
  --service-account="$CONSUMER_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com"

Déployer le service CREMA de l'autoscaler

Déployez le service CREMA pour autoscaler votre pool de nœuds de calcul en fonction des métriques Prometheus.

Configurer l'autoscaler

Ce tutoriel utilise le gestionnaire de paramètres pour stocker le fichier de configuration YAML de CREMA.

1. Créez un paramètre dans le Gestionnaire de paramètres pour stocker les versions de paramètres pour CREMA :

   PARAMETER_ID=crema-config
   PARAMETER_REGION=global
   gcloud parametermanager parameters create $PARAMETER_ID --location=$PARAMETER_REGION --parameter-format=YAML
   

2. Dans votre répertoire racine, créez un fichier YAML, my-crema-config.yaml, pour définir la configuration de l'autoscaler. Définissez le seuil d'autoscaling sur 50 % d'utilisation du processeur :

   apiVersion: crema/v1
   kind: CremaConfig
   spec:
     pollingInterval: 30
     triggerAuthentications:
       - metadata:
           name: google-crema-auth
         spec:
           podIdentity:
             provider: gcp
     scaledObjects:
       - spec:
           scaleTargetRef:
             name: projects/PROJECT_ID/locations/us-central1/workerPools/worker-pool-consumer
           minReplicaCount: 1
           maxReplicaCount: 20
           triggers:
             - type: prometheus
               metadata:
                 serverAddress: https://monitoring.googleapis.com/v1/projects/PROJECT_ID/location/global/prometheus
                 threshold: "0.5"
                 query: |
                   histogram_quantile(
                     0.50,
                     sum by (le) (
                       increase(
                         run_googleapis_com:container_cpu_utilizations_bucket{
                           monitored_resource="cloud_run_worker_pool",
                           worker_pool_name="worker-pool-consumer",
                           location="us-central1",
                           project_id="PROJECT_ID"
                         }[2m]
                       )
                     )
                   )
               authenticationRef:
                 name: google-crema-auth
           advanced:
             horizontalPodAutoscalerConfig:
               behavior:
                 scaleDown:
                   stabilizationWindowSeconds: 300
   

   Remplacez PROJECT_ID par l'ID du projet Google Cloud .

3. Importez votre fichier YAML local en tant que nouvelle version de paramètre :

   LOCAL_YAML_CONFIG_FILE=my-crema-config.yaml
   PARAMETER_VERSION=1
   
   gcloud parametermanager parameters versions create $PARAMETER_VERSION \
     --location=$PARAMETER_REGION \
     --parameter=$PARAMETER_ID \
     --payload-data-from-file=$LOCAL_YAML_CONFIG_FILE
   

4. Exécutez la commande suivante pour vérifier que votre paramètre a bien été ajouté :

   gcloud parametermanager parameters versions list \
   --parameter=$PARAMETER_ID \
   --location=$PARAMETER_REGION
   

   Le chemin du paramètre devrait s'afficher, par exemple projects/PROJECT_ID/locations/global/parameters/crema-config/versions/1.

Déployer le service pour mettre à l'échelle vos charges de travail

Pour déployer le service afin de mettre à l'échelle votre pool de nœuds de calcul, exécutez la commande suivante avec une image de conteneur prédéfinie :

CREMA_CONFIG_PARAM_VERSION=projects/$PROJECT_ID/locations/$PARAMETER_REGION/parameters/$PARAMETER_ID/versions/$PARAMETER_VERSION
IMAGE=us-central1-docker.pkg.dev/cloud-run-oss-images/crema-v1/autoscaler:1.0

gcloud beta run deploy $CREMA_SERVICE_NAME \
  --image=${IMAGE} \
  --region=${REGION} \
  --service-account="${CREMA_SA_NAME}" \
  --no-allow-unauthenticated \
  --no-cpu-throttling \
  --base-image=us-central1-docker.pkg.dev/serverless-runtimes/google-24/runtimes/java25 \
  --labels=created-by=crema \
  --set-env-vars="CREMA_CONFIG=${CREMA_CONFIG_PARAM_VERSION},OUTPUT_SCALER_METRICS=True"

Tester votre service d'autoscaling

Pour vérifier que votre service d'autoscaling fonctionne correctement, consultez l'onglet Journaux du service Cloud Run. Le service d'autoscaler CREMA augmente le nombre d'instances de worker consommateur à partir de 0.

Les journaux suivants doivent s'afficher dans les journaux de votre service chaque fois que les métriques sont actualisées :

[INFO] [METRIC-PROVIDER] Starting metric collection cycle
[INFO] [METRIC-PROVIDER] Successfully fetched scaled object metrics ...
[INFO] [METRIC-PROVIDER] Sending scale request ...
[INFO] [SCALER] Received ScaleRequest ...
[INFO] [SCALER] Current instances ...
[INFO] [SCALER] Recommended instances ...

Cloud Run associe chaque message de journal à un libellé indiquant le composant qui l'a émis.

Effectuer un nettoyage

Pour éviter des frais supplémentaires sur votre compte Google Cloud , supprimez toutes les ressources que vous avez déployées avec ce tutoriel.

Supprimer le projet

Si vous avez créé un projet pour ce tutoriel, supprimez-le. Si vous avez utilisé un projet existant et que vous devez le conserver sans les modifications que vous avez ajoutées dans ce tutoriel, supprimez les ressources que vous avez créées pour le tutoriel.

Le moyen le plus simple d'empêcher la facturation est de supprimer le projet que vous avez créé pour ce tutoriel.

Pour supprimer le projet :

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. Dans la console Google Cloud , accédez à la page Gérer les ressources.

   Accéder à la page "Gérer les ressources"

2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Supprimer les ressources du tutoriel

1. Supprimez le service Cloud Run que vous avez déployé dans ce tutoriel. Les services Cloud Run n'entraînent des coûts que lorsqu'ils reçoivent des requêtes.

   Pour supprimer votre service Cloud Run, exécutez la commande suivante :

   gcloud run services delete SERVICE-NAME

   Remplacez SERVICE-NAME par le nom du service.

   Vous pouvez également supprimer des services Cloud Run à partir de la consoleGoogle Cloud .

2. Supprimez la configuration régionale par défaut gcloud que vous avez ajoutée lors de la configuration du tutoriel :

    gcloud config unset run/region
   

3. Supprimez la configuration du projet :

    gcloud config unset project
   

4. Supprimez les autres ressources Google Cloud créées dans ce tutoriel :

   • Supprimer le pool de nœuds de calcul Cloud Run
   • Supprimez l'image de conteneur du pool d'employés d'Artifact Registry.
   • Supprimer le service CREMA
   • Supprimer les comptes de service
   • Supprimez les paramètres dans le gestionnaire de paramètres.

Étapes suivantes

• En savoir plus sur les pools de nœuds de calcul Cloud Run
• Découvrez d'autres démonstrations, tutoriels et exemples concernant Cloud Run.
• Configurez d'autres scalers KEDA avec CREMA.