Prometheus 측정항목을 기반으로 작업자 풀 자동 확장

이 튜토리얼에서는 Cloud Run 외부 측정항목 자동 확장 (CREMA)을 사용하여 Prometheus 측정항목을 기반으로 Cloud Run 작업자 풀을 자동 확장하는 방법을 설명합니다.

CREMA 자동 확장 처리 서비스는 Prometheus의 데이터를 사용하여 비율 기반 계산을 실행합니다. 자동 확장 처리 서비스는 현재 워크로드에 적합한 리소스가 작업자 풀에 있도록 인스턴스 수를 동적으로 조정합니다. CREMA는 특정 기간 동안 작업자 풀의 CPU 사용률을 계산하고 구성된 임계값과 비교하여 인스턴스를 조정합니다.

목표

이 튜토리얼에서는 다음 단계를 진행합니다.

Google Cloud Managed Service for Prometheus에 사용률 측정항목을 보고하는 백그라운드 워크로드를 실행하기 위해 Cloud Run 작업자 풀을 배포합니다.
자동 확장 처리 CREMA 서비스를 배포하여 Prometheus 측정항목을 기반으로 작업자 풀을 동적으로 확장합니다.
서비스 로그를 관찰하고 Google Cloud 콘솔에서 인스턴스 수 변경사항을 확인하여 CREMA 서비스를 테스트합니다.

비용

이 문서에서는 비용이 청구될 수 있는 Google Cloud구성요소를 사용합니다.

프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요.

Google Cloud 신규 사용자는 무료 체험판을 사용할 수 있습니다.

시작하기 전에

Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Cloud Run, Parameter Manager, Artifact Registry, Cloud Build, Cloud Monitoring API를 사용 설정합니다.
API 사용 설정에 필요한 역할
API를 사용 설정하려면 serviceusage.services.enable 권한이 포함된 서비스 사용량 관리자 IAM 역할(roles/serviceusage.serviceUsageAdmin)이 필요합니다. 역할 부여 방법 알아보기
API 사용 설정

gcloud CLI를 설치하고 초기화합니다.
구성요소를 업데이트합니다.
```
gcloud components update
```

이 튜토리얼에서 사용되는 CREMA의 다음 구성 변수를 설정합니다.

export PROJECT_ID=PROJECT_ID
export REGION=us-central1
export CREMA_SA_NAME=crema-service-account
export CONSUMER_SA_NAME=consumer-service-account
export CONSUMER_WORKER_POOL_NAME=worker-pool-consumer
export CREMA_SERVICE_NAME=my-crema-service

PROJECT_ID를 Google Cloud 프로젝트의 ID로 바꿉니다.

다음 명령어를 실행하여 프로젝트 ID를 설정합니다.
```
gcloud config set project $PROJECT_ID
```
확장을 트리거하는 빈도에 따라 Cloud Run 확장 서비스에 요금이 청구됩니다. 자세한 내용은 가격 계산기를 사용하여 비용을 추정하세요.

필요한 역할

튜토리얼을 완료하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

Artifact Registry 저장소 관리자(roles/artifactregistry.repoAdmin)
Cloud Build 편집자(roles/cloudbuild.builds.editor)
Cloud Run 관리자(roles/run.admin)
서비스 계정 만들기(roles/iam.serviceAccountCreator)
서비스 계정 사용자(roles/iam.serviceAccountUser)
서비스 사용량 소비자(roles/serviceusage.serviceUsageConsumer)
Parameter Manager 관리자 (roles/parametermanager.admin)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

커스텀 서비스 계정 만들기

이 튜토리얼에서는 프로비저닝된 리소스를 사용하는 데 필요한 최소 권한이 있는 다음 두 서비스 계정이 필요합니다.

소비자 서비스 계정: 백그라운드 워크로드를 실행하는 작업자 풀의 ID입니다. 다음 명령어를 실행하여 소비자 서비스 계정을 만듭니다.
```
gcloud iam service-accounts create $CONSUMER_SA_NAME \
  --display-name="Consumer service account"
```
CREMA 서비스 계정: 자동 확장 처리기의 ID입니다. 다음 명령어를 실행하여 CREMA 서비스 계정을 만듭니다.
```
gcloud iam service-accounts create $CREMA_SA_NAME \
  --display-name="CREMA service account"
```

커스텀 서비스 계정에 추가 권한 부여

작업자 풀을 확장하려면 커스텀 서비스 계정에 다음 권한을 부여하세요.

CREMA 서비스 계정에 Parameter Manager에서 읽을 수 있는 권한을 부여합니다.

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/parametermanager.parameterViewer"

CREMA 서비스 계정에 작업자 풀을 확장할 수 있는 권한을 부여합니다.

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/run.developer"

CREMA 서비스 계정에 서비스 계정 사용자 역할을 부여합니다.

gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/iam.serviceAccountUser"

CREMA 서비스 계정에 측정항목을 볼 수 있는 권한을 부여합니다.

 gcloud projects add-iam-policy-binding $PROJECT_ID \
   --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com" \
   --role="roles/monitoring.viewer"

CREMA 서비스 계정에 측정항목을 쓸 수 있는 권한을 부여합니다.

 gcloud projects add-iam-policy-binding $PROJECT_ID \
   --member="serviceAccount:$CREMA_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com" \
   --role="roles/monitoring.metricWriter"

Cloud Run 작업자 풀 배포

CREMA가 확장할 수 있도록 인스턴스가 0개인 작업자 풀을 배포합니다.

gcloud beta run worker-pools deploy $CONSUMER_WORKER_POOL_NAME \
  --image us-docker.pkg.dev/cloudrun/container/worker-pool:latest \
  --instances 0 \
  --region $REGION \
  --memory 4G \
  --cpu 4 \
  --service-account="$CONSUMER_SA_NAME@$PROJECT_ID.iam.gserviceaccount.com"

자동 확장 처리 CREMA 서비스 배포

Prometheus 측정항목을 기반으로 작업자 풀을 자동 확장하도록 CREMA 서비스를 배포합니다.

자동 확장 처리 구성

이 튜토리얼에서는 Parameter Manager를 사용하여 CREMA의 YAML 구성 파일을 저장합니다.

Parameter Manager에서 CREMA의 파라미터 버전을 저장할 파라미터를 만듭니다.

PARAMETER_ID=crema-config
PARAMETER_REGION=global
gcloud parametermanager parameters create $PARAMETER_ID --location=$PARAMETER_REGION --parameter-format=YAML

루트 디렉터리에서 YAML 파일 my-crema-config.yaml을 만들어 자동 스케일러 구성을 정의합니다. 자동 확장 기준을 CPU 사용률 50% 로 설정합니다.

apiVersion: crema/v1
kind: CremaConfig
spec:
  pollingInterval: 30
  triggerAuthentications:
    - metadata:
        name: google-crema-auth
      spec:
        podIdentity:
          provider: gcp
  scaledObjects:
    - spec:
        scaleTargetRef:
          name: projects/PROJECT_ID/locations/us-central1/workerPools/worker-pool-consumer
        minReplicaCount: 1
        maxReplicaCount: 20
        triggers:
          - type: prometheus
            metadata:
              serverAddress: https://monitoring.googleapis.com/v1/projects/PROJECT_ID/location/global/prometheus
              threshold: "0.5"
              query: |
                histogram_quantile(
                  0.50,
                  sum by (le) (
                    increase(
                      run_googleapis_com:container_cpu_utilizations_bucket{
                        monitored_resource="cloud_run_worker_pool",
                        worker_pool_name="worker-pool-consumer",
                        location="us-central1",
                        project_id="PROJECT_ID"
                      }[2m]
                    )
                  )
                )
            authenticationRef:
              name: google-crema-auth
        advanced:
          horizontalPodAutoscalerConfig:
            behavior:
              scaleDown:
                stabilizationWindowSeconds: 300

PROJECT_ID를 Google Cloud 프로젝트 ID로 바꿉니다.

로컬 YAML 파일을 새 매개변수 버전으로 업로드합니다.

LOCAL_YAML_CONFIG_FILE=my-crema-config.yaml
PARAMETER_VERSION=1

gcloud parametermanager parameters versions create $PARAMETER_VERSION \
  --location=$PARAMETER_REGION \
  --parameter=$PARAMETER_ID \
  --payload-data-from-file=$LOCAL_YAML_CONFIG_FILE

다음 명령어를 실행하여 매개변수 추가가 성공했는지 확인합니다.
```
gcloud parametermanager parameters versions list \
--parameter=$PARAMETER_ID \
--location=$PARAMETER_REGION
```
projects/PROJECT_ID/locations/global/parameters/crema-config/versions/1와 같은 매개변수 경로가 표시됩니다.

워크로드 확장을 위해 서비스 배포

작업자 풀을 확장하도록 서비스를 배포하려면 사전 빌드된 컨테이너 이미지로 다음 명령어를 실행하세요.

CREMA_CONFIG_PARAM_VERSION=projects/$PROJECT_ID/locations/$PARAMETER_REGION/parameters/$PARAMETER_ID/versions/$PARAMETER_VERSION
IMAGE=us-central1-docker.pkg.dev/cloud-run-oss-images/crema-v1/autoscaler:1.0

gcloud beta run deploy $CREMA_SERVICE_NAME \
  --image=${IMAGE} \
  --region=${REGION} \
  --service-account="${CREMA_SA_NAME}" \
  --no-allow-unauthenticated \
  --no-cpu-throttling \
  --base-image=us-central1-docker.pkg.dev/serverless-runtimes/google-24/runtimes/java25 \
  --labels=created-by=crema \
  --set-env-vars="CREMA_CONFIG=${CREMA_CONFIG_PARAM_VERSION},OUTPUT_SCALER_METRICS=True"

자동 확장 서비스 테스트

자동 확장 서비스가 올바르게 작동하는지 확인하려면 Cloud Run 서비스의 로그 탭을 확인합니다. CREMA 자동 확장 처리 서비스는 소비자 작업자 인스턴스를 0에서 확장합니다.

측정항목이 새로고침될 때마다 서비스 로그에 다음 로그가 표시됩니다.

[INFO] [METRIC-PROVIDER] Starting metric collection cycle
[INFO] [METRIC-PROVIDER] Successfully fetched scaled object metrics ...
[INFO] [METRIC-PROVIDER] Sending scale request ...
[INFO] [SCALER] Received ScaleRequest ...
[INFO] [SCALER] Current instances ...
[INFO] [SCALER] Recommended instances ...

Cloud Run은 각 로그 메시지에 메시지를 내보낸 구성요소의 라벨을 지정합니다.

삭제

Google Cloud 계정에 추가 비용이 청구되지 않게 하려면 이 튜토리얼에서 배포한 모든 리소스를 삭제합니다.

프로젝트 삭제

이 튜토리얼용으로 새 프로젝트를 만든 경우 이 프로젝트를 삭제합니다. 기존 프로젝트를 사용했고 이 튜토리얼에 추가된 변경사항을 제외하고 보존하려면 튜토리얼을 위해 만든 리소스를 삭제합니다.

비용이 청구되지 않도록 하는 가장 쉬운 방법은 튜토리얼에서 만든 프로젝트를 삭제하는 것입니다.

프로젝트를 삭제하는 방법은 다음과 같습니다.

주의: 프로젝트를 삭제하면 다음과 같은 결과가 발생합니다.

프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 아키텍처, 튜토리얼 또는 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

Google Cloud 콘솔에서 리소스 관리 페이지로 이동합니다.
리소스 관리로 이동
프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제를 클릭합니다.
대화상자에서 프로젝트 ID를 입력한 후 종료를 클릭하여 프로젝트를 삭제합니다.

튜토리얼 리소스 삭제

이 튜토리얼에서 배포한 Cloud Run 서비스를 삭제합니다. Cloud Run 서비스는 요청을 수신할 때까지 비용을 청구하지 않습니다.

Cloud Run 서비스를 삭제하려면 다음 명령어를 실행합니다.
```
gcloud run services delete SERVICE-NAME
```
SERVICE-NAME를 서비스 이름으로 바꿉니다.

Google Cloud 콘솔에서 Cloud Run 서비스를 삭제할 수도 있습니다.
튜토리얼 설정 중에 추가한 gcloud 기본 리전 구성을 삭제합니다.
```
 gcloud config unset run/region
```
프로젝트 구성을 삭제합니다.
```
 gcloud config unset project
```
이 튜토리얼에서 만든 다른 Google Cloud 리소스를 삭제합니다.
- Cloud Run 작업자 풀 삭제
- Artifact Registry에서 작업자 풀 컨테이너 이미지를 삭제합니다.
- CREMA 서비스 삭제
- 서비스 계정 삭제
- Parameter Manager에서 매개변수 삭제

다음 단계

Cloud Run 작업자 풀 자세히 알아보기
다른 Cloud Run 데모, 튜토리얼, 샘플 살펴보기
CREMA로 기타 KEDA 스케일러를 구성합니다.