자체 호스팅 클러스터 자동 확장 처리 배포

이 문서에서는 Google Kubernetes Engine(GKE) 관리형 클러스터 자동 확장 처리를 사용 중지하고 Helm을 사용하여 표준 클러스터에 자체 호스팅 클러스터 자동 확장 처리를 배포하는 방법을 보여줍니다. 자체 호스팅 클러스터 자동 확장 처리를 배포하면 자동 확장 플래그를 맞춤설정하거나, 실험용 매개변수를 테스트하거나, 오픈소스 GKE 클러스터 자동 확장 처리 저장소에서 커스텀 빌드를 실행할 수 있습니다.

이 문서는 클러스터 확장 및 인프라를 관리하고 GKE 관리형 클러스터 자동 확장 처리에서 제공하는 것보다 자동 확장 처리 매개변수를 세밀하게 제어해야 하는 플랫폼 관리자를 대상으로 합니다.

요구사항 및 제한사항

  • 자체 호스팅 클러스터 자동 확장 처리는 버전 1.37.2-gke.1042000 이상을 실행하는 GKE Standard 클러스터에서만 지원됩니다.
  • 자체 호스팅 클러스터 자동 확장 처리는 Autopilot 클러스터, Autopilot 관리형 노드 풀이 포함된 Standard 클러스터 또는 ComputeClasses에 Autopilot 모드를 사용하는 Standard 클러스터와 호환되지 않습니다.
  • 자체 호스팅 클러스터 자동 확장 처리 포드를 호스팅하려면 클러스터에 항상 실행 중인 워커 노드가 하나 이상 있어야 합니다. 자체 호스팅 클러스터 자동 확장 처리를 실행하는 클러스터는 총 노드 수를 0으로 축소할 수 없습니다.
  • 자체 호스팅 클러스터 자동 확장 처리 워크로드를 배포, 업데이트, 모니터링할 책임은 사용자에게 있습니다. Cloud Customer Care는 자체 호스팅 또는 커스텀 빌드 클러스터 자동 확장 처리 배포 문제를 해결하지 않습니다. 자동 확장 문제에 대해 고객 지원을 받으려면 GKE 관리형 클러스터 자동 확장 처리로 다시 전환하세요.
  • GKE 관리형 자동 확장이 사용 중지된 경우 GKE는 컨트롤 플레인 클러스터 자동 확장 처리 공개 상태 이벤트를 container.googleapis.com/cluster-autoscaler-visibility 로그 스트림으로 내보내지 않습니다. 대신 자체 호스팅 클러스터 자동 확장 처리 포드에서 직접 확장 로그와 측정항목을 확인하세요.

시작하기 전에

시작하기 전에 다음 태스크를 수행했는지 확인합니다.

  • Google Kubernetes Engine API를 사용 설정합니다.
  • Google Kubernetes Engine API 사용 설정
  • 이 태스크에 Google Cloud CLI를 사용하려면 gcloud CLI를 설치한 후 초기화합니다. 이전에 gcloud CLI를 설치했으면 gcloud components update 명령어를 실행하여 최신 버전을 가져옵니다. 이전 gcloud CLI 버전에서는 이 문서의 명령어를 실행하지 못할 수 있습니다.

필요한 역할

관리형 자동 확장을 사용 중지하고, Identity and Access Management(IAM) 리소스를 구성하고, 자체 호스팅 클러스터 자동 확장 처리를 배포하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

GKE 관리형 클러스터 자동 확장 처리 사용 중지

자체 호스팅 클러스터 자동 확장 처리를 배포하기 전에 컨트롤 플레인에서 GKE 관리형 클러스터 자동 확장 처리를 사용 중지하여 두 자동 확장 처리 인스턴스 간의 경합 상태를 방지해야 합니다. GKE 관리형 클러스터 자동 확장 처리를 사용 중지하면 컨트롤 플레인이 노드를 확장하지 않습니다. 하지만 GKE는 자체 호스팅 클러스터 자동 확장 처리가 작동할 수 있도록 기존 노드 풀 자동 확장 구성과 ComputeClasses를 보존합니다.

GKE 관리형 클러스터 자동 확장 처리를 사용 중지하려면 다음 단계 중 하나를 완료하세요.

  • 기존 Standard 클러스터에서 GKE 관리형 클러스터 자동 확장 처리를 사용 중지하려면 다음 명령어를 실행합니다.

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --disable-managed-autoscaling
    

    클러스터 및 자체 호스팅 클러스터 자동 확장 처리 포드를 호스팅할 하나 이상의 노드 풀에 GKE용 워크로드 아이덴티티 제휴가 아직 사용 설정되지 않은 경우 다음 명령어를 실행합니다.

    gcloud container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-pool=PROJECT_ID.svc.id.goog
    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-metadata=GKE_METADATA
        ```
    
  • GKE 관리형 클러스터 자동 확장 처리가 이미 사용 중지된 새 Standard 클러스터를 만들려면 다음 명령어를 실행합니다.

    gcloud beta container clusters create CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --cluster-version=CLUSTER_VERSION \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --disable-managed-autoscaling
    

다음을 바꿉니다.

  • CLUSTER_NAME: Standard 클러스터의 이름
  • CONTROL_PLANE_LOCATION: 클러스터의 컨트롤 플레인에 대한 Compute Engine 리전 또는 영역입니다. 리전 클러스터의 경우 리전 또는 영역 클러스터의 경우 영역을 제공합니다.
  • PROJECT_ID: Google Cloud 프로젝트 ID입니다.
  • NODEPOOL_NAME: 자체 호스팅 클러스터 자동 확장 처리 포드를 호스팅할 기존 노드 풀의 이름입니다.
  • CLUSTER_VERSION: 새 클러스터의 GKE 버전이며 1.37.2-gke.1042000 이상이어야 합니다.

GKE 관리형 클러스터 자동 확장 처리가 클러스터에서 사용 중지되었는지 확인하려면 다음 명령어를 실행합니다.

gcloud beta container clusters describe CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --format="value(autoscaling.managedAutoscalingDisabled)"

출력은 True입니다.

자체 호스팅 클러스터 자동 확장 처리에 대한 IAM 권한 구성

자체 호스팅 클러스터 자동 확장 처리를 사용하려면 프로젝트에서 Compute Engine 인스턴스 그룹을 관리하고 클러스터 메타데이터를 읽을 수 있는 IAM 권한이 필요합니다.

최소 권한 커스텀 IAM 역할을 만들고 GKE용 워크로드 아이덴티티 제휴를 사용하여 자동 확장 처리의 Kubernetes ServiceAccount에 바인딩하여 자동 확장 처리에 이러한 권한을 부여합니다.

  1. 프로젝트 번호를 검색합니다.

    gcloud projects describe PROJECT_ID \
        --format="value(projectNumber)"
    

    이후 단계에서 사용할 수 있도록 출력 값을 PROJECT_NUMBER로 기록합니다.

  2. 다음 커스텀 IAM 역할 정의를 gcp-role.yaml 파일로 저장합니다.

    title: Self Hosted Cluster Autoscaler Role
    description: Least privilege role for self-hosted CA to manage GKE clusters
    stage: BETA
    includedPermissions:
    - compute.acceleratorTypes.list
    - compute.instanceGroupManagers.get
    - compute.instanceGroupManagers.list
    - compute.instanceGroupManagers.update
    - compute.instanceTemplates.get
    - compute.instances.delete
    - compute.instances.get
    - compute.instances.list
    - compute.instances.setMetadata
    - compute.machineTypes.get
    - compute.machineTypes.list
    - compute.regions.get
    - compute.regions.list
    - compute.reservations.list
    - compute.resourcePolicies.list
    - compute.zoneOperations.get
    - compute.zones.get
    - compute.zones.list
    - container.clusters.get
    - container.clusters.update
    - container.operations.get
  3. 프로젝트에서 selfHostedClusterAutoscaler 커스텀 IAM 역할을 만듭니다.

    gcloud iam roles create selfHostedClusterAutoscaler \
        --project=PROJECT_ID \
        --file=gcp-role.yaml
    
  4. selfhosted-autoscaler라는 IAM 서비스 계정을 만듭니다.

    gcloud iam service-accounts create selfhosted-autoscaler \
        --project=PROJECT_ID
    
  5. selfhosted-autoscaler IAM 서비스 계정에 커스텀 IAM 역할을 부여합니다.

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \
        --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"
    
  6. 클러스터에서 노드 자동 프로비저닝 또는 커스텀 ComputeClasses를 사용하여 새 노드 풀을 만드는 경우 selfhosted-autoscaler 서비스 계정에 서비스 계정 사용자 역할(roles/iam.serviceAccountUser)을 부여합니다. 새 노드에서 사용하는 각 IAM 서비스 계정에 대해 다음 명령어를 실행합니다.

    gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \
        --project=PROJECT_ID \
        --role="roles/iam.serviceAccountUser" \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    

    NODE_SA_EMAIL을 노드에서 사용하는 IAM 서비스 계정의 이메일 주소로 바꿉니다. 노드 자동 프로비저닝 기본 서비스 계정과 ComputeClass에 지정하는 모든 서비스 계정에 이 역할을 부여합니다. 커스텀 서비스 계정을 구성하지 않으면 노드 자동 프로비저닝에서 Compute Engine 기본 서비스 계정인 PROJECT_NUMBER-compute@developer.gserviceaccount.com를 사용합니다.

  7. kube-system 네임스페이스의 selfhosted-autoscaler Kubernetes ServiceAccount가 IAM 서비스 계정을 가장하도록 허용합니다.

    gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \
        --project=PROJECT_ID \
        --role="roles/iam.workloadIdentityUser" \
        --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
    

Helm을 사용하여 자체 호스팅 클러스터 자동 확장 처리 배포

오픈소스 GKE 클러스터 자동 확장 처리 저장소의 charts/cluster-autoscaler 디렉터리에서 Helm 차트를 사용하여 자체 호스팅 클러스터 자동 확장 처리를 배포합니다.

  1. 클러스터 ID를 검색합니다.

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --project=PROJECT_ID \
        --format="value(id)"
    

    Helm 구성 파일의 출력 값을 CLUSTER_ID로 기록합니다.

  2. GKE 클러스터 자동 확장 처리 저장소를 클론합니다.

    git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git
    
  3. 클러스터 자동 확장 처리 컨테이너 이미지를 빌드하고 컨테이너 레지스트리에 푸시합니다.

    cd cluster-autoscaler
    make release \
        REGISTRY=REGISTRY_PATH \
        TAG=IMAGE_TAG
    

    다음을 바꿉니다.

    • REGISTRY_PATH: 컨테이너 레지스트리의 기본 경로입니다(예: LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY). make release 명령어는 이미지를 빌드하고 REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG에 푸시합니다.
    • IMAGE_TAG: 컨테이너 이미지의 태그입니다(예: 37.234.0).

    컨테이너 이미지 빌드에 대한 자세한 내용은 GKE 클러스터 자동 확장 처리 저장소를 참조하세요.

  4. Helm 차트 디렉터리로 이동합니다.

    cd charts/cluster-autoscaler
    
  5. my-values.yaml 파일을 만들어 클러스터 ID, GKE용 워크로드 아이덴티티 제휴 서비스 계정, 자동 확장 처리 매개변수를 구성합니다.

    image:
      repository: "REGISTRY_PATH/cluster-autoscaler"
      tag: "IMAGE_TAG"
    
    cluster:
      name: "CLUSTER_NAME"
      hash: "CLUSTER_ID"
      projectNumber: "PROJECT_NUMBER"
      location: "CONTROL_PLANE_LOCATION"
      regional: IS_REGIONAL
    
    nodeSelector:
      iam.gke.io/gke-metadata-server-enabled: "true"
    
    serviceAccount:
      name: "selfhosted-autoscaler"
      gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    
    config:
      autoscalingProfile: AUTOSCALING_PROFILE
    

    다음을 바꿉니다.

    • REGISTRY_PATH: 이전 단계의 컨테이너 레지스트리 기본 경로입니다(예: LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY).
    • IMAGE_TAG: 이전 단계에서 푸시한 컨테이너 이미지 태그입니다(예: 37.234.0). image.tag 필드를 생략하면 Helm 차트는 차트를 패키징할 때 설정한 appVersion 값으로 기본 설정됩니다.
    • CLUSTER_ID: 이전 단계에서 검색한 클러스터 ID입니다.
    • PROJECT_NUMBER: 이전 단계에서 검색한 프로젝트 번호입니다.
    • IS_REGIONAL: 클러스터가 리전 클러스터인 경우 true, 클러스터가 영역 클러스터인 경우 false입니다.
    • AUTOSCALING_PROFILE: 적용할 자동 확장 프로필입니다. 균형 있는 확장을 위해 default 프로필을 지정하거나 활용률이 낮은 노드를 더 적극적으로 축소하려면 optimizeUtilization 프로필을 지정합니다. 구성 가능한 플래그 및 매개변수의 전체 목록은 GitHub의 기본 values.yaml 파일을 참조하세요.
  6. 실행하려는 클러스터 자동 확장 처리 구성요소 버전으로 Helm 차트를 패키징하고 kube-system 네임스페이스에 차트를 설치합니다.

    helm package \
        --version=CA_VERSION \
        --app-version=CA_VERSION .
    helm upgrade --install selfhosted-ca \
        cluster-autoscaler-CA_VERSION.tgz \
        --namespace=kube-system \
        -f my-values.yaml
    

    CA_VERSION을 <minor>.<ca-version>.<patch> 형식의 클러스터 자동 확장 처리 구성요소 버전으로 바꿉니다(예: 37.234.0). 차트는 이 버전을 사용하여 values.yaml 파일에서 사용 설정할 자동 확장 처리 실험을 결정합니다.

자체 호스팅 클러스터 자동 확장 처리 배포 확인

Helm 차트를 설치한 후 자체 호스팅 클러스터 자동 확장 처리 포드가 실행 중이고 클러스터를 적극적으로 모니터링하는지 확인합니다.

  1. 자체 호스팅 클러스터 자동 확장 처리 포드가 Running 상태인지 확인합니다.

    kubectl get pods -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca
    

    출력은 다음과 비슷합니다.

    NAME                                                READY   STATUS    RESTARTS   AGE
    selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k   1/1     Running   0          2m
    
  2. 자체 호스팅 클러스터 자동 확장 처리 포드의 로그를 검사하여 인증 오류 없이 시작되는지 확인합니다.

    kubectl logs -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca \
        --tail=50
    
  3. cluster-autoscaler-status ConfigMap을 확인하여 자동 확장 처리가 보고하는 현재 확장 상태를 확인합니다.

    kubectl get configmap cluster-autoscaler-status \
        -n kube-system -o yaml
    

GKE 관리형 클러스터 자동 확장 처리로 다시 전환

GKE 관리형 클러스터 자동 확장 처리로 돌아가려면 컨트롤 플레인에서 관리형 자동 확장을 다시 사용 설정하기 전에 자체 호스팅 배포를 삭제합니다.

  1. 자체 호스팅 클러스터 자동 확장 처리 Helm 출시 버전을 제거합니다.

    helm uninstall selfhosted-ca --namespace=kube-system
    
  2. 클러스터에서 GKE 관리형 클러스터 자동 확장 처리를 다시 사용 설정합니다.

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --enable-managed-autoscaling
    
  3. GKE 관리형 클러스터 자동 확장 처리가 사용 설정되어 있는지 확인합니다.

    gcloud beta container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="value(autoscaling.managedAutoscalingDisabled)"
    

    출력이 비어 있거나 False입니다.

다음 단계