이 문서에서는 Google Kubernetes Engine(GKE) 관리형 클러스터 자동 확장 처리를 사용 중지하고 Helm을 사용하여 표준 클러스터에 자체 호스팅 클러스터 자동 확장 처리를 배포하는 방법을 보여줍니다. 자체 호스팅 클러스터 자동 확장 처리를 배포하면 자동 확장 플래그를 맞춤설정하거나, 실험용 매개변수를 테스트하거나, 오픈소스 GKE 클러스터 자동 확장 처리 저장소에서 커스텀 빌드를 실행할 수 있습니다.
이 문서는 클러스터 확장 및 인프라를 관리하고 GKE 관리형 클러스터 자동 확장 처리에서 제공하는 것보다 자동 확장 처리 매개변수를 세밀하게 제어해야 하는 플랫폼 관리자를 대상으로 합니다.
요구사항 및 제한사항
- 자체 호스팅 클러스터 자동 확장 처리는 버전 1.37.2-gke.1042000 이상을 실행하는 GKE Standard 클러스터에서만 지원됩니다.
- 자체 호스팅 클러스터 자동 확장 처리는 Autopilot 클러스터, Autopilot 관리형 노드 풀이 포함된 Standard 클러스터 또는 ComputeClasses에 Autopilot 모드를 사용하는 Standard 클러스터와 호환되지 않습니다.
- 자체 호스팅 클러스터 자동 확장 처리 포드를 호스팅하려면 클러스터에 항상 실행 중인 워커 노드가 하나 이상 있어야 합니다. 자체 호스팅 클러스터 자동 확장 처리를 실행하는 클러스터는 총 노드 수를 0으로 축소할 수 없습니다.
- 자체 호스팅 클러스터 자동 확장 처리 워크로드를 배포, 업데이트, 모니터링할 책임은 사용자에게 있습니다. Cloud Customer Care는 자체 호스팅 또는 커스텀 빌드 클러스터 자동 확장 처리 배포 문제를 해결하지 않습니다. 자동 확장 문제에 대해 고객 지원을 받으려면 GKE 관리형 클러스터 자동 확장 처리로 다시 전환하세요.
- GKE 관리형 자동 확장이 사용 중지된 경우 GKE는 컨트롤 플레인 클러스터 자동 확장 처리 공개 상태 이벤트를
container.googleapis.com/cluster-autoscaler-visibility로그 스트림으로 내보내지 않습니다. 대신 자체 호스팅 클러스터 자동 확장 처리 포드에서 직접 확장 로그와 측정항목을 확인하세요.
시작하기 전에
시작하기 전에 다음 태스크를 수행했는지 확인합니다.
- Google Kubernetes Engine API를 사용 설정합니다. Google Kubernetes Engine API 사용 설정
- 이 태스크에 Google Cloud CLI를 사용하려면 gcloud CLI를 설치한 후 초기화합니다. 이전에 gcloud CLI를 설치했으면
gcloud components update명령어를 실행하여 최신 버전을 가져옵니다. 이전 gcloud CLI 버전에서는 이 문서의 명령어를 실행하지 못할 수 있습니다.
- 버전 1.37.2-gke.1042000 이상을 실행하는 기존 Standard 클러스터가 있고 클러스터와 하나 이상의 노드 풀에서 GKE용 워크로드 아이덴티티 제휴가 사용 설정되어 있는지 확인합니다. 다음 섹션에서 새 클러스터를 만들 수도 있습니다.
- Helm 버전 4.0.0 이상, Git, Go, Docker를 설치합니다.
- Artifact Registry 또는 클러스터가 자체 호스팅 클러스터 자동 확장 처리 컨테이너 이미지를 저장하기 위해 가져올 수 있는 다른 컨테이너 레지스트리에 Docker 저장소가 있는지 확인합니다. 자세한 내용은 Artifact Registry에 Docker 컨테이너 이미지 저장을 참조하세요.
- 클러스터와 통신하도록
kubectl을 구성합니다. 자세한 내용은kubectl설치 및 클러스터 액세스 구성을 참조하세요.
필요한 역할
관리형 자동 확장을 사용 중지하고, Identity and Access Management(IAM) 리소스를 구성하고, 자체 호스팅 클러스터 자동 확장 처리를 배포하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.
-
GKE 클러스터 관리: Kubernetes Engine 관리자(
roles/container.admin) -
커스텀 IAM 역할 만들기: 역할 관리자(
roles/iam.roleAdmin) -
IAM 서비스 계정 생성 및 관리: 서비스 계정 관리자(
roles/iam.serviceAccountAdmin) -
프로젝트에 IAM 역할 부여: 프로젝트 IAM 관리자(
roles/resourcemanager.projectIamAdmin)
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
GKE 관리형 클러스터 자동 확장 처리 사용 중지
자체 호스팅 클러스터 자동 확장 처리를 배포하기 전에 컨트롤 플레인에서 GKE 관리형 클러스터 자동 확장 처리를 사용 중지하여 두 자동 확장 처리 인스턴스 간의 경합 상태를 방지해야 합니다. GKE 관리형 클러스터 자동 확장 처리를 사용 중지하면 컨트롤 플레인이 노드를 확장하지 않습니다. 하지만 GKE는 자체 호스팅 클러스터 자동 확장 처리가 작동할 수 있도록 기존 노드 풀 자동 확장 구성과 ComputeClasses를 보존합니다.
GKE 관리형 클러스터 자동 확장 처리를 사용 중지하려면 다음 단계 중 하나를 완료하세요.
기존 Standard 클러스터에서 GKE 관리형 클러스터 자동 확장 처리를 사용 중지하려면 다음 명령어를 실행합니다.
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --disable-managed-autoscaling클러스터 및 자체 호스팅 클러스터 자동 확장 처리 포드를 호스팅할 하나 이상의 노드 풀에 GKE용 워크로드 아이덴티티 제휴가 아직 사용 설정되지 않은 경우 다음 명령어를 실행합니다.
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-metadata=GKE_METADATA ```
GKE 관리형 클러스터 자동 확장 처리가 이미 사용 중지된 새 Standard 클러스터를 만들려면 다음 명령어를 실행합니다.
gcloud beta container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --disable-managed-autoscaling
다음을 바꿉니다.
CLUSTER_NAME: Standard 클러스터의 이름CONTROL_PLANE_LOCATION: 클러스터의 컨트롤 플레인에 대한 Compute Engine 리전 또는 영역입니다. 리전 클러스터의 경우 리전 또는 영역 클러스터의 경우 영역을 제공합니다.PROJECT_ID: Google Cloud 프로젝트 ID입니다.NODEPOOL_NAME: 자체 호스팅 클러스터 자동 확장 처리 포드를 호스팅할 기존 노드 풀의 이름입니다.CLUSTER_VERSION: 새 클러스터의 GKE 버전이며 1.37.2-gke.1042000 이상이어야 합니다.
GKE 관리형 클러스터 자동 확장 처리가 클러스터에서 사용 중지되었는지 확인하려면 다음 명령어를 실행합니다.
gcloud beta container clusters describe CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--format="value(autoscaling.managedAutoscalingDisabled)"
출력은 True입니다.
자체 호스팅 클러스터 자동 확장 처리에 대한 IAM 권한 구성
자체 호스팅 클러스터 자동 확장 처리를 사용하려면 프로젝트에서 Compute Engine 인스턴스 그룹을 관리하고 클러스터 메타데이터를 읽을 수 있는 IAM 권한이 필요합니다.
최소 권한 커스텀 IAM 역할을 만들고 GKE용 워크로드 아이덴티티 제휴를 사용하여 자동 확장 처리의 Kubernetes ServiceAccount에 바인딩하여 자동 확장 처리에 이러한 권한을 부여합니다.
프로젝트 번호를 검색합니다.
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"이후 단계에서 사용할 수 있도록 출력 값을
PROJECT_NUMBER로 기록합니다.다음 커스텀 IAM 역할 정의를
gcp-role.yaml파일로 저장합니다.프로젝트에서
selfHostedClusterAutoscaler커스텀 IAM 역할을 만듭니다.gcloud iam roles create selfHostedClusterAutoscaler \ --project=PROJECT_ID \ --file=gcp-role.yamlselfhosted-autoscaler라는 IAM 서비스 계정을 만듭니다.gcloud iam service-accounts create selfhosted-autoscaler \ --project=PROJECT_IDselfhosted-autoscalerIAM 서비스 계정에 커스텀 IAM 역할을 부여합니다.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \ --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"클러스터에서 노드 자동 프로비저닝 또는 커스텀 ComputeClasses를 사용하여 새 노드 풀을 만드는 경우
selfhosted-autoscaler서비스 계정에 서비스 계정 사용자 역할(roles/iam.serviceAccountUser)을 부여합니다. 새 노드에서 사용하는 각 IAM 서비스 계정에 대해 다음 명령어를 실행합니다.gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \ --project=PROJECT_ID \ --role="roles/iam.serviceAccountUser" \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"NODE_SA_EMAIL을 노드에서 사용하는 IAM 서비스 계정의 이메일 주소로 바꿉니다. 노드 자동 프로비저닝 기본 서비스 계정과 ComputeClass에 지정하는 모든 서비스 계정에 이 역할을 부여합니다. 커스텀 서비스 계정을 구성하지 않으면 노드 자동 프로비저닝에서 Compute Engine 기본 서비스 계정인PROJECT_NUMBER-compute@developer.gserviceaccount.com를 사용합니다.kube-system네임스페이스의selfhosted-autoscalerKubernetes ServiceAccount가 IAM 서비스 계정을 가장하도록 허용합니다.gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \ --project=PROJECT_ID \ --role="roles/iam.workloadIdentityUser" \ --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
Helm을 사용하여 자체 호스팅 클러스터 자동 확장 처리 배포
오픈소스 GKE 클러스터 자동 확장 처리 저장소의 charts/cluster-autoscaler 디렉터리에서 Helm 차트를 사용하여 자체 호스팅 클러스터 자동 확장 처리를 배포합니다.
클러스터 ID를 검색합니다.
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --project=PROJECT_ID \ --format="value(id)"Helm 구성 파일의 출력 값을
CLUSTER_ID로 기록합니다.GKE 클러스터 자동 확장 처리 저장소를 클론합니다.
git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git클러스터 자동 확장 처리 컨테이너 이미지를 빌드하고 컨테이너 레지스트리에 푸시합니다.
cd cluster-autoscaler make release \ REGISTRY=REGISTRY_PATH \ TAG=IMAGE_TAG다음을 바꿉니다.
REGISTRY_PATH: 컨테이너 레지스트리의 기본 경로입니다(예:LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY).make release명령어는 이미지를 빌드하고REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG에 푸시합니다.IMAGE_TAG: 컨테이너 이미지의 태그입니다(예:37.234.0).
컨테이너 이미지 빌드에 대한 자세한 내용은 GKE 클러스터 자동 확장 처리 저장소를 참조하세요.
Helm 차트 디렉터리로 이동합니다.
cd charts/cluster-autoscalermy-values.yaml파일을 만들어 클러스터 ID, GKE용 워크로드 아이덴티티 제휴 서비스 계정, 자동 확장 처리 매개변수를 구성합니다.image: repository: "REGISTRY_PATH/cluster-autoscaler" tag: "IMAGE_TAG" cluster: name: "CLUSTER_NAME" hash: "CLUSTER_ID" projectNumber: "PROJECT_NUMBER" location: "CONTROL_PLANE_LOCATION" regional: IS_REGIONAL nodeSelector: iam.gke.io/gke-metadata-server-enabled: "true" serviceAccount: name: "selfhosted-autoscaler" gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" config: autoscalingProfile: AUTOSCALING_PROFILE다음을 바꿉니다.
REGISTRY_PATH: 이전 단계의 컨테이너 레지스트리 기본 경로입니다(예:LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY).IMAGE_TAG: 이전 단계에서 푸시한 컨테이너 이미지 태그입니다(예:37.234.0).image.tag필드를 생략하면 Helm 차트는 차트를 패키징할 때 설정한appVersion값으로 기본 설정됩니다.CLUSTER_ID: 이전 단계에서 검색한 클러스터 ID입니다.PROJECT_NUMBER: 이전 단계에서 검색한 프로젝트 번호입니다.IS_REGIONAL: 클러스터가 리전 클러스터인 경우true, 클러스터가 영역 클러스터인 경우false입니다.AUTOSCALING_PROFILE: 적용할 자동 확장 프로필입니다. 균형 있는 확장을 위해default프로필을 지정하거나 활용률이 낮은 노드를 더 적극적으로 축소하려면optimizeUtilization프로필을 지정합니다. 구성 가능한 플래그 및 매개변수의 전체 목록은 GitHub의 기본values.yaml파일을 참조하세요.
실행하려는 클러스터 자동 확장 처리 구성요소 버전으로 Helm 차트를 패키징하고
kube-system네임스페이스에 차트를 설치합니다.helm package \ --version=CA_VERSION \ --app-version=CA_VERSION . helm upgrade --install selfhosted-ca \ cluster-autoscaler-CA_VERSION.tgz \ --namespace=kube-system \ -f my-values.yamlCA_VERSION을<minor>.<ca-version>.<patch>형식의 클러스터 자동 확장 처리 구성요소 버전으로 바꿉니다(예:37.234.0). 차트는 이 버전을 사용하여values.yaml파일에서 사용 설정할 자동 확장 처리 실험을 결정합니다.
자체 호스팅 클러스터 자동 확장 처리 배포 확인
Helm 차트를 설치한 후 자체 호스팅 클러스터 자동 확장 처리 포드가 실행 중이고 클러스터를 적극적으로 모니터링하는지 확인합니다.
자체 호스팅 클러스터 자동 확장 처리 포드가
Running상태인지 확인합니다.kubectl get pods -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca출력은 다음과 비슷합니다.
NAME READY STATUS RESTARTS AGE selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k 1/1 Running 0 2m자체 호스팅 클러스터 자동 확장 처리 포드의 로그를 검사하여 인증 오류 없이 시작되는지 확인합니다.
kubectl logs -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca \ --tail=50cluster-autoscaler-statusConfigMap을 확인하여 자동 확장 처리가 보고하는 현재 확장 상태를 확인합니다.kubectl get configmap cluster-autoscaler-status \ -n kube-system -o yaml
GKE 관리형 클러스터 자동 확장 처리로 다시 전환
GKE 관리형 클러스터 자동 확장 처리로 돌아가려면 컨트롤 플레인에서 관리형 자동 확장을 다시 사용 설정하기 전에 자체 호스팅 배포를 삭제합니다.
자체 호스팅 클러스터 자동 확장 처리 Helm 출시 버전을 제거합니다.
helm uninstall selfhosted-ca --namespace=kube-system클러스터에서 GKE 관리형 클러스터 자동 확장 처리를 다시 사용 설정합니다.
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-managed-autoscalingGKE 관리형 클러스터 자동 확장 처리가 사용 설정되어 있는지 확인합니다.
gcloud beta container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="value(autoscaling.managedAutoscalingDisabled)"출력이 비어 있거나
False입니다.
다음 단계
- 클러스터 자동 확장 처리 작동 방식 자세히 알아보기
- 노드 풀에 대해 클러스터 자동 확장을 구성하는 방법을 알아봅니다.
- 오픈소스 GKE 클러스터 자동 확장 처리 저장소 및 Helm 차트 살펴보기