このドキュメントでは、Google Kubernetes Engine(GKE)マネージド クラスタ オートスケーラーを無効にし、Helm を使用してセルフホスト型クラスタ オートスケーラーを Standard クラスタにデプロイする方法について説明します。セルフホスト型のクラスタ オートスケーラーをデプロイすると、自動スケーリング フラグのカスタマイズ、試験運用版パラメータのテスト、オープンソースの GKE クラスタ オートスケーラー リポジトリからのカスタムビルドの実行が可能になります。
このドキュメントは、クラスタのスケーリングとインフラストラクチャを管理し、GKE マネージド クラスタ オートスケーラーが提供する機能よりもきめ細かいオートスケーラー パラメータの制御を必要とするプラットフォーム管理者を対象としています。
要件と制限事項
- セルフホスト型クラスタ オートスケーラーは、バージョン 1.37.2-gke.1042000 以降を実行する GKE Standard クラスタでのみサポートされます。
- セルフホスト型のクラスタ オートスケーラーは、Autopilot クラスタ、Autopilot が管理するノードプールを含む Standard クラスタ、ComputeClass の Autopilot モードを使用する Standard クラスタと互換性がありません。
- セルフホスト型クラスタ オートスケーラー Pod をホストするには、クラスタに少なくとも 1 つの実行中のワーカーノードが常に存在する必要があります。セルフホスト型のクラスタ オートスケーラーを実行するクラスタは、合計ノード数をゼロにスケールダウンできません。
- セルフホスト型クラスタ オートスケーラー ワークロードのデプロイ、更新、モニタリングは、お客様の責任となります。Cloud カスタマーケアは、セルフホスト型またはカスタムビルドのクラスタ オートスケーラーのデプロイに関するトラブルシューティングは行いません。自動スケーリングの問題についてカスタマーケアのサポートを受けるには、GKE マネージド クラスタ オートスケーラーに切り替えます。
- GKE マネージド自動スケーリングが無効になっている場合、GKE はコントロール プレーンのクラスタ オートスケーラーの可視性イベントを
container.googleapis.com/cluster-autoscaler-visibilityログストリームに出力しません。代わりに、セルフホスト型クラスタ オートスケーラー Pod から直接スケーリング ログと指標を表示します。
始める前に
作業を始める前に、次のタスクが完了していることを確認してください。
- Google Kubernetes Engine API を有効にする。 Google Kubernetes Engine API を有効化
- このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化します。gcloud CLI をインストール済みの場合は、
gcloud components updateコマンドを実行して最新のバージョンを取得します。以前のバージョンの gcloud CLI では、このドキュメントのコマンドを実行できない場合があります。
- バージョン 1.37.2-gke.1042000 以降を実行している既存の Standard クラスタがあり、クラスタと少なくとも 1 つのノードプールで Workload Identity Federation for GKE が有効になっていることを確認します。次のセクションで新しいクラスタを作成することもできます。
- Helm バージョン 4.0.0 以降、Git、Go、Docker をインストールします。
- Artifact Registry または別のコンテナ レジストリに Docker リポジトリがあり、クラスタが pull してセルフホスト型クラスタ オートスケーラー コンテナ イメージを保存できることを確認します。詳細については、Artifact Registry に Docker コンテナ イメージを保存するをご覧ください。
- クラスタと通信するように
kubectlを構成します。詳細については、kubectlをインストールしてクラスタ アクセスを構成するをご覧ください。
必要なロール
マネージド自動スケーリングを無効にし、Identity and Access Management(IAM)リソースを構成して、セルフホスト型クラスタ オートスケーラーをデプロイするために必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。
-
GKE クラスタを管理する: Kubernetes Engine 管理者 (
roles/container.admin) -
カスタム IAM ロールを作成する: ロール管理者(
roles/iam.roleAdmin) -
IAM サービス アカウントを作成して管理する: サービス アカウント管理者(
roles/iam.serviceAccountAdmin) -
プロジェクトに IAM ロールを付与する: プロジェクト IAM 管理者 (
roles/resourcemanager.projectIamAdmin)
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
GKE マネージド クラスタ オートスケーラーを無効にする
セルフホスト型のクラスタ オートスケーラーをデプロイする前に、コントロール プレーンで GKE マネージド クラスタ オートスケーラーを無効にして、2 つのオートスケーラー インスタンス間の競合状態を防止する必要があります。GKE マネージド クラスタ オートスケーラーを無効にすると、コントロール プレーンによるノードのスケーリングが停止します。ただし、GKE は既存のノードプールの自動スケーリング構成と ComputeClasses を保持するため、セルフホスト型クラスタ オートスケーラーはそれらに基づいて動作できます。
GKE マネージド クラスタ オートスケーラーを無効にするには、次のいずれかの操作を行います。
既存の Standard クラスタで GKE マネージド クラスタ オートスケーラーを無効にするには、次のコマンドを実行します。
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --disable-managed-autoscalingクラスタと、セルフホスト型クラスタ オートスケーラー Pod をホストする少なくとも 1 つのノードプールで Workload Identity Federation for GKE がまだ有効になっていない場合は、次のコマンドを実行します。
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-metadata=GKE_METADATA ```
GKE マネージド クラスタ オートスケーラーが無効になっている新しい Standard クラスタを作成するには、次のコマンドを実行します。
gcloud beta container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --disable-managed-autoscaling
次のように置き換えます。
CLUSTER_NAME: Standard クラスタの名前。CONTROL_PLANE_LOCATION: クラスタのコントロール プレーンの Compute Engine のリージョンまたはゾーン。リージョン クラスタの場合はリージョン、ゾーンクラスタの場合はゾーンを指定します。PROJECT_ID: 実際の Google Cloud プロジェクト ID。NODEPOOL_NAME: セルフホスト型クラスタ オートスケーラー Pod をホストする既存のノードプールの名前。CLUSTER_VERSION: 新しいクラスタの GKE バージョン。1.37.2-gke.1042000 以降にする必要があります。
クラスタで GKE マネージド クラスタ オートスケーラーが無効になっていることを確認するには、次のコマンドを実行します。
gcloud beta container clusters describe CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--format="value(autoscaling.managedAutoscalingDisabled)"
出力は True です。
セルフホスト型クラスタ オートスケーラーの IAM 権限を構成する
セルフホスト型クラスタ オートスケーラーには、Compute Engine インスタンス グループを管理し、プロジェクト内のクラスタ メタデータを読み取るための IAM 権限が必要です。
最小権限のカスタム IAM ロールを作成し、Workload Identity Federation for GKE を使用してオートスケーラーの Kubernetes ServiceAccount にバインドすることで、オートスケーラーにこれらの権限を付与します。
プロジェクト番号を取得します。
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"出力値を
PROJECT_NUMBERとして記録し、後の手順で使用します。次のカスタム IAM ロール定義を
gcp-role.yamlファイルとして保存します。プロジェクトに
selfHostedClusterAutoscalerカスタム IAM ロールを作成します。gcloud iam roles create selfHostedClusterAutoscaler \ --project=PROJECT_ID \ --file=gcp-role.yamlselfhosted-autoscalerという名前の IAM サービス アカウントを作成します。gcloud iam service-accounts create selfhosted-autoscaler \ --project=PROJECT_IDselfhosted-autoscalerIAM サービス アカウントにカスタム IAM ロールを付与します。gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \ --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"クラスタがノード自動プロビジョニングまたはカスタム ComputeClass を使用して新しいノードプールを作成する場合は、
selfhosted-autoscalerサービス アカウントにサービス アカウント ユーザーロール(roles/iam.serviceAccountUser)を付与します。新しいノードで使用する IAM サービス アカウントごとに次のコマンドを実行します。gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \ --project=PROJECT_ID \ --role="roles/iam.serviceAccountUser" \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"NODE_SA_EMAILは、ノードが使用する IAM サービス アカウントのメールアドレスに置き換えます。このロールは、ノード自動プロビジョニングのデフォルト サービス アカウントと、ComputeClass で指定するサービス アカウントに付与します。カスタム サービス アカウントを構成しない限り、ノード自動プロビジョニングでは Compute Engine のデフォルトのサービス アカウントPROJECT_NUMBER-compute@developer.gserviceaccount.comが使用されます。kube-systemNamespace のselfhosted-autoscalerKubernetes ServiceAccount が IAM サービス アカウントの権限を借用できるようにします。gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \ --project=PROJECT_ID \ --role="roles/iam.workloadIdentityUser" \ --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
Helm を使用してセルフホスト型クラスタ オートスケーラーをデプロイする
オープンソースの GKE クラスタ オートスケーラー リポジトリの charts/cluster-autoscaler ディレクトリにある Helm チャートを使用して、セルフホスト型クラスタ オートスケーラーをデプロイします。
クラスタ ID を取得します。
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --project=PROJECT_ID \ --format="value(id)"Helm 構成ファイルの出力値を
CLUSTER_IDとして記録します。GKE クラスタ オートスケーラー リポジトリのクローンを作成します。
git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.gitクラスタ オートスケーラーのコンテナ イメージをビルドして、コンテナ レジストリに push します。
cd cluster-autoscaler make release \ REGISTRY=REGISTRY_PATH \ TAG=IMAGE_TAG次のように置き換えます。
REGISTRY_PATH: コンテナ レジストリのベースパス(LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORYなど)。make releaseコマンドは、イメージをビルドしてREGISTRY_PATH/cluster-autoscaler:IMAGE_TAGに push します。IMAGE_TAG: コンテナ イメージのタグ(37.234.0など)。
コンテナ イメージのビルドの詳細については、GKE クラスタ オートスケーラー リポジトリをご覧ください。
Helm チャートのディレクトリに移動します。
cd charts/cluster-autoscalermy-values.yamlファイルを作成して、クラスタ ID、Workload Identity Federation for GKE サービス アカウント、オートスケーラー パラメータを構成します。image: repository: "REGISTRY_PATH/cluster-autoscaler" tag: "IMAGE_TAG" cluster: name: "CLUSTER_NAME" hash: "CLUSTER_ID" projectNumber: "PROJECT_NUMBER" location: "CONTROL_PLANE_LOCATION" regional: IS_REGIONAL nodeSelector: iam.gke.io/gke-metadata-server-enabled: "true" serviceAccount: name: "selfhosted-autoscaler" gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" config: autoscalingProfile: AUTOSCALING_PROFILE次のように置き換えます。
REGISTRY_PATH: 前の手順で取得したコンテナ レジストリのベースパス(LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORYなど)。IMAGE_TAG: 前の手順で push したコンテナ イメージタグ(37.234.0など)。image.tagフィールドを省略すると、Helm チャートはデフォルトで、チャートのパッケージ化時に設定したappVersion値になります。CLUSTER_ID: 前の手順で取得したクラスタ ID。PROJECT_NUMBER: 前の手順で取得したプロジェクト番号。IS_REGIONAL: クラスタがリージョン クラスタの場合はtrue、クラスタがゾーンクラスタの場合はfalse。AUTOSCALING_PROFILE: 適用する自動スケーリング プロファイル。バランスの取れたスケーリングを行うにはdefaultプロファイルを指定し、使用率の低いノードをより積極的にスケールダウンするにはoptimizeUtilizationプロファイルを指定します。構成可能なフラグとパラメータの完全なリストについては、GitHub のデフォルトのvalues.yamlファイルをご覧ください。
実行するクラスタ オートスケーラー コンポーネントのバージョンで Helm チャートをパッケージ化し、
kube-systemNamespace にチャートをインストールします。helm package \ --version=CA_VERSION \ --app-version=CA_VERSION . helm upgrade --install selfhosted-ca \ cluster-autoscaler-CA_VERSION.tgz \ --namespace=kube-system \ -f my-values.yamlCA_VERSIONは、クラスタ オートスケーラー コンポーネントのバージョンに置き換えます。形式は<minor>.<ca-version>.<patch>です(例:37.234.0)。このバージョンを使用して、values.yamlファイルから有効にするオートスケーラー テストを決定します。
セルフホスト型クラスタ オートスケーラーのデプロイを確認する
Helm チャートをインストールしたら、セルフホスト型クラスタ オートスケーラー Pod が実行され、クラスタをアクティブにモニタリングしていることを確認します。
セルフホスト型クラスタ オートスケーラー Pod が
Running状態であることを確認します。kubectl get pods -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca出力は次のようになります。
NAME READY STATUS RESTARTS AGE selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k 1/1 Running 0 2mセルフホスト型クラスタ オートスケーラー Pod のログを調べて、認証エラーなしで起動することを確認します。
kubectl logs -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca \ --tail=50cluster-autoscaler-statusConfigMap を確認して、オートスケーラーが報告する現在のスケーリング ステータスを表示します。kubectl get configmap cluster-autoscaler-status \ -n kube-system -o yaml
GKE マネージド クラスタ オートスケーラーに切り替える
GKE マネージド クラスタ オートスケーラーに戻るには、セルフホスト型デプロイを削除してから、コントロール プレーンでマネージド自動スケーリングを再度有効にします。
セルフホスト型クラスタ オートスケーラーの Helm リリースをアンインストールします。
helm uninstall selfhosted-ca --namespace=kube-systemクラスタで GKE マネージド クラスタ オートスケーラーを再度有効にします。
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-managed-autoscalingGKE マネージド クラスタ オートスケーラーが有効になっていることを確認します。
gcloud beta container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="value(autoscaling.managedAutoscalingDisabled)"出力は空または
Falseです。
次のステップ
- クラスタ オートスケーラーの仕組みについて学習する。
- ノードプールのクラスタ自動スケーリングを構成する方法を確認する。
- オープンソースの GKE クラスタ オートスケーラー リポジトリと Helm チャートを確認する。