セルフホスト型クラスタ オートスケーラーをデプロイする

このドキュメントでは、Google Kubernetes Engine(GKE)マネージド クラスタ オートスケーラーを無効にし、Helm を使用してセルフホスト型クラスタ オートスケーラーを Standard クラスタにデプロイする方法について説明します。セルフホスト型のクラスタ オートスケーラーをデプロイすると、自動スケーリング フラグのカスタマイズ、試験運用版パラメータのテスト、オープンソースの GKE クラスタ オートスケーラー リポジトリからのカスタムビルドの実行が可能になります。

このドキュメントは、クラスタのスケーリングとインフラストラクチャを管理し、GKE マネージド クラスタ オートスケーラーが提供する機能よりもきめ細かいオートスケーラー パラメータの制御を必要とするプラットフォーム管理者を対象としています。

要件と制限事項

  • セルフホスト型クラスタ オートスケーラーは、バージョン 1.37.2-gke.1042000 以降を実行する GKE Standard クラスタでのみサポートされます。
  • セルフホスト型のクラスタ オートスケーラーは、Autopilot クラスタ、Autopilot が管理するノードプールを含む Standard クラスタ、ComputeClass の Autopilot モードを使用する Standard クラスタと互換性がありません。
  • セルフホスト型クラスタ オートスケーラー Pod をホストするには、クラスタに少なくとも 1 つの実行中のワーカーノードが常に存在する必要があります。セルフホスト型のクラスタ オートスケーラーを実行するクラスタは、合計ノード数をゼロにスケールダウンできません。
  • セルフホスト型クラスタ オートスケーラー ワークロードのデプロイ、更新、モニタリングは、お客様の責任となります。Cloud カスタマーケアは、セルフホスト型またはカスタムビルドのクラスタ オートスケーラーのデプロイに関するトラブルシューティングは行いません。自動スケーリングの問題についてカスタマーケアのサポートを受けるには、GKE マネージド クラスタ オートスケーラーに切り替えます。
  • GKE マネージド自動スケーリングが無効になっている場合、GKE はコントロール プレーンのクラスタ オートスケーラーの可視性イベントを container.googleapis.com/cluster-autoscaler-visibility ログストリームに出力しません。代わりに、セルフホスト型クラスタ オートスケーラー Pod から直接スケーリング ログと指標を表示します。

始める前に

作業を始める前に、次のタスクが完了していることを確認してください。

  • Google Kubernetes Engine API を有効にする。
  • Google Kubernetes Engine API を有効化
  • このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化します。gcloud CLI をインストール済みの場合は、gcloud components update コマンドを実行して最新のバージョンを取得します。以前のバージョンの gcloud CLI では、このドキュメントのコマンドを実行できない場合があります。

必要なロール

マネージド自動スケーリングを無効にし、Identity and Access Management(IAM)リソースを構成して、セルフホスト型クラスタ オートスケーラーをデプロイするために必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

GKE マネージド クラスタ オートスケーラーを無効にする

セルフホスト型のクラスタ オートスケーラーをデプロイする前に、コントロール プレーンで GKE マネージド クラスタ オートスケーラーを無効にして、2 つのオートスケーラー インスタンス間の競合状態を防止する必要があります。GKE マネージド クラスタ オートスケーラーを無効にすると、コントロール プレーンによるノードのスケーリングが停止します。ただし、GKE は既存のノードプールの自動スケーリング構成と ComputeClasses を保持するため、セルフホスト型クラスタ オートスケーラーはそれらに基づいて動作できます。

GKE マネージド クラスタ オートスケーラーを無効にするには、次のいずれかの操作を行います。

  • 既存の Standard クラスタで GKE マネージド クラスタ オートスケーラーを無効にするには、次のコマンドを実行します。

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --disable-managed-autoscaling
    

    クラスタと、セルフホスト型クラスタ オートスケーラー Pod をホストする少なくとも 1 つのノードプールで Workload Identity Federation for GKE がまだ有効になっていない場合は、次のコマンドを実行します。

    gcloud container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-pool=PROJECT_ID.svc.id.goog
    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-metadata=GKE_METADATA
        ```
    
  • GKE マネージド クラスタ オートスケーラーが無効になっている新しい Standard クラスタを作成するには、次のコマンドを実行します。

    gcloud beta container clusters create CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --cluster-version=CLUSTER_VERSION \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --disable-managed-autoscaling
    

次のように置き換えます。

  • CLUSTER_NAME: Standard クラスタの名前。
  • CONTROL_PLANE_LOCATION: クラスタのコントロール プレーンの Compute Engine のリージョンまたはゾーン。リージョン クラスタの場合はリージョン、ゾーンクラスタの場合はゾーンを指定します。
  • PROJECT_ID: 実際の Google Cloud プロジェクト ID。
  • NODEPOOL_NAME: セルフホスト型クラスタ オートスケーラー Pod をホストする既存のノードプールの名前。
  • CLUSTER_VERSION: 新しいクラスタの GKE バージョン。1.37.2-gke.1042000 以降にする必要があります。

クラスタで GKE マネージド クラスタ オートスケーラーが無効になっていることを確認するには、次のコマンドを実行します。

gcloud beta container clusters describe CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --format="value(autoscaling.managedAutoscalingDisabled)"

出力は True です。

セルフホスト型クラスタ オートスケーラーの IAM 権限を構成する

セルフホスト型クラスタ オートスケーラーには、Compute Engine インスタンス グループを管理し、プロジェクト内のクラスタ メタデータを読み取るための IAM 権限が必要です。

最小権限のカスタム IAM ロールを作成し、Workload Identity Federation for GKE を使用してオートスケーラーの Kubernetes ServiceAccount にバインドすることで、オートスケーラーにこれらの権限を付与します。

  1. プロジェクト番号を取得します。

    gcloud projects describe PROJECT_ID \
        --format="value(projectNumber)"
    

    出力値を PROJECT_NUMBER として記録し、後の手順で使用します。

  2. 次のカスタム IAM ロール定義を gcp-role.yaml ファイルとして保存します。

    title: Self Hosted Cluster Autoscaler Role
    description: Least privilege role for self-hosted CA to manage GKE clusters
    stage: BETA
    includedPermissions:
    - compute.acceleratorTypes.list
    - compute.instanceGroupManagers.get
    - compute.instanceGroupManagers.list
    - compute.instanceGroupManagers.update
    - compute.instanceTemplates.get
    - compute.instances.delete
    - compute.instances.get
    - compute.instances.list
    - compute.instances.setMetadata
    - compute.machineTypes.get
    - compute.machineTypes.list
    - compute.regions.get
    - compute.regions.list
    - compute.reservations.list
    - compute.resourcePolicies.list
    - compute.zoneOperations.get
    - compute.zones.get
    - compute.zones.list
    - container.clusters.get
    - container.clusters.update
    - container.operations.get
  3. プロジェクトに selfHostedClusterAutoscaler カスタム IAM ロールを作成します。

    gcloud iam roles create selfHostedClusterAutoscaler \
        --project=PROJECT_ID \
        --file=gcp-role.yaml
    
  4. selfhosted-autoscaler という名前の IAM サービス アカウントを作成します。

    gcloud iam service-accounts create selfhosted-autoscaler \
        --project=PROJECT_ID
    
  5. selfhosted-autoscaler IAM サービス アカウントにカスタム IAM ロールを付与します。

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \
        --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"
    
  6. クラスタがノード自動プロビジョニングまたはカスタム ComputeClass を使用して新しいノードプールを作成する場合は、selfhosted-autoscaler サービス アカウントにサービス アカウント ユーザーロール(roles/iam.serviceAccountUser)を付与します。新しいノードで使用する IAM サービス アカウントごとに次のコマンドを実行します。

    gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \
        --project=PROJECT_ID \
        --role="roles/iam.serviceAccountUser" \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    

    NODE_SA_EMAIL は、ノードが使用する IAM サービス アカウントのメールアドレスに置き換えます。このロールは、ノード自動プロビジョニングのデフォルト サービス アカウントと、ComputeClass で指定するサービス アカウントに付与します。カスタム サービス アカウントを構成しない限り、ノード自動プロビジョニングでは Compute Engine のデフォルトのサービス アカウント PROJECT_NUMBER-compute@developer.gserviceaccount.com が使用されます。

  7. kube-system Namespace の selfhosted-autoscaler Kubernetes ServiceAccount が IAM サービス アカウントの権限を借用できるようにします。

    gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \
        --project=PROJECT_ID \
        --role="roles/iam.workloadIdentityUser" \
        --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
    

Helm を使用してセルフホスト型クラスタ オートスケーラーをデプロイする

オープンソースの GKE クラスタ オートスケーラー リポジトリの charts/cluster-autoscaler ディレクトリにある Helm チャートを使用して、セルフホスト型クラスタ オートスケーラーをデプロイします。

  1. クラスタ ID を取得します。

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --project=PROJECT_ID \
        --format="value(id)"
    

    Helm 構成ファイルの出力値を CLUSTER_ID として記録します。

  2. GKE クラスタ オートスケーラー リポジトリのクローンを作成します。

    git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git
    
  3. クラスタ オートスケーラーのコンテナ イメージをビルドして、コンテナ レジストリに push します。

    cd cluster-autoscaler
    make release \
        REGISTRY=REGISTRY_PATH \
        TAG=IMAGE_TAG
    

    次のように置き換えます。

    • REGISTRY_PATH: コンテナ レジストリのベースパス(LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY など)。make release コマンドは、イメージをビルドして REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG に push します。
    • IMAGE_TAG: コンテナ イメージのタグ(37.234.0 など)。

    コンテナ イメージのビルドの詳細については、GKE クラスタ オートスケーラー リポジトリをご覧ください。

  4. Helm チャートのディレクトリに移動します。

    cd charts/cluster-autoscaler
    
  5. my-values.yaml ファイルを作成して、クラスタ ID、Workload Identity Federation for GKE サービス アカウント、オートスケーラー パラメータを構成します。

    image:
      repository: "REGISTRY_PATH/cluster-autoscaler"
      tag: "IMAGE_TAG"
    
    cluster:
      name: "CLUSTER_NAME"
      hash: "CLUSTER_ID"
      projectNumber: "PROJECT_NUMBER"
      location: "CONTROL_PLANE_LOCATION"
      regional: IS_REGIONAL
    
    nodeSelector:
      iam.gke.io/gke-metadata-server-enabled: "true"
    
    serviceAccount:
      name: "selfhosted-autoscaler"
      gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    
    config:
      autoscalingProfile: AUTOSCALING_PROFILE
    

    次のように置き換えます。

    • REGISTRY_PATH: 前の手順で取得したコンテナ レジストリのベースパス(LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY など)。
    • IMAGE_TAG: 前の手順で push したコンテナ イメージタグ(37.234.0 など)。image.tag フィールドを省略すると、Helm チャートはデフォルトで、チャートのパッケージ化時に設定した appVersion 値になります。
    • CLUSTER_ID: 前の手順で取得したクラスタ ID。
    • PROJECT_NUMBER: 前の手順で取得したプロジェクト番号。
    • IS_REGIONAL: クラスタがリージョン クラスタの場合は true、クラスタがゾーンクラスタの場合は false。
    • AUTOSCALING_PROFILE: 適用する自動スケーリング プロファイル。バランスの取れたスケーリングを行うには default プロファイルを指定し、使用率の低いノードをより積極的にスケールダウンするには optimizeUtilization プロファイルを指定します。構成可能なフラグとパラメータの完全なリストについては、GitHub のデフォルトの values.yaml ファイルをご覧ください。
  6. 実行するクラスタ オートスケーラー コンポーネントのバージョンで Helm チャートをパッケージ化し、kube-system Namespace にチャートをインストールします。

    helm package \
        --version=CA_VERSION \
        --app-version=CA_VERSION .
    helm upgrade --install selfhosted-ca \
        cluster-autoscaler-CA_VERSION.tgz \
        --namespace=kube-system \
        -f my-values.yaml
    

    CA_VERSION は、クラスタ オートスケーラー コンポーネントのバージョンに置き換えます。形式は <minor>.<ca-version>.<patch> です(例: 37.234.0)。このバージョンを使用して、values.yaml ファイルから有効にするオートスケーラー テストを決定します。

セルフホスト型クラスタ オートスケーラーのデプロイを確認する

Helm チャートをインストールしたら、セルフホスト型クラスタ オートスケーラー Pod が実行され、クラスタをアクティブにモニタリングしていることを確認します。

  1. セルフホスト型クラスタ オートスケーラー Pod が Running 状態であることを確認します。

    kubectl get pods -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca
    

    出力は次のようになります。

    NAME                                                READY   STATUS    RESTARTS   AGE
    selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k   1/1     Running   0          2m
    
  2. セルフホスト型クラスタ オートスケーラー Pod のログを調べて、認証エラーなしで起動することを確認します。

    kubectl logs -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca \
        --tail=50
    
  3. cluster-autoscaler-status ConfigMap を確認して、オートスケーラーが報告する現在のスケーリング ステータスを表示します。

    kubectl get configmap cluster-autoscaler-status \
        -n kube-system -o yaml
    

GKE マネージド クラスタ オートスケーラーに切り替える

GKE マネージド クラスタ オートスケーラーに戻るには、セルフホスト型デプロイを削除してから、コントロール プレーンでマネージド自動スケーリングを再度有効にします。

  1. セルフホスト型クラスタ オートスケーラーの Helm リリースをアンインストールします。

    helm uninstall selfhosted-ca --namespace=kube-system
    
  2. クラスタで GKE マネージド クラスタ オートスケーラーを再度有効にします。

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --enable-managed-autoscaling
    
  3. GKE マネージド クラスタ オートスケーラーが有効になっていることを確認します。

    gcloud beta container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="value(autoscaling.managedAutoscalingDisabled)"
    

    出力は空または False です。

次のステップ