デフォルトの ComputeClass、Autopilot クラスタ セキュリティ ポリシー、クラスタのゼロへのスケーリングなどのクラスタ設定を有効にすることで、Google Kubernetes Engine(GKE)Standard クラスタを Autopilot モードのクラスタと同様に機能するように構成できます。
このドキュメントは、Standard クラスタで Autopilot モードのすべてのメリットを活用し、個々の設定を柔軟に変更または無効にしたいプラットフォーム管理者とセキュリティ エンジニアを対象としています。この柔軟性が必要ない場合は、代わりに専用の Autopilot クラスタを作成します。
次のコンセプトに精通している必要があります。
Autopilot クラスタの設定
Autopilot クラスタのように機能するように Standard クラスタを構成するには、次の設定をすべて構成します。
- クラスタのデフォルトとしての Autopilot ComputeClass: 組み込みの Autopilot ComputeClass のいずれかを設定します。ComputeClass を選択しない Pod は、指定されたデフォルトの ComputeClass を使用して実行されます。組み込みの ComputeClass はすべて、Autopilot モードと Pod ベースの課金モデルを使用します。
- クラスタをゼロノードに自動スケーリングする: クラスタにアクティブなユーザー ワークロードがない場合に、クラスタをゼロノードにスケーリングするようにクラスタ オートスケーラーを構成します。必要に応じて、オートスケーラーがクラスタをゼロノードにスケーリングするまでの遅延期間を調整できます。
- 初期ノードがゼロ: クラスタの作成時に、デフォルトのノードプールが自動的に作成されないようにします。既存のクラスタの場合は、手動で作成したノードプールを削除します。
- Autopilot クラスタのセキュリティ ポリシー: すべての Autopilot セキュリティ ポリシーを適用します。これらのポリシーは、システム ワークロードと ID の保護に役立ちます。
クラスタを変更して、これらの設定を他の設定とは独立して変更できます。たとえば、ノードプールを手動で作成する必要がある場合は、他の設定を変更せずに、対応する Autopilot クラスタのセキュリティ ポリシーを無効にできます。
柔軟性とセキュリティに関する考慮事項
Autopilot クラスタを作成すると、クラスタモードは永続的になります。ゼロノードへのスケーリング、ノードプールの手動作成の防止、さまざまなセキュリティ制約などのクラスタ設定は変更できません。ただし、Autopilot クラスタのすべての設定を使用するように Standard クラスタを構成すると、設定は変更可能になります。クラスタ構成を変更するアクセス権を持つユーザーは、個々の設定を変更または無効にできます。
組織、フォルダ、プロジェクト全体でこれらの設定の使用を強制するには、組織管理者がカスタムの組織のポリシーの制約を使用します。詳細については、このドキュメントのカスタムの組織のポリシーを使用して Autopilot の設定を適用するをご覧ください。
制限事項
クラスタレベルで Confidential GKE Node を構成すると、GKE は Autopilot ComputeClass をクラスタのデフォルトとして使用するコマンドを無視します。
始める前に
作業を始める前に、次のタスクが完了していることを確認してください。
- Google Kubernetes Engine API を有効にする。 Google Kubernetes Engine API を有効化
- このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化します。gcloud CLI をインストール済みの場合は、
gcloud components updateコマンドを実行して最新のバージョンを取得します。以前のバージョンの gcloud CLI では、このドキュメントのコマンドを実行できない場合があります。
- すべての要件を満たす Standard クラスタがあることを確認します。
要件
Standard クラスタで Autopilot のすべての機能を使用するには、クラスタが次の要件を満たしている必要があります。
クラスタで GKE バージョン 1.37.1-gke.3020000 以降を実行する必要があります。個々の設定のバージョン要件は次のとおりです。
- 組み込みの Autopilot ComputeClass をクラスタのデフォルトとして設定するには、クラスタで GKE バージョン 1.37.1-gke.1380000 以降を実行する必要があります。
- 初期ノードがゼロのクラスタを作成するには、クラスタで GKE バージョン 1.37.1-gke.3020000 以降を実行する必要があります。
- クラスタをゼロノードにスケーリングするようにクラスタ オートスケーラーを構成するには、クラスタで GKE バージョン 1.37.1-gke.3020000 以降を実行する必要があります。
クラスタを互換性のあるバージョンにアップグレードするには、クラスタのコントロール プレーンまたはノードプールを手動でアップグレードするをご覧ください。
クラスタは、Autopilot ComputeClass を使用するためのすべての要件を満たしている必要があります。クラスタがこれらの要件を満たしているかどうかを確認するには、Standard クラスタで Autopilot モードのワークロードを実行するをご覧ください。
必要なロールと権限
Autopilot モードを使用するクラスタの作成または更新に必要な権限を取得するには、 Google Cloud プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。
-
クラスタとノードプールを作成して更新する: Kubernetes Engine クラスタ管理者(
roles/container.clusterAdmin) -
クラスタ内の ComputeClass とワークロードを管理する: Kubernetes Engine デベロッパー(
roles/container.developer)
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
Autopilot モードを使用する Standard クラスタを作成する
すべての Autopilot 設定を使用する新しい Standard クラスタを作成するには、次のコマンドを実行します。
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
次のように置き換えます。
CLUSTER_NAME: 新しいクラスタの名前。CONTROL_PLANE_LOCATION: クラスタ コントロール プレーンのリージョン(us-central1など)。BUILT_IN_COMPUTECLASS_NAME: クラスタのデフォルトとして使用する組み込みの ComputeClass(autopilotなど)。
必要に応じて、--cluster-scale-to-zero-delay フラグを使用して、クラスタ オートスケーラーがクラスタをゼロノードにスケーリングするまでの遅延時間を調整できます。
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
SCALE_TO_ZERO_DELAY は、遅延時間に置き換えます。この値には、整数と時間の単位(0s、1m、3h など)を指定する必要があります。最大遅延は 3 時間です。--cluster-scale-to-zero-delay フラグを指定しない場合、デフォルトの遅延は 3 時間です。
クラスタ作成コマンドが失敗してエラー メッセージが表示された場合は、エラー メッセージで詳細を確認してください。最も一般的なエラーは次のとおりです。
- クラスタが、指定されたフラグのいずれかをサポートしていないバージョンを使用しています。このエラーを解決するには、要件セクションで指定されている最小要件のバージョンにクラスタを更新します。
- クラスタ作成コマンドでノードプール構成フラグ(
--machine-typeフラグなど)を指定した。新しいクラスタには初期ノードプールがないため、ノードプール構成フラグを指定できません。このエラーを解決するには、コマンドからノードプールの構成フラグを削除します。 --default-compute-classフラグにカスタム ComputeClass の名前を指定しました。このエラーを解決するには、組み込みの Autopilot ComputeClass のいずれかを指定します。
既存の Standard クラスタを更新して Autopilot モードを使用する
既存の Standard クラスタを変更して Autopilot モードを使用できます。このプロセスでは、手動で作成したノードプールの削除など、ワークロードに影響を与える可能性のある変更が行われます。これらの手順は、スケジュールされたメンテナンス期間中に実施してください。
クラスタがこのドキュメントの要件をすべて満たしていることを確認します。
クラスタを確認し、Autopilot クラスタ ポリシーとの競合を回避するために必要な変更を行います。潜在的な変更の詳細については、サポートされているポリシーをご覧ください。
Autopilot ComputeClass をクラスタのデフォルトとして設定すると、別の ComputeClass を選択しない受信 Pod が Autopilot ワークロードになります。ComputeClass を選択していないワークロードで、次のプロパティを確認します。
- ワークロードが Autopilot のセキュリティ制約に準拠していることを確認するか、特権ワークロードの許可リストを構成します。
- Pod から
cloud.google.com/gke-nodepoolノードセレクタまたはノード アフィニティ ルールを見つけて削除します。 - 名前空間に
cloud.google.com/default-compute-classラベルまたはcloud.google.com/default-compute-class-non-daemonsetラベルがあるかどうかを確認します。名前空間レベルのデフォルトの ComputeClass は、クラスタレベルのデフォルトの ComputeClass よりも優先されます。
クラスタに
defaultという名前のカスタム ComputeClass があるかどうかを確認します。kubectl get computeclass default -o yaml出力が空白の場合は、次の手順に進みます。
defaultComputeClass が存在する場合、出力は次のようになります。apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here.出力で、
cloud.google.com/gke-managed-default-compute-class: "true"アノテーションがmetadata.annotationsフィールドにある場合は、次のステップに進みます。このアノテーションが存在しない場合は、ComputeClass を削除します。kubectl delete computeclass defaultクラスタ内で手動で作成された既存のノードプールを見つけて削除します。
クラスタの Autopilot 設定を有効にします。
クラスタのデフォルトの ComputeClass を組み込みの ComputeClass に設定します。
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --default-compute-class=BUILT_IN_COMPUTECLASS_NAME次のように置き換えます。
CLUSTER_NAME: 既存の Standard クラスタの名前。CONTROL_PLANE_LOCATION: クラスタ コントロール プレーンのリージョン。BUILT_IN_COMPUTECLASS_NAME: クラスタのデフォルトとして使用する組み込みの Autopilot ComputeClass(autopilotなど)。
クラスタの自動スケーリングを有効にして、オートスケーラーがクラスタをゼロノードにスケーリングできるようにします。
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero必要に応じて、
--cluster-scale-to-zero-delayフラグを使用して、クラスタ オートスケーラーがクラスタをゼロノードにスケールするまでの遅延時間を調整できます。gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero \ --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAYSCALE_TO_ZERO_DELAYは、遅延時間に置き換えます。この値には、整数と時間の単位(0s、1m、3hなど)を指定する必要があります。最大遅延は 3 時間です。--cluster-scale-to-zero-delayフラグを指定しない場合、デフォルトの遅延は 3 時間です。Autopilot クラスタ ポリシーを有効にします。
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
クラスタ更新コマンドが失敗してエラー メッセージが表示された場合は、エラー メッセージで詳細を確認してください。最も一般的なエラーは次のとおりです。
- クラスタが、指定されたフラグのいずれかをサポートしていないバージョンを使用しています。このエラーを解決するには、要件セクションで指定されている最小要件のバージョンにクラスタをアップグレードします。
--default-compute-classフラグにカスタム ComputeClass の名前を指定しました。このエラーを解決するには、組み込みの Autopilot ComputeClass のいずれかを指定します。- クラスタに手動で作成されたノードプールがあるため、GKE は
no-standard-node-poolsポリシーを適用できません。このエラーを解決するには、手動で作成したノードプールを削除します。
クラスタで Autopilot モードが使用されていることを確認する
新しいクラスタまたは既存のクラスタを構成したら、Autopilot の設定が有効になっていることを確認します。
クラスタでデフォルトの ComputeClass、ゼロへのスケーリング、クラスタ ポリシーの設定が有効になっていることを確認します。
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"出力は次のようになります。
autoscaling: defaultComputeClassConfig: computeClass: autopilot enabled: true scaleToZeroConfig: enabled: true delay: 3h autopilot: clusterPolicyConfig: noManualNodePools: true noSystemImpersonation: true noSystemMutation: true noUnsafeWebhooks: trueGKE がクラスタにマネージド
defaultComputeClass を作成したことを確認します。kubectl get computeclass default -o yaml出力は次のようになります。
出力が空白の場合は、次の手順に進みます。
defaultComputeClass が存在する場合、出力は次のようになります。apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here. spec: autopilot: enabled: true # Multiple lines are omitted here.この出力では、
cloud.google.com/gke-managed-default-compute-class: "true"アノテーションは、GKE が ComputeClass を作成したことを示しています。別の ComputeClass を選択しない Pod をデプロイする場合は、Pod が Autopilot マネージド ノードで実行されていることを確認します。
kubectl get pods -o wide出力では、Autopilot によって管理されているノードの
NODE列にgk3-接頭辞が付いています。
個々の Autopilot 設定を変更または無効にする
Standard クラスタの各 Autopilot 機能はモジュラーであるため、個々の設定をいつでもカスタマイズまたは無効にできます。セキュリティ管理者は、カスタムの組織のポリシーの制約を使用して、これらの設定を適用できます。詳細については、カスタムの組織のポリシーを使用して Autopilot の設定を適用するをご覧ください。
no-standard-node-poolsなどのクラスタで特定の Autopilot ポリシーを無効にします。- クラスタレベルのデフォルト ComputeClass を無効にします。または、
defaultという名前の ComputeClass を作成して、カスタム ComputeClass をクラスタのデフォルトとして設定することもできます。 クラスタがゼロノードに自動スケーリングされないようにします。
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --no-enable-cluster-scale-to-zero
カスタムの組織のポリシーを使用して Autopilot の設定を適用する
Standard クラスタの Autopilot 設定は、クラスタ更新権限を持つユーザーが変更または無効にできるため、組織管理者は、組織ポリシー サービスのカスタム組織ポリシー制約を使用して、組織、フォルダ、プロジェクト全体にこれらの設定を適用できます。次の制約の例では、すべての Autopilot 設定を適用していないクラスタの作成または更新オペレーションを拒否します。
name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
"resource.ClusterPolicyConfig.no_system_mutation != true ||
resource.ClusterPolicyConfig.no_system_impersonation != true ||
resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
resource.ClusterPolicyConfig.no_standard_node_pools != true ||
resource.ScaleToZeroConfig.enabled != true ||
!(resource.DefaultComputeClassConfig.computeClass in [
'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.
ORGANIZATION_ID は、実際の組織 ID に置き換えます。
次のステップ
- GKE Standard での Autopilot ワークロードの詳細
- Standard クラスタで Autopilot モードのワークロードを実行する
- デフォルトで ComputeClass を Pod に適用する
- Standard クラスタに Autopilot セキュリティ ポリシーを適用する
- クラスタを自動スケーリングする