デマンド スケーリングの概要

このドキュメントでは、 Google Cloud 全体でコンピューティング容量をスケーリングし、ハードウェア リソースを取得して、パフォーマンスの維持、費用の管理、ダウンタイムの回避を行う方法の概要について説明します。変動する需要に対応するには、Compute Engine インスタンスの自動スケーリング、Google Kubernetes Engine(GKE)でのコンテナまたはクラスタ内のワークロードのオーケストレーション、容量の事前予約、リソース間でのトラフィックの分散を行います。

このドキュメントの推奨事項は、コンピューティング インフラストラクチャを管理してスケーリングする Cloud Run と Batch を除く、利用可能なすべてのコンピューティング オプションに適用されます。スケーリング前に Google Cloud で使用できるコンピューティング オプションの詳細については、コンピューティング オプションを選択するをご覧ください。

コンピューティング インフラストラクチャのスケーリング オプション

コンピューティング容量をスケーリングしてリソースの取得可能性を向上させるには、コンピューティング サービスがサポートする機能から選択します。予約、オートスケーラー、ロードバランサなどの複数の機能を組み合わせて、ワークロードの要件に合わせることができます。これらの機能を目的、サポートされているコンピューティング オプション、トリガー、ユースケースに基づいて比較する場合は、このドキュメントのスケーリング オプションを比較するをご覧ください。

各コンピューティング サービスは、次のオプションを使用して容量をスケーリングし、リソースを取得できるようにします。

  • すべてのコンピューティング オプション: 予約用の Cloud Run を除くコンピューティング サービス全体で、ハードウェアの可用性を事前に高いレベルで保証し、正常なバックエンドにユーザー リクエストをルーティングできます。次のクロスプロダクト オプションを使用できます。

    • 予約: 特定のゾーンで、すぐに使用する容量または将来の日付で使用する容量をリクエストします。予約はオートスケーラーではありませんが、ワークロードのスケールアウト時に画像処理装置(GPU)、Tensor Processing Unit(TPU)、ローカル SSD ディスクなどのハードウェアを確実に利用できるようにします。

    • Cloud Load Balancing によるトラフィック分散: 受信リクエストを正常なコンピューティング インスタンス、ノードプール、コンテナに分散し、容量のスケールに応じてトラフィックを新しいリソースに転送します。

  • Compute Engine: 仮想マシン(VM)インスタンスまたはベアメタル インスタンスを作成するとき、またはマネージド インスタンス グループ(MIG)を使用するときに、容量をスケーリングします。MIG は、コンピューティング インスタンスのグループを単一のエンティティとして管理し、負荷、スケジュール、ハードウェアの可用性に基づいて容量を追加または削除できます。ハードウェアの分離が必要なワークロードの場合は、専用の物理サーバーで単一テナントノード グループを自動スケーリングすることもできます。以下のオプションを使用できます。

    • MIG の自動スケーリング: CPU 使用率、ロードバランサの容量、Cloud Monitoring の指標、スケジュール、予測に基づいて、MIG 内のコンピューティング インスタンスを追加または削除します。

    • MIG インスタンスの柔軟性: MIG で複数のマシンタイプをランク付けして、リソースの取得可能性を向上させます。

    • MIG のバルクモードとサイズ変更リクエスト: フル容量が使用可能になったときに、リクエストされたすべてのコンピューティング インスタンスを MIG に同時に追加します。これには、Flex Start VM を使用する GPU、TPU、H4D インスタンスも含まれます。

    • MIG のスタンバイ プール: 事前に構成された一時停止または停止されたコンピューティング インスタンスのスタンバイ プールを MIG に保持して、スケールアウトを高速化します。トラフィックまたは CPU 使用率が増加すると、MIG は新しいインスタンスを作成するのではなく、コンピューティング インスタンスを再開または起動します。

    • コンピューティング インスタンスの一括作成: ゾーンとマシンタイプを自動的に選択して、1 つの API リクエストで複数のコンピューティング インスタンスを作成します。

    • 単一テナントノード グループの自動スケーリング: ゲスト コンピューティング インスタンスの需要に基づいて、専用の物理単一テナントノードを追加または削除して、ハードウェアの分離を維持し、お客様所有ライセンスの使用コストを最適化します。

    • カスタム オーケストレーター: 独自のスケジューラまたはオープンソースのスケジューラから Compute Engine API を呼び出して、カスタム ジョブキューまたはビジネスルールに基づいてコンピューティング インスタンスを作成、サイズ変更、削除します。

  • Cluster Director: Google は、Slurm オーケストレーションまたはゾーン MIG を基盤とするマネージド コンピューティング オーケストレーションを使用する AI、機械学習(ML)、ハイ パフォーマンス コンピューティング(HPC)ワークロード用のマネージド クラスタをデプロイします。Slurm クラスタでは、キューに格納されたジョブが静的ベースライン ノードを超えると、Slurm スケジューラが動的コンピューティング ノードを作成し、5 分間のアイドル時間の後に電源をオフにします。マネージド コンピューティング クラスタでは、SSH 経由でワークロードを実行するか、独自のスケジューラを統合し、MIG ターゲット サイズを調整するときに容量をスケーリングします。以下のオプションを使用できます。

    • クラスタ オーケストレーション: ジョブキューの需要に基づいて、マネージド Slurm パーティション内の動的コンピューティング ノードを自動スケーリングします。または、ゾーン MIG を基盤とするマネージド コンピューティング クラスタをプロビジョニングして、SSH 経由でワークロードを実行するか、独自のスケジューラを統合します。

    • ライブ クラスタの変更: アクティブなクラスタを更新して、静的ノード数または最大動的ノード数を増やしたり、MIG のサイズ変更や追加、コンピューティング リソース構成の追加、パーティションとノードセットの追加を、アクティブなジョブを中断することなく行えます。

    • 容量の使用オプション: 容量ブロックの将来の予約、カレンダー モードの将来の予約、Flex Start VM、Spot VM、またはオンデマンド コンピューティング インスタンスを使用して、クラスタ コンピューティング ノードを取得します。

  • Cluster Toolkit: Slurm または GKE によってオーケストレートされた YAML ブループリントと Terraform モジュールを使用して、セルフマネージド AI、ML、HPC クラスタをコードとして定義します。容量は、Slurm ジョブキューまたは Kubernetes Pod の需要に基づいて、またはクラスタ ブループリントを編集して再デプロイするときにスケーリングされます。以下のオプションを使用できます。

    • Slurm 動的ノードセット: Slurm がキューに格納されたジョブに基づいてエフェメラル コンピューティング インスタンスを作成および削除するように、slurm-nodeset-dynamic モジュールを構成します。

    • GKE ノードプールの自動スケーリング: gke-node-pool モジュールを使用して、ブループリントでノードの最小数と最大数を設定します。これにより、Pod の需要の変化に応じて GKE がノードを追加または削除します。

    • ライブ ブループリントの再構成: ブループリントを更新して再デプロイし、アクティブな Slurm クラスタ内のパーティションと静的ノードを追加またはサイズ変更するか、デプロイされた GKE クラスタ内のノードプールのサイズを変更します。

    • マルチ予約 Slurm パーティション: 複数の予約ベースのノードセットを 1 つの Slurm パーティションにグループ化して、大規模なジョブが複数の予約にまたがって容量を分散できるようにします。

  • GKE: 容量は 2 つのレイヤにわたってスケーリングされます。ワークロード オートスケーラーは、需要の変化に応じて Pod レプリカ数またはコンテナの CPU とメモリのリクエストを調整します。インフラストラクチャのオートスケーラーは、基盤となるノードとノードプールを追加または削除します。Autopilot モードでは、Google がノード容量を管理します。Standard モードでは、クラスタ オートスケーラー、ノードプールの自動作成、カスタム ComputeClass リソースを構成します。起動アクセラレータは、新しい Pod がトラフィックを処理するまでに必要な時間も短縮します。以下のオプションを使用できます。

    • ノードとクラスタの容量: ノード数の調整、ノードプールの作成、次の機能を備えたハードウェアの取得を行います。

      • カスタム ComputeClass: 優先度の高いハードウェア フォールバック ルール、Spot VM または Flex Start の設定、予約の使用、優先度の高いハードウェアへのアクティブな移行、ワークロード レベルのノードプールの自動作成を定義します。

      • クラスタ オートスケーラー: Pod がリソースを待機している場合や、ノードの使用率が低い場合に、既存の Standard モードのノードプールでノードを追加または削除します。

      • ノードプールの自動作成: 保留中の Pod の CPU、メモリ、GPU、TPU、またはゾーンの要件に基づいて、ノードプールを並行して作成および削除します。

      • Flex Start プロビジョニング: GPU、TPU、H4D ノードを最大 7 日間、ノードごとに、またはキューに格納されたプロビジョニングによって一度に取得し、ComputeClasses を使用して期限切れのノードを置き換えます。

      • 容量バッファ: ComputeClass の優先度に合わせてアクティブ バッファを含む、予備のアクティブ ノードまたは一時停止中のスタンバイ ノードを事前にプロビジョニングします。これにより、保留中の Pod が新しいノードを待たずにスケジュールされます。

      • コンテナ最適化コンピューティング プラットフォーム: Autopilot クラスタと Standard クラスタの Autopilot モード ワークロードに Balanced ComputeClass と Scale-Out ComputeClass を使用して、ノードの割り当てと Pod の配置を高速化します。

      • GKE の単一テナントノード: 専用の物理サーバーで Standard モードのノードプールを実行して、分離要件またはライセンス要件を満たします。

    • Pod とワークロードの容量: 次の機能を使用して、Pod レプリカ、コンテナサイズ、バッチキューを調整します。

      • 水平 Pod 自動スケーリング(HPA): CPU 使用率、メモリ使用量、カスタム指標に基づいて Pod レプリカを追加または削除します。

      • 垂直 Pod 自動スケーリング(VPA): 過去の使用量に基づいてコンテナの CPU とメモリのリクエストと上限を調整します。

      • 多次元 Pod 自動スケーリング(MPA): 同じワークロードに対して、CPU の HPA とメモリの VPA を同時に組み合わせます。

      • カスタム指標と外部指標: アプリケーション指標または外部サービス(Pub/Sub や Cloud Load Balancing など)から HPA スケール決定をトリガーします。

      • ゼロにスケールする: アイドル状態の Pod とノードプールをゼロレプリカにスケールダウンし、HPA カスタム指標と外部指標、または Kubernetes Event-driven Autoscaling(KEDA)トリガーで需要が再開したときに起動します。

      • Kueue ジョブキュー: バッチ ワークロードと AI ワークロードをキューに入れ、チーム間でリソース割り当てを共有し、ノードの同時割り当てを調整します。

    • 起動の高速化: 次の機能を使用して、スケールアウト中のコンテナの初期化とモデルの読み込み時間を短縮します。

      • 並列ストリーミングを使用した Cloud Storage FUSE: 並列読み取りとファイル キャッシュを使用して、Cloud Storage バケットをローカル ファイル システムとしてマウントします。

      • CPU 起動ブースト: コンテナの初期化中に一時的に追加の CPU を割り当て、その後、CPU リクエストをベースライン値に戻します。

      • イメージ ストリーミング: Artifact Registry からコンテナ イメージ ブロックをオンデマンドでストリーミングします。これにより、イメージ全体のダウンロードを待たずに Pod が起動します。

      • セカンダリ ブートディスク: コンテナ イメージまたはモデルデータを含むプリロードされた Persistent Disk ボリュームを、ノードの起動中にノードに並列でアタッチします。

      • インプレース Pod サイズ変更: Pod を再起動せずに、アクティブなコンテナの CPU とメモリ割り当てを更新します。

      • Pod スナップショット: コールドブートではなく、保存されたメモリとファイル システムのチェックポイントから Pod レプリカを復元します。

      • Run:ai Model Streamer: safetensors 形式のモデルの重みを Cloud Storage または永続ボリュームから GPU または TPU メモリに並列でストリーミングします。

      • Volume Populator: Pod が起動する前に、Cloud Storage からモデルの重みとデータセットを Google Cloud Hyperdisk ML ボリュームにプリロードします。

  • Google Cloud VMware Engine: Google は、物理 ESXi ホストがクラスタに参加またはクラスタから離脱する際に容量が拡大または縮小する専用の VMware プライベート クラウド クラスタを管理します。CPU、メモリ、vSAN ストレージの使用量が構成されたしきい値を超えたときに ESXi ホストを追加または削除するには、自動スケーリング ポリシーを使用します。

スケーリング オプションを比較する

運用要件に合ったスケーリングまたはリソース取得オプションを選択するには、次の表で機能を比較してください。

スケーリング オプション 主な目的 サポートされているコンピューティング オプション 互換性のあるスケーリング オプション スケーリング トリガー ユースケース
予約 すぐに使用する場合、または将来の日付で使用する場合に、高い可用性を確保してゾーン容量を予約する Cloud Run を除くすべてのコンピューティング オプション すべてのスケーリング オプション 手動またはカレンダーの予約リクエスト。オートスケーラーではない
  • 計画的な成長とピーク スケール イベント
  • 大規模な移行
  • バックアップと障害復旧
  • GPU や TPU などの需要の高いリソース
Cloud Load Balancing によるトラフィック分散 正常なコンピューティング インスタンス、ノードプール、コンテナに受信トラフィックを分散する すべてのコンピューティング オプション すべてのスケーリング オプション 受信ユーザー リクエストとバックエンド ヘルスチェック
  • トラフィックの多いウェブ アプリケーションと API
  • マルチゾーンとマルチリージョンの可用性
  • ゼロ ダウンタイムでのスケールアウト
MIG の自動スケーリング 変動するワークロード需要に対応するために、MIG でコンピューティング インスタンスを追加または削除する Compute Engine 予約、MIG インスタンスの柔軟性、MIG のスタンバイ プール、単一テナントノード グループの自動スケーリング、カスタム オーケストレーター CPU 使用率、ロードバランサの容量、Cloud Monitoring の指標、スケジュール、または予測
  • ウェブサービスと API
  • 並列バッチ ワークロード
  • マルチゾーンの高可用性
  • ステートレス マイクロサービス
MIG インスタンスの柔軟性 MIG で複数のマシンタイプをランク付けして、リソースの取得可能性を向上させる Compute Engine MIG の自動スケーリング、予約、Spot VM MIG インスタンスの作成時またはスケールアウト時にプライマリ マシンタイプの容量が不足している場合
  • コンピューティング インスタンスの取得可能性の向上
  • マシンシリーズ全体の費用とパフォーマンスのバランス
  • ステートレスなウェブ ワークロードとバッチ ワークロード
MIG のバルクモードとサイズ変更リクエスト フル容量が使用可能になったときに、リクエストされたすべてのコンピューティング インスタンスを MIG に同時に追加する Compute Engine と Cluster Director 予約、ライブクラスタの変更、カスタム オーケストレーター バルクモードで設定されたターゲット サイズ、またはサイズ変更リクエストの作成。ハードウェア容量がすべて使用可能になると、リクエストが処理されます。
  • 分散型 AI / ML モデルのトレーニング
  • すべてのコンピューティング インスタンスを同時に必要とするマルチノード ジョブ
  • 時間的に柔軟な GPU、TPU、H4D ワークロード
MIG のスタンバイ プール 事前に構成された一時停止または停止したコンピューティング インスタンスのスタンバイ プールを維持して、MIG のスケールアウトを高速化する Compute Engine MIG の自動スケーリング、予約 プールされたコンピューティング インスタンスを再開または開始する手動サイズ変更または MIG スケールアウトの需要
  • オペレーティング システムまたはランタイムの初期化が遅いアプリケーション
  • トラフィックの急激な増加
  • アクティブなアイドル状態のコンピューティング インスタンスよりもスタンバイ費用が低い
コンピューティング インスタンスの一括作成 ゾーンとマシンを自動的に選択して、1 つの API リクエストで複数のコンピューティング インスタンスを作成する Compute Engine 予約、Spot VM、カスタム オーケストレーター 単一の API または Google Cloud CLI の一括挿入リクエスト
  • 1 回限りのバッチ容量バースト
  • カスタム クラスタのデプロイ
  • マルチインスタンス ハードウェアの割り当て
単一テナントノード グループの自動スケーリング 分離されたワークロード用に専用の物理サーバーを自動スケーリングする Compute Engine と GKE 予約、MIG の自動スケーリング、カスタム オーケストレーター、クラスタ オートスケーラー ゲスト コンピューティング インスタンスのリソース需要
  • セキュリティと規制遵守
  • コアごとまたはソケットごとのライセンスの最適化
  • ハードウェア パフォーマンスの分離
カスタム オーケストレーター Ray、SkyPilot、HTCondor などの独自のスケジューラから、コンピューティング インスタンスの作成、MIG のターゲット サイズ、削除を制御する Compute Engine と Cluster Director 予約、MIG の自動スケーリング、MIG のバルクモードとサイズ変更リクエスト、コンピューティング インスタンスの一括作成、単一テナントノード グループの自動スケーリング、ライブ クラスタの変更 カスタム ビジネス指標または外部スケジューラ キュー
  • 独自のスケーリング ロジック
  • 以前のオンプレミス スケジューラの移行
  • きめ細かいジョブ ライフサイクル制御
Slurm オーケストレーションと動的ノード バッチジョブ、AI ジョブ、HPC ジョブ用に Slurm パーティション内の動的コンピューティング ノードを自動スケーリングする Cluster Director と Cluster Toolkit 予約、Flex Start VM、Spot VM、ライブ クラスタ変更、ライブ ブループリント再構成 キューに入れられた Slurm ジョブとノードのアイドル タイムアウト
  • HPC ワークロード
  • 大規模な AI / ML トレーニング
  • バッチ シミュレーション キュー
ライブクラスタの変更 アクティブなクラスタで、パーティション、ノードセット、MIG、または静的ノードと動的ノードの上限を追加またはサイズ変更する Cluster Director Slurm オーケストレーションと動的ノード、MIG のバルクモードとサイズ変更リクエスト、カスタム オーケストレーター、予約 アクティブなクラスタに対するクラスタ更新リクエスト
  • ジョブを中断せずにベースライン クラスタを拡張する
  • アクティブなクラスタでの GPU、TPU、CPU のノードセットと MIG の追加
ライブ ブループリントの再構成 ブループリントを更新して再デプロイし、アクティブなクラスタに Slurm パーティション、静的ノード、GKE ノードプールを追加またはサイズ変更する Cluster Toolkit Slurm オーケストレーションと動的ノード、クラスタ オートスケーラー、予約 アクティブなクラスタでのブループリントの更新と再デプロイ
  • ジョブを中断しない Infrastructure as Code クラスタの拡張
  • マルチ予約 Slurm パーティション
カスタム ComputeClass 優先順位付けされたハードウェア フォールバック ルール、容量消費、ノード移行を定義する Standard モードと Autopilot モードの GKE クラスタ オートスケーラー、ノードプールの自動作成、GKE での Flex Start プロビジョニング、予約、容量バッファ ComputeClass セレクタに一致する保留中の Pod、または優先度の高いハードウェアの可用性
  • GPU、TPU、CPU シリーズ全体で高い取得可能性
  • 予約から Flex Start VM または Spot VM へのフォールバック
  • 優先ハードウェアへのアクティブな移行
クラスタ オートスケーラー 既存のノードプールにノードを追加または削除する Standard モードの GKE、Cluster Toolkit GKE ブループリント カスタム ComputeClass、予約、単一テナントノード グループの自動スケーリング、HPA、VPA、容量バッファ、ゼロへのスケーリング 保留中の Pod またはノードの過小利用
  • トラフィックが変動するコンテナ化されたワークロード
  • 需要の急増
ノードプールの自動作成 Pod のハードウェア要件に合わせてノードプールを並行して作成および削除する GKE: Autopilot モードで管理。Standard モードで構成可能 カスタム ComputeClass、予約、GKE での Flex Start プロビジョニング、HPA、VPA、容量バッファ 既存のノードプールにないマシンシリーズ、アクセラレータ、ゾーンを必要とする保留中の Pod
  • 多様な GPU、TPU、CPU ワークロードの需要
  • 複数のノードプールを並行して作成するマルチテナント クラスタ
GKE での Flex Start プロビジョニング キューに格納されたプロビジョニングを使用して、容量が空いたときに GPU、TPU、H4D ノードをノードごとに、または一度にすべて取得する Standard モードと Autopilot モードの GKE カスタム ComputeClass、ノードプールの自動作成、クラスタ オートスケーラー、Kueue ジョブキュー ハードウェア容量が空いたときに保留中の Pod またはキューに格納された ProvisioningRequest オブジェクト
  • AI / ML モデルのトレーニングとファインチューニング
  • バッチ推論ワークロード
  • 同時マルチノード アクセラレータ割り当て
容量バッファ Pod の迅速な配置と取得のために、予備のアクティブ ノードまたは一時停止中のスタンバイ ノードを事前にプロビジョニングする Standard モードと Autopilot モードの GKE カスタム ComputeClass、クラスタ オートスケーラー、ノードプールの自動作成、HPA、予約 スケジュールされた Pod によるバッファリングされたノード容量の消費
  • レイテンシの影響を受けやすいアプリケーション
  • AI 推論とエージェント ワークロード
  • トラフィックの急激な増加
コンテナ最適化コンピューティング プラットフォーム マネージド インフラストラクチャと Balanced または Scale-Out ComputeClass を使用して、ノードの準備と Pod の配置を高速化する GKE: Autopilot クラスタ、Standard クラスタの Autopilot モードのワークロード ノードプールの自動作成、HPA、VPA、容量バッファ、予約 追加のコンピューティング容量を必要とする保留中の Pod
  • クラスタの迅速なスケールアウト
  • リソース需要が変動するワークロード
  • マネージド インフラストラクチャ オペレーション
HPA ワークロードの需要に合わせて Pod レプリカを追加または削除する Standard モードと Autopilot モードの GKE クラスタ オートスケーラー、ノードプールの自動作成、MPA、カスタム指標と外部指標、ゼロへのスケーリング CPU 使用率、メモリ使用量、カスタム指標、外部指標
  • ステートレス アプリケーション
  • ウェブサービスと API
  • リクエスト数が変動する
VPA 使用量に基づいてコンテナの CPU とメモリのリクエストと上限を調整する Standard モードと Autopilot モードの GKE クラスタ オートスケーラー、ノードプールの自動作成、MPA、Pod のインプレース サイズ変更、予約 コンテナの CPU とメモリ使用量の履歴
  • ステートフル アプリケーション
  • 必要なリソース量が不確実なワークロード
  • コンテナ リソースの最適化
MPA CPU とコンテナのメモリ リクエストに基づいて Pod レプリカを同時にスケーリングする Standard モードと Autopilot モードの GKE クラスタ オートスケーラー、ノードプールの自動作成、カスタム指標と外部指標 CPU 需要のシフトとコンテナのメモリ使用量の変化が同時に発生する
  • トラフィックが変動し、メモリ要件が変化するステートレス サービス
カスタム指標と外部指標 アプリケーションまたは外部サービスのシグナルに基づいて Pod レプリカをスケーリングする Standard モードと Autopilot モードの GKE HPA、MPA、ゼロへのスケーリング、クラスタ オートスケーラー、ノードプールの自動作成 アプリケーション指標、または外部キューとトラフィックの指標
  • キューベースのワーカー(Pub/Sub コンシューマーなど)
  • レイテンシに制限のあるウェブ API
  • AI 推論スループットの目標
ゼロへのスケーリング アイドル状態の Pod とノードプールをゼロにスケールダウンし、オンデマンドまたはイベントで起動する Standard モードと Autopilot モードの GKE HPA、カスタム指標と外部指標、クラスタ オートスケーラー、ノードプールの自動作成 HPA のカスタム指標と外部指標または KEDA トリガーに需要がない、または新しい需要がある
  • 断続的または急増するワークロード
  • イベント ドリブン バッチジョブ
  • アイドル状態のコンピューティング費用がゼロ
Kueue ジョブキュー バッチジョブをキューに入れ、チームの割り当てを適用し、同時ノード割り当てを調整する Standard モードと Autopilot モードの GKE GKE での Flex Start プロビジョニング、カスタム ComputeClass、クラスタ オートスケーラー、ノードプールの自動作成 クラスタの割り当てとハードウェア容量が空いている場合に、バッチジョブを許可
  • マルチチームの GPU と TPU の割り当て管理
  • キューに格納された AI トレーニング ジョブとバッチジョブ
並列ストリーミングを使用した Cloud Storage FUSE 並列読み取りとキャッシュを使用して Cloud Storage バケットをファイル システムとしてマウントする Standard モードと Autopilot モードの GKE HPA、クラスタ オートスケーラー、ノードプールの自動作成、Pod スナップショット Pod の起動と、マウントされたバケットからのシーケンシャル ファイルの読み取り
  • Cloud Storage からの高スループットの AI トレーニングと推論
  • マルチノード チェックポイント アクセス
CPU 起動ブースト 初期化中にコンテナに一時的な追加 CPU を付与する Standard モードと Autopilot モードの GKE HPA、VPA、クラスタ オートスケーラー、ノードプールの自動作成 コンテナの起動と初期化フェーズ
  • Java 仮想マシンのウォームアップなど、起動時に高い CPU を必要とするアプリケーション
  • レイテンシの影響を受けやすい API のスケールアウト
イメージ ストリーミング Pod の起動中に Artifact Registry からオンデマンドでコンテナ イメージ ブロックをストリーミングする Standard モードと Autopilot モードの GKE HPA、クラスタ オートスケーラー、ノードプールの自動作成、容量バッファ Pod の起動時に Artifact Registry からコンテナ イメージを pull する
  • 大規模な AI / ML コンテナ イメージ
  • マイクロサービスの高速なスケールアウト
セカンダリ ブートディスク ノードの起動時に、コンテナ イメージまたはモデルデータを含むプリロードされた Persistent Disk ボリュームをアタッチする Standard モードと Autopilot モードの GKE カスタム ComputeClass、HPA、クラスタ オートスケーラー、ノードプールの自動作成、容量バッファ セカンダリ ブートディスク イメージで構成されたノードプールでのノードの起動
  • ノードにプリロードされたモデルの重みまたはデータセット
  • ベース コンテナ イメージ レイヤのキャッシュ
インプレース Pod サイズ変更 Pod を再起動せずに、アクティブなコンテナの CPU とメモリ割り当てを更新する Standard モードと Autopilot モードの GKE VPA、クラスタ オートスケーラー、ノードプールの自動作成 コンテナの CPU またはメモリのリクエストと上限を更新しました
  • ステートフル アプリケーションまたは長時間実行アプリケーション
  • 接続の切断や状態の損失を伴わない垂直スケーリング
Pod スナップショット 保存されたメモリとファイル システムのチェックポイントから Pod レプリカを復元する Standard モードと Autopilot モードの GKE HPA、クラスタ オートスケーラー、ノードプールの自動作成、容量バッファ 保存されたスナップショットからの Pod レプリカの作成
  • モデルの読み込み時間が長い AI 推論サーバー
  • ランタイムのウォームアップが遅いアプリケーション
  • 需要急増時の迅速なスケールアウト
Run:ai Model Streamer モデル テンソルを GPU または TPU メモリに並列でストリーミングする Standard モードと Autopilot モードの GKE HPA、クラスタ オートスケーラー、ノードプールの自動作成、Volume Populator AI 推論サーバーの起動とモデル読み込みリクエスト
  • vLLM を使用した大規模言語モデルの推論
  • GPU と TPU のレプリカの高速スケールアウト
Volume Populator Cloud Storage のデータを使用して Hyperdisk ML ボリュームをプリロードする Standard モードと Autopilot モードの GKE HPA、クラスタ オートスケーラー、ノードプールの自動作成、Pod スナップショット GCPDataSource リソースを参照する PersistentVolumeClaim の作成
  • プリロードされた AI / ML モデルの重み
  • 複数のノード間で共有される読み取り専用データセットへのアクセス
自動スケーリング ポリシー VMware プライベート クラウド クラスタで ESXi ホストを追加または削除する VMware Engine Cloud Load Balancing CPU、メモリ、vSAN ストレージの使用量の持続
  • 負荷が変動する移行済みの VMware クラスタ
  • ストレージ集約型またはコンピューティング集約型の vSphere ワークロード

拡張性に関するベスト プラクティス

ボトルネックや容量不足なしでスケーリングするインフラストラクチャを設計するには、このセクションのベスト プラクティスをコンピューティング容量、ネットワーク設計、アプリケーション アーキテクチャに適用します。

コンピューティング容量と入手可能性を計画する

需要の増加に備えてインフラストラクチャを準備し、ハードウェアの入手性を向上させるには、次のプラクティスを適用します。

  • ワークロードのニーズを見積もる: オートスケーラーを構成する前に、ベースラインの使用量とピーク時の変動を測定します。過去の使用状況を検査し、需要を予測して、コンピューティング インスタンスの最小上限と最大上限を正確に設定するには、キャパシティ プランナーを使用します。

  • リソースの取得可能性を考慮した設計: GPU や TPU などの希少なハードウェアをリクエストする場合は、次の 3 つのディメンションでコンピューティング プロビジョニングを最適化します。

    • ロケーションの柔軟性: リージョン MIG を使用して、ワークロードをゾーン間で分散します。

    • マシンタイプの柔軟性: MIG インスタンスの柔軟性または GKE カスタム ComputeClass を使用して、複数のマシンシリーズを許可します。

    • 時間の柔軟性: ジョブが容量を待機できる場合は、Flex Start プロビジョニングを使用します。

  • 予約を使用して高容量を確保する: ベースライン トラフィック、ピーク時のスケール イベント、不足している GPU と TPU の容量を事前に予約します。予約を使用すると、ワークロードがスケールアウトしたときに、ターゲット ゾーンでリソースを使用できることが高い確度で保証されます。1 つの Slurm ジョブが 1 つの予約を超える場合は、複数の予約にわたって Cluster Toolkit パーティションをスパンします。

  • レイテンシに敏感なワークロードの予備容量を事前にウォームアップする: トラフィックの急増時に新しいコンピューティング インスタンスのプロビジョニングを待つことができない場合は、すぐに使用できる予備容量を維持します。GKE 容量バッファを構成して、アクティブ ノードまたはスタンバイ ノードを事前にプロビジョニングします。または、Compute Engine MIG のスタンバイ プールを使用して、オペレーティング システムの完全な起動遅延なしで、一時停止したコンピューティング インスタンスを再開します。

スケーラビリティを考慮してネットワークを設計する

遅延やアドレスの枯渇を発生させずに、スケーリングされたリソース間でデータを移動するには、次のネットワーク プラクティスを適用します。

  • 十分な IP アドレスを割り振る: サブネットに、オートスケーラーの上限で最大インスタンス数またはノード数に十分な空き IP アドレスがあることを確認します。GKE では、Pod と Service のセカンダリ IP 範囲も確認します。サブネットの IP アドレスが不足すると、オートスケーラーは新しいコンピューティング インスタンスまたは Pod を作成できません。

  • 高スループットのネットワーク インターフェースを選択する: 大規模なデータセットやモデルの重みをノード間で転送するワークロードの場合は、Google Virtual Network Interface Card やリモート ダイレクト メモリ アクセスなどの高帯域幅のネットワーク インターフェース コントローラを選択します。これらのインターフェースにより、CPU オーバーヘッドが削減され、スケーリングされたコンピューティング インスタンス間の帯域幅が増加します。

  • インスタンスの配置を最適化する: マルチノード AI トレーニングまたは HPC ジョブの場合、コンパクト プレースメント ポリシーまたは Cluster Director と Cluster Toolkit のトポロジを考慮したプレースメントを使用して、物理サーバー上のコンピューティング インスタンスを近接してグループ化します。物理的に近接した場所に配置することで、スケーリングされたノード間のネットワーク ホップとレイテンシが短縮されます。フォールト トレラントなウェブサービスの場合は、コンピューティング インスタンスをゾーン間で分散して、単一のゾーンの停止によってトラフィックが中断されないようにします。

スケーリングを考慮してアプリケーションを設計する

ユーザーに影響を与えることなくアプリケーションをスケールアウトおよびスケールインできるようにするには、次のアーキテクチャ プラクティスを適用します。

  • アプリケーション層をステートレスに保つ: ユーザー セッション データ、チェックポイント、共有ファイルを、ローカル インスタンス ディスクではなく、外部ストレージまたはデータベースに保存します。この設計により、オートスケーラーはデータ損失なしで、いつでもコンピューティング インスタンスと Pod を追加または削除できます。

  • キューとマイクロサービスを使用してコンポーネントを分離する: モノリシック ワークロードを、ロードバランサまたは Pub/Sub などのメッセージ キューで接続された独立したサービスに分割します。このアーキテクチャにより、各サービスを独自の需要に基づいてスケーリングできます。これには、イベント ドリブン自動スケーラーを使用してゼロまでスケールダウンすることも含まれます。また、ダウンストリーム バックエンドに過負荷をかけることなく、トラフィックの急増を吸収できます。

  • コンテナの起動時間とモデルの読み込み時間を短縮する: リソースの作成からトラフィックの readiness が整うまでの遅延を短縮し、スケーリングされた容量がリクエストをすぐに処理できるようにします。GKE では、コンテナ イメージをストリーミングまたはプリロードし、CPU 起動ブーストまたは Pod スナップショットを使用してランタイムの初期化を高速化します。AI ワークロードの場合は、Cloud Storage FUSE、Run:ai Model Streamer、または事前入力されたボリュームから AI モデルの重みをストリーミングします。