GKE での AI 推論モデル提供のネットワーキング

Last reviewed 2026-11-12 UTC

このドキュメントでは、Google Kubernetes Engine(GKE)を使用してマルチモデル推論サービスを作成するためのリファレンス アーキテクチャについて説明します。このアーキテクチャでは、GKE でホストされる推論プールが GKE Inference Gateway の背後に配置されます。このアーキテクチャには次のような利点があります。

  • すべての推論リクエストに対応する単一のインターフェース。
  • 各リクエストを最も効率的に処理できるモデルと推論サーバーにインテリジェントにルーティングします。
  • 認可、セキュリティ、その他のサービスの一元化。

このドキュメントは、GKE で実行される推論サーバーのデプロイの統合を担当するネットワーク アーキテクトを対象としています。すべての推論サーバーが GKE でホストされていない場合は、すべてのバックエンドでの AI 推論モデル提供のためのネットワーキングをご覧ください。このドキュメントでは、アプリケーションの設計方法や個々の生成 AI モデルのデプロイ方法については説明しません。モデルをデプロイする方法については、企業で生成 AI モデルと ML モデルを構築してデプロイするをご覧ください。

このアーキテクチャは、アプリケーション ネットワーキング アーキテクチャの分散型アプリケーション向けのクロスクラウド ネットワークやその他の設計と連携します。

アーキテクチャ

次の図は、GKE でホストされる推論サーバーの前に Inference Gateway を配置したアーキテクチャを示しています。Gateway は、ホストされているすべてのモデルに統合サービスを提供します。

AI 推論のためのネットワーキングの概要。

この図のアーキテクチャには、次のコンポーネントが含まれています。

  • Private Service Connect 推論エンドポイント: ホストされているすべてのモデルの統合エンドポイント。エンドユーザーは、エンドポイントの IP アドレスに推論リクエストを送信します。この図は、単一のコンシューマー Virtual Private Cloud(VPC)ネットワーク内の Private Service Connect エンドポイントを示しています。エンドポイントは、複数の VPC ネットワークまたは共有サービス VPC ネットワークでホストできます。
  • Inference Gateway: Inference Gateway は、GKE Gateway を拡張して、GKE が生成 AI アプリケーションとワークロードを処理する方法を最適化します。モデル名に基づいて、トラフィックをモデルレプリカの推論プールにルーティングします。各プール内で、llm-d エンドポイント ピッカー(EPP)は、リアルタイムのモデルサーバー シグナルを使用してレプリカをスコアリングします。これらのシグナルには、プレフィックス キャッシュの一致状態、Key-Value(KV)キャッシュの使用率、保留中のリクエスト キューの長さ、アクティブな LoRA アダプタのアフィニティなどがあります。EPP は、この複合スコアに基づいて、リクエストごとに最適なレプリカを選択します。このアーキテクチャでは、顧客向けアプリケーションが OpenAI API 呼び出しを行い、Gateway を介してモデルにアクセスします。Gateway はリージョン内部アプリケーション ロードバランサ(gke-l7-rilb)に基づいてデプロイされるため、インターネットから直接アクセスすることはできません。
    • API 管理: API マネージャーは、API 認証、セキュリティ、レート制限、割り当てトラッキング、その他の API 管理サービスを提供します。このアーキテクチャでは Apigee を使用しますが、他のオプションもサポートしています。ロードバランサから Apigee を呼び出すために、アーキテクチャと Terraform デプロイでは、Service Extensions のトラフィック拡張機能を使用して Apigee Extension Processor を呼び出します。
    • Model Armor: 推論サーバーに到達する前に推論プロンプトの安全性チェックを行う AI ガードレール システム。その後、送信されるレスポンスに対して安全性チェックを行います。このアーキテクチャでは、AI ガードレールに Model Armor を使用しますが、NVIDIA NeMo Guardrails などの他のオプションもサポートしています。このリファレンス アーキテクチャに付属する Terraform デプロイには、基本的な Model Armor 構成が含まれています。
  • 推論プール: 推論プールには、同じモデルのレプリカが含まれます。Gateway はプロンプトを受け取ると、HTTPRoute ルックアップを使用して、モデル識別子に基づいて推論プールを選択します。プールには初期サイズがありますが、自動スケーリングされるように構成できます。
  • モデル レプリカセット: モデル レプリカは、1 つ以上の GPU または TPU にデプロイされる推論サーバーのコピーです。モデルレプリカは、単一ノードまたはマルチノードにできます。レプリカセットは、ロードバランサをフロントエンドとするモデルレプリカの均一なグループです。レプリカセットがマルチノードの場合、GPU はバックエンド RDMA VPC ネットワークを介して相互に接続します。このネットワークは、レール整列型、高帯域幅、低レイテンシの GPU 間ネットワーキングを提供します。

リクエスト フロー

システムは、推論リクエストを次のようにルーティングします。

  1. エンドユーザーが OpenAI API リクエストを Private Service Connect エンドポイントに送信します。このリクエストには、次のものが含まれます。
    • プロンプト。
    • モデル名。ホストされている推論サーバーのいずれかのモデル名と一致する必要があります。
  2. Private Service Connect エンドポイントは、リクエストを Inference Gateway のリージョン内部アプリケーション ロードバランサ バージョンに転送します。
  3. Gateway は、リクエスト本文からモデル名を抽出し、本文ベースのルーティングを使用してリクエスト ヘッダーに挿入します。
  4. Gateway は、必要な API 管理サービスのために、リクエストを API 管理システムに転送します。
  5. Gateway は、スクリーニングのためにプロンプトを Model Armor に送信します。
    • プロンプトに秘匿化できない機密情報が含まれている場合、プロンプトはブロックされ、Model Armor はポリシー違反が検出されたことを示すレスポンスを返します。
    • プロンプトに秘匿化可能な機密情報が含まれている場合、またはプロンプトに問題がない場合、Model Armor は機密情報を秘匿化してプロンプトを転送します。
  6. Gateway は、リクエストのモデルに一致する InferencePool バックエンドの HTTPRoute リソースを参照します。複数のプールが一致する場合、Gateway は構成されたトラフィックの重みを使用してプールを選択します。
  7. Gateway は EPP を呼び出します。EPP は、プール内のレプリカのプレフィックス キャッシュの状態と現在の負荷を評価して、レプリカを選択します。
  8. レプリカはリクエストを処理し、Gateway に返します。
  9. Gateway は、承認または拒否のためにレスポンスを Model Armor に送信します。
  10. Gateway はレスポンスを Private Service Connect エンドポイントに返送し、エンドユーザーに送信します。

次の図は、サンプル デプロイのルーティング ビューを示しています。

サンプル レプリカセットへのプロンプトのフロー。

この例では、ユーザーが選択したモデルに応じてプロンプトが処理されます。

  • Llama: システムは、これらのプロンプトを 90/10 の比率で、Llama モデルを提供する GKE の 2 つの InferencePool レプリカセットに分割します。これらのプールでは、異なる GKE ノードまたはアクセラレータ構成を使用できます。また、新しいモデル バージョン(llama-new)のカナリア ロールアウトを実行することもできます。
  • LoRA-1-gemma または LoRA-2-gemma: システムは、両方のモデルを処理できる同じレプリカセットにすべてのプロンプトを送信します。

いずれの場合も、EPP はプレフィックス キャッシュ アフィニティ、負荷シグナル、LoRA アダプタの状態を組み合わせて、選択したプール内のレプリカを選択します。

使用するプロダクト

このリファレンス アーキテクチャでは、次の Google Cloudプロダクトを使用します。

  • Google Kubernetes Engine(GKE): Google のインフラストラクチャを使用して、コンテナ化されたアプリケーションを大規模にデプロイして運用するために使用できる Kubernetes サービス。
  • GKE Inference Gateway: Google Kubernetes Engine Gateway の拡張機能。生成 AI ワークロードの提供に最適化されたルーティングとロード バランシングを提供します。これにより、AI 推論ワークロードのデプロイ、管理、オブザーバビリティが簡素化されます。
  • Virtual Private Cloud(VPC): Google Cloud ワークロードにグローバルでスケーラブルなネットワーキング機能を提供する仮想システム。VPC には、VPC ネットワーク ピアリング、Private Service Connect、プライベート サービス アクセス、共有 VPC が含まれます。
  • Private Service Connect: コンシューマーが VPC ネットワーク内からマネージド サービスにプライベート接続でアクセスできるようにする機能。
  • Cloud Run: Google のスケーラブルなインフラストラクチャ上でコンテナを直接実行できるサーバーレス コンピューティング プラットフォーム。
  • Apigee: API へのアクセス方法と使用方法をきめ細かく制御できる API 管理ツール。セキュリティ、レート制限、割り当ての適用、分析を提供します。
  • Model Armor: 生成 AI リソースとエージェント AI リソースをプロンプト インジェクション、機密データの漏洩、有害なコンテンツから保護するサービス。

代替案を設計する

このセクションでは、このアーキテクチャの基本となる前提条件の代替案について説明します。

AI ガードレール

AI ガードレールに Model Armor を使用します。管理を一元化するには、このアーキテクチャに示すように、ロードバランサから Model Armor を直接呼び出します。Model Armor は、次の方法でも実装できます。

  • API 管理ポリシーを使用して Model Armor を呼び出す。
  • Model Armor をレプリカにのみデプロイする。

別のレイヤで AI ガードレールを実装する場合は、フロントエンド ロードバランサで Model Armor をオフにできます。Model Armor を使用しない場合は、トラフィック拡張機能を使用して、NVIDIA NeMo Guardrails などの他のガードレール サービスを統合できます。

API 管理

このドキュメントのアーキテクチャでは、API 管理に Apigee を使用します。これは、Service Extensions のトラフィック拡張機能を使用してデプロイされます。Apigee がニーズに合わない場合は、Service Extensions を使用して別の API 管理サービスをデプロイできます。

Service Extensions を使用して API 管理をデプロイしてもニーズを満たせない場合は、クライアント向けネットワークと API 向けネットワークをデプロイする必要があります。このシナリオでは、API 管理サービスが 2 つのネットワーク間のブリッジとして機能します。Apigee にデプロイする方法については、Apigee ネットワーキング オプションをご覧ください。

他のネットワークへの接続

このドキュメントのアーキテクチャでは、単一のコンシューマー VPC ネットワークを使用します。ただし、クロスクラウド ネットワーク デプロイでサービス アクセス VPC ネットワークを使用すると、Private Service Connect エンドポイントを他の多くのネットワークと共有できます。

設計上の考慮事項

このセクションでは、Google Cloud Well-Architected Framework に沿った設計要素、ベスト プラクティス、推奨事項について説明します。このリファレンス アーキテクチャを使用して、セキュリティ、信頼性、費用の最適化、運用効率、パフォーマンスに関する特定の要件を満たすトポロジを開発する際は、この情報を考慮してください。

セキュリティ、プライバシー、コンプライアンス

ベースライン アーキテクチャは、プライベート ネットワーク上の推論トラフィックを分離し、Model Armor でプロンプトをスクリーニングします。GKE 推論トポロジをさらに強化し、プライバシーとコンプライアンスの要件を満たすには、次の推奨事項を検討してください。

  • エッジとアプリケーション レイヤの保護: 分散型サービス拒否(DDoS)攻撃からの保護、ウェブ アプリケーション ファイアウォール(WAF)ルール、IP アドレス検査を追加するには、Cloud Armor セキュリティ ポリシーをフロントエンドのリージョン内部アプリケーション ロードバランサに接続します。
  • エンドツーエンドの TLS 暗号化:
    • クライアントから Gateway へのトラフィックを暗号化するには、Certificate Manager を使用して Inference Gateway リスナーで HTTPS を終端します。
    • Gateway からモデルサーバー Pod へのトラフィックを暗号化して認証するには、各 InferencePool バックエンドに BackendTLSPolicy リソースを接続します。
  • ゼロトラスト アクセスと境界制御:
  • カスタマイズされたプロンプトとレスポンスのテンプレート:
    • さまざまなリスク プロファイルの安全性のしきい値を調整するには、ユーザー プロンプトとモデルの回答に個別の Model Armor テンプレートを構成します。
    • リージョン固有の個人情報(PII)を検出して匿名化するには、Sensitive Data Protection テンプレートを Model Armor と統合します。

信頼性

ベースライン アーキテクチャでは、自動スケーリング InferencePool バックエンドの前にリージョン Inference Gateway をデプロイします。トラフィックの急増、モデルのロールアウト、クラスタまたはリージョンの停止時の可用性を向上させるには、次の推奨事項を検討してください。

  • マルチリージョンとマルチクラスタのフェイルオーバー:
    • リージョンの停止から保護するには、Google Cloud マルチリージョン デプロイ アーキタイプを使用して、デプロイを 2 番目のリージョンに複製します。
    • アクセラレータの容量をプールし、同じ VPC ネットワーク内の複数の GKE クラスタ間でフェイルオーバーするには、マルチクラスタ Inference Gateway の使用を検討してください。マルチクラスタ ゲートウェイは Model Armor 拡張機能や Apigee Gateway 拡張機能をサポートしていないため、マルチクラスタ ルーティングを使用する場合は、アップストリーム レイヤでこれらの制御を適用します。
  • リクエストの優先順位付けとロード シェディング: 容量の急増時にレイテンシに敏感なトラフィックを保護するには、InferenceObjective リソースで数値の Priority レベルを定義します。InferencePool バックエンドが過負荷になると、Inference Gateway は優先度が負のバッチ リクエストを最初に破棄します。
  • 段階的なロールアウトとロールバック: サービスの中断を最小限に抑えてノード ハードウェア、アクセラレータ ドライバ、ベースモデルを更新するには、並列 InferencePool バックエンドをデプロイし、HTTPRoute の重み付けを使用してトラフィックを段階的に移行します。検証中は元の InferencePool バックエンドをアクティブな状態に保ち、エラーが増加した場合に迅速にロールバックできるようにします。

費用の最適化

通常、GKE での AI 推論コストの大部分を占めるのは、アクセラレータ コンピューティングです。アクセラレータの使用率を最大化し、ベースライン トラフィックとバースト トラフィックの間で容量コストのバランスを取るには、次の推奨事項を検討してください。

  • クラスタの費用管理: GKE の費用削減に関する一般的なガイダンスについては、コストが最適化された Kubernetes アプリケーションを GKE で実行するためのベスト プラクティスをご覧ください。
  • 動的 LoRA 多重化と推論の自動スケーリング:
    • ファインチューニングされたモデルに必要なアクセラレータの数を減らすには、共有ベースモデルと InferencePool リソースで複数の動的 LoRA アダプタを提供します。
    • 実際の推論需要に基づいてレプリカをスケーリングするには、GPU と TPU の KV キャッシュ使用率を追跡する HorizontalPodAutoscaler(HPA)ポリシーを構成します。
  • 階層型アクセラレータのプロビジョニング: アクセラレータの可用性とコストのバランスを取るには、優先順位付けされたフォールバック プロファイルを使用して GKE カスタム コンピューティング クラスを定義します。予測可能な容量が必要な場合や、バースト推論ワークロードがある場合は、ベースライン サービングに容量予約、時間的に柔軟なスケーリングに Dynamic Workload Scheduler、中断可能なバーストプールに Spot VM を使用します。

運用効率

マルチモデル推論プラットフォームを運用するには、ゲートウェイ ルーティング、KV キャッシュの飽和、アクセラレータ ネットワーキングを可視化する必要があります。GKE での Day 2 のモニタリング、トラブルシューティング、クラスタ プロビジョニングを効率化するには、次の推奨事項を検討してください。

  • 統合された推論のオブザーバビリティとアラート: Google Cloud Managed Service for Prometheus の llm-d 概要ダッシュボードを使用して、リクエストのスループット、レイテンシ、エラー率、キューの深さ、KV キャッシュの飽和度をモニタリングします。
  • 自動化されたアクセラレータ ネットワーキングとベンチマーク:

パフォーマンスの最適化

推論のレイテンシとスループットは、モデルサーバーのチューニングと、Inference Gateway がレプリカ間でリクエストをスケジュールする方法の両方に依存します。最初のトークンまでの時間(TTFT)を短縮し、GKE でのサービング スループットを向上させるには、次の推奨事項を検討してください。

デプロイ

このアーキテクチャのサンプル実装をデプロイするには、GitHub で入手できる AI 推論モデル提供用のネットワーキングのコードサンプルを使用します。

次のステップ

寄稿者

著者: Victor Moreno | プロダクト マネージャー、クラウド ネットワーキング

その他の寄稿者:

  • Mark Schlagenhauf | テクニカル ライター、ネットワーキング
  • James Duncan | ソリューション プロダクト マネージャー
  • Ammett Williams | デベロッパー リレーションズ エンジニア