このドキュメントでは、Google Kubernetes Engine(GKE)を使用してマルチモデル推論サービスを作成するためのリファレンス アーキテクチャについて説明します。このアーキテクチャでは、GKE でホストされる推論プールが GKE Inference Gateway の背後に配置されます。このアーキテクチャには次のような利点があります。
- すべての推論リクエストに対応する単一のインターフェース。
- 各リクエストを最も効率的に処理できるモデルと推論サーバーにインテリジェントにルーティングします。
- 認可、セキュリティ、その他のサービスの一元化。
このドキュメントは、GKE で実行される推論サーバーのデプロイの統合を担当するネットワーク アーキテクトを対象としています。すべての推論サーバーが GKE でホストされていない場合は、すべてのバックエンドでの AI 推論モデル提供のためのネットワーキングをご覧ください。このドキュメントでは、アプリケーションの設計方法や個々の生成 AI モデルのデプロイ方法については説明しません。モデルをデプロイする方法については、企業で生成 AI モデルと ML モデルを構築してデプロイするをご覧ください。
このアーキテクチャは、アプリケーション ネットワーキング アーキテクチャの分散型アプリケーション向けのクロスクラウド ネットワークやその他の設計と連携します。
アーキテクチャ
次の図は、GKE でホストされる推論サーバーの前に Inference Gateway を配置したアーキテクチャを示しています。Gateway は、ホストされているすべてのモデルに統合サービスを提供します。
この図のアーキテクチャには、次のコンポーネントが含まれています。
- Private Service Connect 推論エンドポイント: ホストされているすべてのモデルの統合エンドポイント。エンドユーザーは、エンドポイントの IP アドレスに推論リクエストを送信します。この図は、単一のコンシューマー Virtual Private Cloud(VPC)ネットワーク内の Private Service Connect エンドポイントを示しています。エンドポイントは、複数の VPC ネットワークまたは共有サービス VPC ネットワークでホストできます。
- Inference Gateway: Inference Gateway は、GKE Gateway を拡張して、GKE が生成 AI アプリケーションとワークロードを処理する方法を最適化します。モデル名に基づいて、トラフィックをモデルレプリカの推論プールにルーティングします。各プール内で、llm-d エンドポイント ピッカー(EPP)は、リアルタイムのモデルサーバー シグナルを使用してレプリカをスコアリングします。これらのシグナルには、プレフィックス キャッシュの一致状態、Key-Value(KV)キャッシュの使用率、保留中のリクエスト キューの長さ、アクティブな LoRA アダプタのアフィニティなどがあります。EPP は、この複合スコアに基づいて、リクエストごとに最適なレプリカを選択します。このアーキテクチャでは、顧客向けアプリケーションが OpenAI API 呼び出しを行い、Gateway を介してモデルにアクセスします。Gateway はリージョン内部アプリケーション ロードバランサ(
gke-l7-rilb)に基づいてデプロイされるため、インターネットから直接アクセスすることはできません。- API 管理: API マネージャーは、API 認証、セキュリティ、レート制限、割り当てトラッキング、その他の API 管理サービスを提供します。このアーキテクチャでは Apigee を使用しますが、他のオプションもサポートしています。ロードバランサから Apigee を呼び出すために、アーキテクチャと Terraform デプロイでは、Service Extensions のトラフィック拡張機能を使用して Apigee Extension Processor を呼び出します。
- Model Armor: 推論サーバーに到達する前に推論プロンプトの安全性チェックを行う AI ガードレール システム。その後、送信されるレスポンスに対して安全性チェックを行います。このアーキテクチャでは、AI ガードレールに Model Armor を使用しますが、NVIDIA NeMo Guardrails などの他のオプションもサポートしています。このリファレンス アーキテクチャに付属する Terraform デプロイには、基本的な Model Armor 構成が含まれています。
- 推論プール: 推論プールには、同じモデルのレプリカが含まれます。Gateway はプロンプトを受け取ると、
HTTPRouteルックアップを使用して、モデル識別子に基づいて推論プールを選択します。プールには初期サイズがありますが、自動スケーリングされるように構成できます。 - モデル レプリカセット: モデル レプリカは、1 つ以上の GPU または TPU にデプロイされる推論サーバーのコピーです。モデルレプリカは、単一ノードまたはマルチノードにできます。レプリカセットは、ロードバランサをフロントエンドとするモデルレプリカの均一なグループです。レプリカセットがマルチノードの場合、GPU はバックエンド RDMA VPC ネットワークを介して相互に接続します。このネットワークは、レール整列型、高帯域幅、低レイテンシの GPU 間ネットワーキングを提供します。
リクエスト フロー
システムは、推論リクエストを次のようにルーティングします。
- エンドユーザーが OpenAI API リクエストを Private Service Connect エンドポイントに送信します。このリクエストには、次のものが含まれます。
- プロンプト。
- モデル名。ホストされている推論サーバーのいずれかのモデル名と一致する必要があります。
- Private Service Connect エンドポイントは、リクエストを Inference Gateway のリージョン内部アプリケーション ロードバランサ バージョンに転送します。
- Gateway は、リクエスト本文からモデル名を抽出し、本文ベースのルーティングを使用してリクエスト ヘッダーに挿入します。
- Gateway は、必要な API 管理サービスのために、リクエストを API 管理システムに転送します。
- Gateway は、スクリーニングのためにプロンプトを Model Armor に送信します。
- プロンプトに秘匿化できない機密情報が含まれている場合、プロンプトはブロックされ、Model Armor はポリシー違反が検出されたことを示すレスポンスを返します。
- プロンプトに秘匿化可能な機密情報が含まれている場合、またはプロンプトに問題がない場合、Model Armor は機密情報を秘匿化してプロンプトを転送します。
- Gateway は、リクエストのモデルに一致する
InferencePoolバックエンドのHTTPRouteリソースを参照します。複数のプールが一致する場合、Gateway は構成されたトラフィックの重みを使用してプールを選択します。 - Gateway は EPP を呼び出します。EPP は、プール内のレプリカのプレフィックス キャッシュの状態と現在の負荷を評価して、レプリカを選択します。
- レプリカはリクエストを処理し、Gateway に返します。
- Gateway は、承認または拒否のためにレスポンスを Model Armor に送信します。
- Gateway はレスポンスを Private Service Connect エンドポイントに返送し、エンドユーザーに送信します。
次の図は、サンプル デプロイのルーティング ビューを示しています。
この例では、ユーザーが選択したモデルに応じてプロンプトが処理されます。
- Llama: システムは、これらのプロンプトを 90/10 の比率で、Llama モデルを提供する GKE の 2 つの
InferencePoolレプリカセットに分割します。これらのプールでは、異なる GKE ノードまたはアクセラレータ構成を使用できます。また、新しいモデル バージョン(llama-new)のカナリア ロールアウトを実行することもできます。 - LoRA-1-gemma または LoRA-2-gemma: システムは、両方のモデルを処理できる同じレプリカセットにすべてのプロンプトを送信します。
いずれの場合も、EPP はプレフィックス キャッシュ アフィニティ、負荷シグナル、LoRA アダプタの状態を組み合わせて、選択したプール内のレプリカを選択します。
使用するプロダクト
このリファレンス アーキテクチャでは、次の Google Cloudプロダクトを使用します。
- Google Kubernetes Engine(GKE): Google のインフラストラクチャを使用して、コンテナ化されたアプリケーションを大規模にデプロイして運用するために使用できる Kubernetes サービス。
- GKE Inference Gateway: Google Kubernetes Engine Gateway の拡張機能。生成 AI ワークロードの提供に最適化されたルーティングとロード バランシングを提供します。これにより、AI 推論ワークロードのデプロイ、管理、オブザーバビリティが簡素化されます。
- Virtual Private Cloud(VPC): Google Cloud ワークロードにグローバルでスケーラブルなネットワーキング機能を提供する仮想システム。VPC には、VPC ネットワーク ピアリング、Private Service Connect、プライベート サービス アクセス、共有 VPC が含まれます。
- Private Service Connect: コンシューマーが VPC ネットワーク内からマネージド サービスにプライベート接続でアクセスできるようにする機能。
- Cloud Run: Google のスケーラブルなインフラストラクチャ上でコンテナを直接実行できるサーバーレス コンピューティング プラットフォーム。
- Apigee: API へのアクセス方法と使用方法をきめ細かく制御できる API 管理ツール。セキュリティ、レート制限、割り当ての適用、分析を提供します。
- Model Armor: 生成 AI リソースとエージェント AI リソースをプロンプト インジェクション、機密データの漏洩、有害なコンテンツから保護するサービス。
代替案を設計する
このセクションでは、このアーキテクチャの基本となる前提条件の代替案について説明します。
AI ガードレール
AI ガードレールに Model Armor を使用します。管理を一元化するには、このアーキテクチャに示すように、ロードバランサから Model Armor を直接呼び出します。Model Armor は、次の方法でも実装できます。
- API 管理ポリシーを使用して Model Armor を呼び出す。
- Model Armor をレプリカにのみデプロイする。
別のレイヤで AI ガードレールを実装する場合は、フロントエンド ロードバランサで Model Armor をオフにできます。Model Armor を使用しない場合は、トラフィック拡張機能を使用して、NVIDIA NeMo Guardrails などの他のガードレール サービスを統合できます。
API 管理
このドキュメントのアーキテクチャでは、API 管理に Apigee を使用します。これは、Service Extensions のトラフィック拡張機能を使用してデプロイされます。Apigee がニーズに合わない場合は、Service Extensions を使用して別の API 管理サービスをデプロイできます。
Service Extensions を使用して API 管理をデプロイしてもニーズを満たせない場合は、クライアント向けネットワークと API 向けネットワークをデプロイする必要があります。このシナリオでは、API 管理サービスが 2 つのネットワーク間のブリッジとして機能します。Apigee にデプロイする方法については、Apigee ネットワーキング オプションをご覧ください。
他のネットワークへの接続
このドキュメントのアーキテクチャでは、単一のコンシューマー VPC ネットワークを使用します。ただし、クロスクラウド ネットワーク デプロイでサービス アクセス VPC ネットワークを使用すると、Private Service Connect エンドポイントを他の多くのネットワークと共有できます。
設計上の考慮事項
このセクションでは、Google Cloud Well-Architected Framework に沿った設計要素、ベスト プラクティス、推奨事項について説明します。このリファレンス アーキテクチャを使用して、セキュリティ、信頼性、費用の最適化、運用効率、パフォーマンスに関する特定の要件を満たすトポロジを開発する際は、この情報を考慮してください。
セキュリティ、プライバシー、コンプライアンス
ベースライン アーキテクチャは、プライベート ネットワーク上の推論トラフィックを分離し、Model Armor でプロンプトをスクリーニングします。GKE 推論トポロジをさらに強化し、プライバシーとコンプライアンスの要件を満たすには、次の推奨事項を検討してください。
- エッジとアプリケーション レイヤの保護: 分散型サービス拒否(DDoS)攻撃からの保護、ウェブ アプリケーション ファイアウォール(WAF)ルール、IP アドレス検査を追加するには、Cloud Armor セキュリティ ポリシーをフロントエンドのリージョン内部アプリケーション ロードバランサに接続します。
- エンドツーエンドの TLS 暗号化:
- クライアントから Gateway へのトラフィックを暗号化するには、Certificate Manager を使用して Inference Gateway リスナーで HTTPS を終端します。
- Gateway からモデルサーバー Pod へのトラフィックを暗号化して認証するには、各
InferencePoolバックエンドにBackendTLSPolicyリソースを接続します。
- ゼロトラスト アクセスと境界制御:
- リクエストが推論バックエンドに到達する前にリクエストを認証して認可するには、Gateway で Identity-Aware Proxy(IAP)を有効にします。
- プロジェクト間でデータとモデルが引き出されないようにするには、プロデューサー VPC ネットワークを VPC Service Controls サービス境界内に配置します。境界内から Model Armor リージョン エンドポイントにアクセスする場合は、Model Armor API のリージョン Private Service Connect エンドポイントを作成します。
- カスタマイズされたプロンプトとレスポンスのテンプレート:
- さまざまなリスク プロファイルの安全性のしきい値を調整するには、ユーザー プロンプトとモデルの回答に個別の Model Armor テンプレートを構成します。
- リージョン固有の個人情報(PII)を検出して匿名化するには、Sensitive Data Protection テンプレートを Model Armor と統合します。
信頼性
ベースライン アーキテクチャでは、自動スケーリング InferencePool バックエンドの前にリージョン Inference Gateway をデプロイします。トラフィックの急増、モデルのロールアウト、クラスタまたはリージョンの停止時の可用性を向上させるには、次の推奨事項を検討してください。
- マルチリージョンとマルチクラスタのフェイルオーバー:
- リージョンの停止から保護するには、Google Cloud マルチリージョン デプロイ アーキタイプを使用して、デプロイを 2 番目のリージョンに複製します。
- アクセラレータの容量をプールし、同じ VPC ネットワーク内の複数の GKE クラスタ間でフェイルオーバーするには、マルチクラスタ Inference Gateway の使用を検討してください。マルチクラスタ ゲートウェイは Model Armor 拡張機能や Apigee Gateway 拡張機能をサポートしていないため、マルチクラスタ ルーティングを使用する場合は、アップストリーム レイヤでこれらの制御を適用します。
- リクエストの優先順位付けとロード シェディング: 容量の急増時にレイテンシに敏感なトラフィックを保護するには、
InferenceObjectiveリソースで数値のPriorityレベルを定義します。InferencePoolバックエンドが過負荷になると、Inference Gateway は優先度が負のバッチ リクエストを最初に破棄します。 - 段階的なロールアウトとロールバック: サービスの中断を最小限に抑えてノード ハードウェア、アクセラレータ ドライバ、ベースモデルを更新するには、並列
InferencePoolバックエンドをデプロイし、HTTPRouteの重み付けを使用してトラフィックを段階的に移行します。検証中は元のInferencePoolバックエンドをアクティブな状態に保ち、エラーが増加した場合に迅速にロールバックできるようにします。
費用の最適化
通常、GKE での AI 推論コストの大部分を占めるのは、アクセラレータ コンピューティングです。アクセラレータの使用率を最大化し、ベースライン トラフィックとバースト トラフィックの間で容量コストのバランスを取るには、次の推奨事項を検討してください。
- クラスタの費用管理: GKE の費用削減に関する一般的なガイダンスについては、コストが最適化された Kubernetes アプリケーションを GKE で実行するためのベスト プラクティスをご覧ください。
- 動的 LoRA 多重化と推論の自動スケーリング:
- ファインチューニングされたモデルに必要なアクセラレータの数を減らすには、共有ベースモデルと
InferencePoolリソースで複数の動的 LoRA アダプタを提供します。 - 実際の推論需要に基づいてレプリカをスケーリングするには、GPU と TPU の KV キャッシュ使用率を追跡する HorizontalPodAutoscaler(HPA)ポリシーを構成します。
- ファインチューニングされたモデルに必要なアクセラレータの数を減らすには、共有ベースモデルと
- 階層型アクセラレータのプロビジョニング: アクセラレータの可用性とコストのバランスを取るには、優先順位付けされたフォールバック プロファイルを使用して GKE カスタム コンピューティング クラスを定義します。予測可能な容量が必要な場合や、バースト推論ワークロードがある場合は、ベースライン サービングに容量予約、時間的に柔軟なスケーリングに Dynamic Workload Scheduler、中断可能なバーストプールに Spot VM を使用します。
運用効率
マルチモデル推論プラットフォームを運用するには、ゲートウェイ ルーティング、KV キャッシュの飽和、アクセラレータ ネットワーキングを可視化する必要があります。GKE での Day 2 のモニタリング、トラブルシューティング、クラスタ プロビジョニングを効率化するには、次の推奨事項を検討してください。
- 統合された推論のオブザーバビリティとアラート: Google Cloud Managed Service for Prometheus の llm-d 概要ダッシュボードを使用して、リクエストのスループット、レイテンシ、エラー率、キューの深さ、KV キャッシュの飽和度をモニタリングします。
- トラブルシューティングのためにリクエストとレスポンスの詳細なメタデータをキャプチャするには、Cloud Logging で
GCPBackendPolicyHTTP アクセス ロギングを有効にします。 - レイテンシの急増または KV キャッシュの枯渇を早期に検出するには、Cloud Monitoring のアラート ポリシーを構成します。
- トラブルシューティングのためにリクエストとレスポンスの詳細なメタデータをキャプチャするには、Cloud Logging で
- 自動化されたアクセラレータ ネットワーキングとベンチマーク:
- アクセラレータ ノードプールでマルチ NIC と RDMA VPC の設定を簡素化するには、アクセラレータ VM の自動ネットワーキングを使用します。
- RDMA ネットワーク インターフェースをマルチノード推論 Pod に動的に割り当てるには、GKE マネージド DRANET を使用します。
- モデルとアクセラレータのベンチマーク サービング マニフェストと HPA しきい値を生成するには、GKE Inference クイックスタートを使用します。
パフォーマンスの最適化
推論のレイテンシとスループットは、モデルサーバーのチューニングと、Inference Gateway がレプリカ間でリクエストをスケジュールする方法の両方に依存します。最初のトークンまでの時間(TTFT)を短縮し、GKE でのサービング スループットを向上させるには、次の推奨事項を検討してください。
- 推論サービングのチューニング: GKE での推論に関するベスト プラクティスの概要の推奨事項に従います。GPU のスループットを向上させ、レイテンシを短縮するには、GPU を使用して LLM 推論を最適化する際のベスト プラクティスで説明されているように、量子化、テンソル並列処理、KV キャッシュ チューニングを適用します。
- 予測レイテンシベースのルーティングとマルチポート サービング: 同種の
InferencePoolバックエンドが、長さが大きく異なるプロンプトを処理する場合や、リクエストごとのレイテンシ SLO を適用する場合は、予測レイテンシベースのルーティングを有効にすることを検討してください。データ並列アテンション デプロイなど、Pod ごとに複数のポートが必要なモデルサーバーの場合は、50 NEG バックエンド サービスの上限内でマルチポートInferencePoolリソースを構成します。
デプロイ
このアーキテクチャのサンプル実装をデプロイするには、GitHub で入手できる AI 推論モデル提供用のネットワーキングのコードサンプルを使用します。
次のステップ
- デプロイに検索拡張生成(RAG)を追加する方法については、RAG 対応生成 AI アプリケーションのプライベート接続をご覧ください。
- Cloud アーキテクチャ センターで、リファレンス アーキテクチャ、図、ベスト プラクティスを確認する。
寄稿者
著者: Victor Moreno | プロダクト マネージャー、クラウド ネットワーキング
その他の寄稿者:
- Mark Schlagenhauf | テクニカル ライター、ネットワーキング
- James Duncan | ソリューション プロダクト マネージャー
- Ammett Williams | デベロッパー リレーションズ エンジニア