オンライン推論用にモデルをデプロイするには、エンドポイントが必要です。エンドポイントは次のタイプに分類できます。
パブリック エンドポイントには、公共のインターネット経由でアクセスできます。プライベート ネットワーク インフラストラクチャが不要なため、使いやすくなっています。パブリック エンドポイントには、専用と共有の 2 種類があります。専用パブリック エンドポイントは、共有パブリック エンドポイントよりも高速なエンドポイントであり、本番環境の隔離、より大きなペイロード サイズのサポート、より長いリクエスト タイムアウトを提供します。また、専用パブリック エンドポイントに推論リクエストを送信すると、他のユーザーのトラフィックから分離されます。このような理由から、専用のパブリック エンドポイントをベスト プラクティスとしておすすめします。
Private Service Connect を使用する専用プライベート エンドポイントは、オンプレミスとGoogle Cloudの間のプライベート通信に安全な接続を提供します。これらは、Private Service Connect API を使用して Google API トラフィックを制御するために使用できます。これらはベスト プラクティスとして推奨されます。
プライベート エンドポイントは、モデルへの安全な接続も提供し、オンプレミスとGoogle Cloudの間のプライベート通信にも使用できます。VPC ネットワーク ピアリング接続を介してプライベート サービス アクセスを使用します。
エンドポイントへのモデルのデプロイの詳細については、エンドポイントにモデルをデプロイするをご覧ください。
次の表に、Vertex AI オンライン推論のサービングでサポートされているエンドポイント タイプを比較します。
| 専用パブリック エンドポイント（推奨） | 共有パブリック エンドポイント | Private Service Connect を使用する専用プライベート エンドポイント（推奨） | プライベート エンドポイント | |
|---|---|---|---|---|
| 目的 | デフォルトのネットワーキング エクスペリエンス。公共のインターネットからのリクエストの送信を有効にします。 | デフォルトのネットワーキング エクスペリエンス。公共のインターネットからのリクエストの送信を有効にします。 | 本番環境のエンタープライズ アプリケーションに推奨されます。リクエストとレスポンスが非公開でルーティングされるようにすることで、ネットワーク レイテンシとセキュリティを向上させます。 | 本番環境のエンタープライズ アプリケーションに推奨されます。リクエストとレスポンスが非公開でルーティングされるようにすることで、ネットワーク レイテンシとセキュリティを向上させます。 |
| ネットワーキング アクセス | 専用のネットワーキング プレーンを使用する公共のインターネット | 共有ネットワーキング プレーンを使用する公共のインターネット | Private Service Connect エンドポイントを使用するプライベート ネットワーキング | プライベート サービス アクセス（VPC ネットワーク ピアリング）を使用するプライベート ネットワーキング |
| VPC Service Controls | サポートされていません。代わりに専用プライベート エンドポイントを使用してください。 | 対応 | 対応 | 対応 |
| 料金 | Vertex AI Inference | Vertex AI Inference | Vertex AI Inference + Private Service Connect エンドポイント | Vertex AI Inference + プライベート サービス アクセス（「Private Service Connect エンドポイント（転送ルール）を使用して、公開済みのサービスにアクセスする」をご覧ください） |
| ネットワーク遅延 | 最適化 | 最適化なし | 最適化 | 最適化 |
| 転送データの暗号化 | CA 署名付き証明書を使用した TLS | CA 署名付き証明書を使用した TLS | 自己署名証明書を使用した TLS（省略可） | なし |
| 推論のタイムアウト | 構成可能（最大 1 時間） | 60 秒 | 構成可能（最大 1 時間） | 60 秒 |
| ペイロード サイズの上限 | 10 MB | 1.5 MB | 10 MB | 10 MB |
| QPM の割り当て | 無制限 | 30,000 | 無制限 | 無制限 |
| プロトコル サポート | HTTP または gRPC | HTTP | HTTP または gRPC | HTTP |
| ストリーミングのサポート | はい（SSE） | いいえ | はい（SSE） | いいえ |
| トラフィック分割 | はい | はい | はい | いいえ |
| リクエストとレスポンスのロギング | はい | はい | はい | いいえ |
| アクセス ロギング | はい | はい | はい | いいえ |
| チューニングされた Gemini モデルのデプロイ | いいえ | はい | いいえ | いいえ |
| AutoML モデルと説明可能性 | いいえ | はい | いいえ | いいえ |
| サポートされているクライアント ライブラリ | Vertex AI SDK for Python | Vertex AI クライアント ライブラリ、Vertex AI SDK for Python | Vertex AI SDK for Python | Vertex AI SDK for Python |
次のステップ
- エンドポイントにモデルをデプロイする方法を確認する。