專屬公開端點是用於線上推論的公開端點。這項功能有以下優點：
- 專用網路：將推論要求傳送至專用公開端點時，該要求會與其他使用者的流量隔離。
- 最佳化網路延遲時間
- 支援更大的酬載：最大 10 MB。
- 要求逾時時間更長：最多可設定為 1 小時。
- 支援生成式 AI：支援串流和 gRPC。推論逾時時間最長可設為 1 小時。
因此，建議您使用專屬公開端點，做為提供 Gemini Enterprise Agent Platform 線上推論的最佳做法。
詳情請參閱「選擇端點類型」。
建立專屬公開端點，並將模型部署至該端點
您可以使用Google Cloud 控制台建立專屬端點，並將模型部署至該端點。詳情請參閱「使用 Google Cloud 控制台部署模型」。
您也可以建立專屬的公開端點，並使用 Gemini Enterprise API 將模型部署至該端點，如下所示：
- 建立專屬公開端點。建立端點時，可設定推論逾時和要求/回應記錄。
- 使用 Gemini Enterprise API 部署模型。
透過專屬公開端點取得線上推論
專屬端點支援 HTTP 和 gRPC 通訊協定。如果是 gRPC 要求，則必須加入 x-vertex-ai-endpoint-id 標頭，才能正確識別端點。支援的 API 如下：
- 預測
- RawPredict
- StreamRawPredict
- Chat Completion (僅限 Gemini Enterprise Agent Platform Model Garden)
您可以使用 Agent Platform SDK for Python，將線上推論要求傳送至專屬公開端點。詳情請參閱「將線上推論要求傳送至專屬公開端點」。
教學課程
限制
- 不支援部署調整後的 Gemini 模型。
- 不支援 VPC Service Controls。請改用 Private Service Connect 端點。
後續步驟
- 瞭解 Gemini Enterprise Agent Platform 線上推論端點類型。