本文說明如何部署 GKE Inference Gateway。
本文適用對象為負責管理 GKE 基礎架構的網路專家,以及管理 AI 工作負載的平台管理員。
閱讀本頁面之前,請務必熟悉下列內容:
- 關於 GKE Inference Gateway。
- GKE 中的 AI/機器學習自動化調度管理機制。
- 生成式 AI 詞彙表。
- Google Cloud中的負載平衡,尤其是負載平衡器與 GKE 的互動方式。
- GKE Service Extensions。詳情請參閱 GKE Gateway 控制器說明文件。
- 使用 Service Extensions 自訂 GKE Gateway 流量。
GKE Inference Gateway 強化了 Google Kubernetes Engine (GKE) Gateway,可最佳化 GKE 上生成式 AI 應用程式和工作負載的提供。這項服務可有效管理及擴充 AI 工作負載、達成延遲時間等工作負載專屬成效目標,並提升資源使用率、觀測能力和 AI 安全性。
事前準備
開始之前,請確認您已執行下列工作:
- 啟用 Google Kubernetes Engine API。 啟用 Google Kubernetes Engine API
- 如要使用 Google Cloud CLI 執行這項工作,請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI,請執行
gcloud components update指令,取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文件中的指令。
視需要啟用 Compute Engine API、Kubernetes Engine API、Network Services API 和 Model Armor API。
前往「啟用 API 存取權」,然後按照操作說明進行。
確認您在專案中具備下列角色:
roles/container.admin、roles/iam.serviceAccountAdmin。如果還沒有 Hugging Face 帳戶,請先建立一個。您需要這個值,才能存取本教學課程的模型資源。
要求 Llama 3.1 模型的存取權,並產生存取權杖。您必須在 Hugging Face 提出核准要求並獲得核准,才能存取這個模型。如果未取得存取權,部署作業就會失敗。
- 簽署授權同意協議:您必須簽署同意協議,才能使用 Llama 3.1 模型。前往 Hugging Face 的模型頁面,驗證帳戶並接受條款。
- 產生存取權杖:您需要 Hugging Face 權杖,才能存取模型。在 Hugging Face 帳戶中,依序前往「Your Profile」>「Settings」>「Access Tokens」,建立至少具備讀取權限的新權杖,然後複製到剪貼簿。
為虛擬私有雲網路設定僅限 Proxy 子網路。閘道控制器需要該區域中有一個有效的 Proxy 專用子網路,才能佈建應用程式負載平衡器。
GKE Gateway 控制器需求
- GKE 1.32.3 以上版本。
- Google Cloud CLI 407.0.0 以上版本。
- Gateway API 僅支援 VPC 原生叢集。
- 叢集必須啟用
HttpLoadBalancing外掛程式。 - 如果您使用 Istio,必須將 Istio 升級至下列其中一個版本:
- 1.15.2 以上版本
- 1.14.5 以上版本
- 1.13.9 以上版本
- 如果您使用 Shared VPC,則必須在主專案中,將
Compute Network User角色指派給服務專案的 GKE 服務帳戶。
規定與限制
相關限制如下:
- GKE Inference Gateway 僅支援
gke-l7-regional-external-managed和gke-l7-rilbGatewayClass 資源。 - 不支援跨區域內部應用程式負載平衡器。
- 一個 InferencePool 最多可以有八個
targetPorts。
設定 GKE Inference Gateway
如要設定 GKE Inference Gateway,請參考以下範例。某團隊執行 vLLM 和 Llama3 模型,並積極實驗兩種不同的 LoRA 微調轉接器:「food-review」和「cad-fabricator」。
設定 GKE Inference Gateway 的高階工作流程如下:
- 準備環境:設定必要的基礎架構和元件。
- 建立推論集區:使用 InferencePool 自訂資源定義模型伺服器集區。
- 指定推論目標:使用
InferenceObjective自訂資源指定推論目標 - 建立閘道:使用 Gateway API 公開推論服務。
- 建立
HTTPRoute:定義 HTTP 流量如何轉送至推論服務。 - 傳送推論要求:向已部署的模型提出要求。
建立閘道
Gateway 資源是外部流量進入 Kubernetes 叢集的進入點。定義接受傳入連線的監聽器。
GKE Inference Gateway 支援下列閘道類別:
gke-l7-rilb:適用於區域性內部應用程式負載平衡器。gke-l7-regional-external-managed:適用於區域性外部應用程式負載平衡器。
詳情請參閱閘道類別說明文件。
如要建立閘道,請按照下列步驟操作:
將下列資訊清單範例儲存為
gateway.yaml:apiVersion: gateway.networking.k8s.io/v1 kind: Gateway metadata: name: GATEWAY_NAME spec: gatewayClassName: GATEWAY_CLASS listeners: - protocol: HTTP port: 80 name: http更改下列內容:
GATEWAY_NAME:閘道資源的專屬名稱。例如:inference-gateway。GATEWAY_CLASS:要使用的閘道類別。例如:gke-l7-regional-external-managed。
將資訊清單套用至叢集:
kubectl apply -f gateway.yaml
注意:如要進一步瞭解如何設定 TLS,透過 HTTPS 保護閘道,請參閱 GKE TLS 設定說明文件。
準備環境
安裝 Helm。
建立 GKE 叢集:
- 建立 1.32.3 以上版本的 GKE Autopilot 或 Standard 叢集。如需一鍵部署參考設定,請參閱
cluster-toolkit gke-a3-highgpu範例。 - 使用偏好的運算系列和加速器設定節點。
- 使用 GKE Inference Quickstart,根據所選加速器、模型和效能需求,取得預先設定且經過測試的部署資訊清單。
- 建立 1.32.3 以上版本的 GKE Autopilot 或 Standard 叢集。如需一鍵部署參考設定,請參閱
在 GKE 叢集中安裝必要的自訂資源定義 (CRD):
如果是 GKE
1.34.0-gke.1626000以上版本,系統預設會納入InferencePoolCRD。因此,請只安裝 Alpha 版InferenceObjectiveCRD:kubectl apply -f https://github.com/kubernetes-sigs/gateway-api-inference-extension/raw/v1.5.0/config/crd/bases/inference.networking.x-k8s.io_inferenceobjectives.yaml如果 GKE 版本早於
1.34.0-gke.1626000,請安裝 v1 InferencePool 和 alphaInferenceObjectiveCRD:kubectl apply -f https://github.com/kubernetes-sigs/gateway-api-inference-extension/releases/download/v1.5.0/manifests.yaml詳情請參閱相容性矩陣。
如果您使用的 GKE 版本低於
v1.32.2-gke.1182001,且想搭配使用 Model Armor 和 GKE Inference Gateway,則必須安裝流量和轉送擴充功能 CRD:kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/gke-gateway-api/refs/heads/main/config/crd/networking.gke.io_gcptrafficextensions.yaml kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/gke-gateway-api/refs/heads/main/config/crd/networking.gke.io_gcproutingextensions.yaml請設定下列環境變數:
export GAIE_VERSION=v1.5.0 export GUIDE_NAME="optimized-baseline" export NAMESPACE=llm-d-optimized-baseline export INFRA_PROVIDER=gke # gke | base安裝 llm-d 端點挑選器 (EPP) 所需的 Gateway API 推論擴充功能自訂資源定義 (CRD):
kubectl apply -k \ "https://github.com/kubernetes-sigs/gateway-api-inference-extension/config/crd?ref=${GAIE_VERSION}"建立目標命名空間:
kubectl create namespace ${NAMESPACE}
建立模型伺服器和模型部署作業
本節說明如何部署模型伺服器和模型。這個範例使用 vLLM 模型伺服器和 Llama3 模型。部署作業會標示為 app:vllm-llama3-8b-instruct。這項部署作業也會使用 Hugging Face 的兩個 LoRA 轉接器,分別名為 food-review 和 cad-fabricator。
您可以根據自己的模型伺服器容器和模型、提供模型通訊埠和部署作業名稱,調整這個範例。您也可以在部署作業中設定 LoRA 轉接器,或部署基礎模型。下列步驟說明如何建立必要的 Kubernetes 資源。
建立 Kubernetes Secret 來儲存 Hugging Face 權杖。這個權杖用於存取基礎模型和 LoRA 轉接器:
kubectl create secret generic hf-token --from-literal=token=HF_TOKEN將
HF_TOKEN替換為 Hugging Face 權杖。使用 llm-d optimized-baseline 指南中 GKE 專用的 Kustomize 疊加層,部署 vLLM 模型伺服器。設定
INFRA_PROVIDER=gke會套用 GKE 專屬設定,包括 Cloud Monitoring 整合:kubectl apply -n ${NAMESPACE} \ -k guides/${GUIDE_NAME}/modelserver/gpu/vllm/${INFRA_PROVIDER}/
注意:GKE 預設會自動監控應用程式。llm-d 監控堆疊並非 GKE 的必要項目,但您可以視需要使用。
如果模型伺服器需要多個通訊埠,請確認容器規格會公開每個通訊埠。以下範例定義了容器公開三個通訊埠的 Deployment:
多埠部署範例
apiVersion: apps/v1
kind: Deployment
metadata:
name: multiport-model-server
spec:
replicas: 3
selector:
matchLabels:
app: multiport-model-server
template:
metadata:
labels:
app: multiport-model-server
spec:
containers:
- name: model-server
image: your-model-server-image
ports:
- containerPort: 8080
- containerPort: 8081
- containerPort: 9000
建立推論集區
InferencePool Kubernetes 自訂資源定義了一組 Pod,這些 Pod 具有共同的基本大型語言模型 (LLM) 和運算設定。selector 欄位會指定哪些 Pod 屬於這個集區。這個選取器中的標籤必須與套用至模型伺服器 Pod 的標籤完全相符。targetPorts 欄位定義模型伺服器在 Pod 內使用的通訊埠。最多可以指定八個通訊埠。extensionRef 欄位會參照擴充功能服務,為推論集區提供額外功能。InferencePool 可讓 GKE Inference Gateway 將流量轉送至模型伺服器 Pod。
下列 InferencePool 資訊清單指定多個 targetPort,對應至模型伺服器 Deployment 公開的通訊埠:
多埠 InferencePool 範例
apiVersion: inference.networking.k8s.io/v1
kind: InferencePool
metadata:
name: my-multiport-pool
namespace: default
spec:
selector:
matchLabels:
app: multiport-model-server
targetPorts:
- number: 8080
- number: 8081
- number: 9000
建立 InferencePool 之前,請確認 InferencePool 選取的模型伺服器 Pod 已在運作。
從 llm-d GitHub 存放區複製 InferencePool 的配方和建議。這是必要步驟:
git clone https://github.com/llm-d/llm-d -b v0.7.0 && cd llm-d
如要使用 Helm 建立 InferencePool 和端點挑選器,請按照下列步驟操作:
helm install ${GUIDE_NAME} \
-f guides/recipes/scheduler/base.values.yaml \
-f guides/${GUIDE_NAME}/scheduler/${GUIDE_NAME}.values.yaml \
--set provider.name=gke \
--set inferenceExtension.monitoring.gke.enabled=true \
-n ${NAMESPACE} \
--version ${GAIE_VERSION} \
oci://LLM_D_REGISTRY_PATH
更改下列內容:
GAIE_VERSION:Helm 圖表版本。例如:v1.5.0。LLM_D_REGISTRY_PATH:Helm 圖表的 OCI 登錄檔路徑。例如:registry.k8s.io/gateway-api-inference-extension/charts/inferencepool。
在 guides/recipes/scheduler/base.values.yaml 檔案中,變更下列欄位,使其與模型 Deployment Pod 的標籤相符:
inferencePool.modelServers.matchLabels:用於選取模型伺服器 Pod 的標籤鍵和值。注意:鍵和值與
optimized-baseline指南範例一致,因此我們會將其替換為與 Deployment Pod 標籤相符的值。
監控方面,系統預設會啟用 Google Cloud Managed Service for Prometheus 的指標抓取功能。
- 如要停用這項功能,請在指令中加入
--set inferenceExtension.monitoring.prometheus.enabled=false旗標。 - 如果您在 GKE Autopilot 叢集上使用預設監控功能,也必須新增
--set provider.gke.autopilot=true旗標。
Helm 安裝作業會自動安裝必要的逾時政策、端點挑選器,以及觀測能力所需的 Pod。
這會建立 InferencePool 物件:vllm-llama3-8b-instruct,參照 Pod 內的模型端點服務。此外,系統也會為這個建立的 InferencePool,建立名為 app:vllm-llama3-8b-instruct-epp 的端點挑選器部署作業。
部署高可用性端點挑選器
部署端點挑選器 (EPP) 並設定偏好後端,即可啟用由 Cloud Load Balancing 支援的主動-被動轉送拓撲。
搭配使用端點挑選器和偏好的後端,可達到下列效果:
- 狀態一致性:Cloud Load Balancing 會將 100% 的穩定狀態
ext_proc流量導向主要端點挑選器副本 (epp-0),保留鍵/值 (KV) 快取狀態和要求排程情境。 - 零停機時間容錯移轉:如果主要端點挑選器 Pod 當機或進行維護,Cloud Load Balancing 會使用主動 gRPC 健康狀態檢查偵測故障,並立即將流量轉送至待命副本 (
epp-1)。 - 失敗時仍開放的復原能力:與
failureMode: FailOpen搭配使用時,暫時性轉送失敗會略過端點挑選器,並允許要求直接轉送至模型伺服器,不會捨棄使用者要求。
啟用偏好的後端時,GKE 會以下列方式修改架構和轉送:
- 端點挑選器 StatefulSet 架構:端點挑選器會部署為 StatefulSet,而非 Deployment。Pod 序號會指定副本角色:序號
epp-0做為主要副本,固定在PREFERRED後端層,而序號epp-1做為備用副本,固定在DEFAULT層。 - 路由狀態保持集中:穩定狀態
ext_proc流量會專門路由至主要端點挑選器副本 (epp-0),以集中追蹤鍵/值 (KV) 快取和要求排程狀態。如果epp-0狀態不佳,Cloud Load Balancing 會將流量轉移至待命副本 (epp-1)。 - 雙 Service 架構:Helm 圖表會建立主要 Service (
Service/${GUIDE_NAME}-epp) 和待命備份 Service (Service/${GUIDE_NAME}-epp-backup)。InferencePool資源會以宣告方式指定待命備份 Service。將宣告式閘道擁有權錨定至待命 Service,可確保 GKE 閘道控制器協調迴圈不會卸載您附加至後端服務的主要網路端點群組 (NEG)。
如要使用 Helm 建立 InferencePool 和 Endpoint Picker,並確保高可用性,請按照下列步驟操作:
使用 Helm 部署 InferencePool 和 Endpoint Picker,並指定偏好的後端:
helm install ${GUIDE_NAME} \ -f guides/recipes/scheduler/base.values.yaml \ -f guides/${GUIDE_NAME}/scheduler/${GUIDE_NAME}.values.yaml \ --set provider.name=gke \ --set inferenceExtension.monitoring.gke.enabled=true \ --set provider.gke.preferredBackends.enabled=true \ --set provider.gke.preferredBackends.preferredReplicas=1 \ --set provider.gke.preferredBackends.defaultReplicas=1 \ -n ${NAMESPACE} \ --version ${GAIE_VERSION} \ oci://LLM_D_REGISTRY_PATH更改下列內容:
GAIE_VERSION:Helm 圖表的 Gateway API Inference Extension (GAIE) 版本。例如:v1.5.0。偏好的後端需要 Helm 圖表v1.5.0以上版本。LLM_D_REGISTRY_PATH:Helm chart 的 OCI 登錄檔路徑。例如:registry.k8s.io/gateway-api-inference-extension/charts/inferencepool。
如需完整的參數清單,請參閱
values.yaml。將主要 NEG 附加至
BackendService:export PROJECT_ID=PROJECT_ID export REGION=REGION export BACKEND_SERVICE=$(gcloud compute backend-services list --project=${PROJECT_ID} --format="value(name)" | grep "${GUIDE_NAME}-epp") export PRIMARY_NEG=$(kubectl get svc ${GUIDE_NAME}-epp -n ${NAMESPACE} -o jsonpath='{.metadata.annotations.cloud\.google\.com/neg-status}' | jq -r '.network_endpoint_groups["9002"]') for ZONE in $(kubectl get svc ${GUIDE_NAME}-epp -n ${NAMESPACE} -o jsonpath='{.metadata.annotations.cloud\.google\.com/neg-status}' | jq -r '.zones[]'); do gcloud compute backend-services add-backend ${BACKEND_SERVICE} \ --network-endpoint-group=${PRIMARY_NEG} \ --network-endpoint-group-zone=${ZONE} \ --region=${REGION} \ --project=${PROJECT_ID} \ --balancing-mode=RATE \ --max-rate-per-endpoint=100 \ --preference=PREFERRED sleep 15 done更改下列內容:
PROJECT_ID:您的 Google Cloud 專案 ID。REGION:叢集和後端服務的 Google Cloud 區域。
將可用區 NEG 附加至 Google Cloud BackendService後,不論是調度資源副本數量 (preferredReplicas 或 defaultReplicas) 或重新啟動 Pod,都不需要再次執行 gcloud 指令。GKE NEG 控制器會自動將個別 Pod IP 位址同步至已註冊的可用區 NEG。
如果刪除並重新建立父項 Gateway 或 InferencePool 資源,GKE Gateway 控制器會使用新的雲端 ID 重新建立基礎 Google CloudBackendService。在這種情況下,請執行上述連結工作流程,將主要可用區 NEG 連結至新建立的 BackendService。
建立 HTTPRoute
HTTPRoute 資源定義 GKE Gateway 如何將傳入的 HTTP 要求轉送至後端服務,例如 InferencePool。HTTPRoute 資源會指定比對規則 (例如標頭或路徑),以及流量應轉送至哪個後端。
如要建立
HTTPRoute,請將下列資訊清單範例儲存為httproute.yaml:apiVersion: gateway.networking.k8s.io/v1 kind: HTTPRoute metadata: name: HTTPROUTE_NAME spec: parentRefs: - name: GATEWAY_NAME rules: - matches: - path: type: PathPrefix value: PATH_PREFIX backendRefs: - name: INFERENCE_POOL_NAME group: "inference.networking.k8s.io" kind: InferencePool更改下列內容:
HTTPROUTE_NAME:HTTPRoute資源的專屬名稱。例如:my-route。GATEWAY_NAME:您建立的Gateway資源名稱。例如:inference-gateway。PATH_PREFIX:用於比對傳入要求的前置路徑。例如,/可比對所有項目。INFERENCE_POOL_NAME:要將流量轉送至的 InferencePool 資源名稱。例如:vllm-llama3-8b-instruct。
將資訊清單套用至叢集:
kubectl apply -f httproute.yaml
指定推論目標
InferenceObjective 自訂資源可讓您指定要求的優先順序。
InferenceObjective 資源的 metadata.name 欄位會指定推論目標的名稱,Priority 欄位會指定其服務重要性,poolRef 欄位則會指定模型提供服務的 InferencePool。
apiVersion: inference.networking.x-k8s.io/v1alpha2
kind: InferenceObjective
metadata:
name: NAME
spec:
priority: VALUE
poolRef:
name: INFERENCE_POOL_NAME
group: "inference.networking.k8s.io"
更改下列內容:
NAME:推論目標的名稱。例如:food-review。VALUE:推論目標的優先順序。這是一個整數,值越大代表要求越重要。例如 10。INFERENCE_POOL_NAME:您在上一個步驟中建立的 InferencePool 名稱。例如:vllm-llama3-8b-instruct。
如要建立 InferenceObjective,請按照下列步驟操作:
將下列資訊清單儲存為
inference-objectives.yaml。這個資訊清單會建立兩個InferenceObjective資源。第一個會設定vllm-llama3-8b-instruct推論集區上的food-review推論目標,優先順序為 10。第二個則將llama3-base-model推論目標設為優先順序較高的 20。apiVersion: inference.networking.x-k8s.io/v1alpha2 kind: InferenceObjective metadata: name: food-review spec: priority: 10 poolRef: name: vllm-llama3-8b-instruct group: "inference.networking.k8s.io" --- apiVersion: inference.networking.x-k8s.io/v1alpha2 kind: InferenceObjective metadata: name: llama3-base-model spec: priority: 20 # Higher priority poolRef: name: vllm-llama3-8b-instruct將範例資訊清單套用至叢集:
kubectl apply -f inference-objectives.yaml
驗證 Deployment
執行下列指令,確認所有元件都在運作:
kubectl get inferencepool
kubectl get inferenceobjective
kubectl get pods -l app=vllm-llama3-8b-instruct-epp
傳送推論要求
設定 GKE Inference Gateway 後,即可將推論要求傳送至已部署的模型。這項功能可根據輸入的提示和指定參數生成文字。
如要傳送推論要求,請按照下列步驟操作:
請設定下列環境變數:
export GATEWAY_NAME=GATEWAY_NAME export PORT_NUMBER=PORT_NUMBER # Use 80 for HTTP更改下列內容:
GATEWAY_NAME:閘道資源的名稱。PORT_NUMBER:您在閘道中設定的通訊埠編號。
執行下列指令,取得閘道端點:
echo "Waiting for the Gateway IP address..." IP="" while [ -z "$IP" ]; do IP=$(kubectl get gateway/${GATEWAY_NAME} -o jsonpath='{.status.addresses[0].value}' 2>/dev/null) if [ -z "$IP" ]; then echo "Gateway IP not found, waiting 5 seconds..." sleep 5 fi done echo "Gateway IP address is: $IP" PORT=${PORT_NUMBER}如要使用
curl將要求傳送至/v1/completions端點,請執行下列指令:curl -i -X POST ${IP}:${PORT}/v1/completions \ -H 'Content-Type: application/json' \ -H 'Authorization: Bearer $(gcloud auth application-default print-access-token)' \ -d '{ "model": "MODEL_NAME", "prompt": "PROMPT_TEXT", "max_tokens": MAX_TOKENS, "temperature": "TEMPERATURE" }'更改下列內容:
MODEL_NAME:要使用的模型或 LoRA 轉接器名稱。PROMPT_TEXT:模型的輸入提示。MAX_TOKENS:回覆中可生成的詞元數量上限。TEMPERATURE:控制輸出的隨機程度。如要取得確定性輸出內容,請使用0值;如要取得更具創意的輸出內容,請使用較高的值。
以下範例說明如何將範例要求傳送至 GKE Inference Gateway:
curl -i -X POST ${IP}:${PORT}/v1/completions -H 'Content-Type: application/json' -H 'Authorization: Bearer $(gcloud auth application-default print-access-token)' -d '{
"model": "food-review-1",
"prompt": "What is the best pizza in the world?",
"max_tokens": 2048,
"temperature": 0
}'
請留意下列行為:
- 要求主體:要求主體可包含
stop和top_p等其他參數。如需完整的選項清單,請參閱 OpenAI API 規格。 - 錯誤處理:在用戶端程式碼中實作適當的錯誤處理機制,處理回應中可能發生的錯誤。例如,檢查
curl回應中的 HTTP 狀態碼。非200狀態碼通常表示發生錯誤。 - 驗證和授權:如要部署至正式環境,請使用驗證和授權機制保護 API 端點。在要求中加入適當的標頭 (例如
Authorization)。
相容性矩陣
下表列出 Gateway API Inference Extension 自訂資源定義 (CRD) 的相容性和支援矩陣。並詳細說明 GKE 支援的 CustomResourceDefinition 版本,以及與開放原始碼 (OSS) Gateway API Inference Extension 專案的差異,包括特定版本需求和安裝注意事項。
| CustomResourceDefinition 名稱 | CustomResourceDefinition API 版本 | GKE 代管支援 | OSS (Gateway API 推論擴充功能) 支援 |
|---|---|---|---|
| V1 InferencePool | inference.networking.k8s.io/v1 | 支援 GKE 1.32.3 以上版本,且 CustomResourceDefinition 預設安裝於 GKE 1.34.0-gke.1626000 以上版本 | 支援 Gateway API Inference Extension 1.0.0 以上版本 |
| Alpha InferencePool (建議使用者從第 1 版 InferencePool 開始,因為 Alpha InferencePool 版本已淘汰) | inference.networking.x-k8s.io/v1alpha2 | 支援 GKE 1.32.3 以上版本。不過,GKE 預設「不會」安裝 CustomResourceDefinition。使用者必須手動安裝 Gateway API Inference Extension 的 CustomResourceDefinition。 | 支援 Gateway API Inference Extension 0.2.0 以上版本 |
| Alpha InferenceObjective | inference.networking.x-k8s.io/v1alpha2 | GKE 不會管理 InferenceObjective | 支援 Gateway API Inference Extension 1.0.0 以上版本 |
| Alpha InferenceModel (建議使用者從 InferenceObjective 開始,因為 InferenceModel 已淘汰) | inference.networking.x-k8s.io/v1alpha2 | GKE 不會管理 InferenceModel | 支援 Gateway API Inference Extension 0.2.0 以上版本。 |
使用後端 TLS 保護推論後端
後端 TLS 可讓 GKE Gateway 負載平衡器驗證連線的推論後端身分。後端 TLS 會在閘道和後端 Pod 之間的 TLS 握手期間,新增明確的驗證步驟。這項驗證可確保閘道只與信任的模型伺服器和 Endpoint Picker 擴充功能通訊。
如要為推論工作負載設定後端 TLS,請將 BackendTLSPolicy 附加至 InferencePool 或 GCPInferencePoolImport 資源。如要設定閘道,讓閘道驗證端點挑選器憑證,請將 BackendTLSPolicy 附加至 InferencePool spec.endpointPickerRef 欄位參照的端點挑選器服務。
詳情請參閱「設定後端 TLS」。
後續步驟
- 自訂 GKE Inference Gateway 設定
- 設定以主體為依據的路由
- 使用 GKE Inference Gateway 提供 LLM
- 搭配使用 GKE Inference Gateway 和預測延遲時間轉送功能