GKE Inference Gateway

במאמר הזה מוסבר איך להגדיר את הפריסה של Google Kubernetes Engine כדי שתוכלו להשתמש בשירות המנוהל של Google Cloud ל-Prometheus כדי לאסוף מדדים מ-GKE Inference Gateway. במאמר הזה מוסבר איך:

• מגדירים את GKE Inference Gateway לדיווח על מדדים.
• אפשר לגשת למרכז בקרה מוגדר מראש ב-Cloud Monitoring כדי לראות את המדדים.

ההוראות האלה רלוונטיות רק אם אתם משתמשים ב אוסף מנוהל עם שירות מנוהל ל-Prometheus. אם אתם משתמשים באיסוף שמוטמע באופן עצמאי, תוכלו לקרוא את המסמכים בנושא GKE Inference Gateway כדי לקבל מידע על התקנה.

ההוראות האלה הן דוגמה, והן צפויות לפעול ברוב סביבות Kubernetes. אם נתקלתם בבעיה בהתקנת אפליקציה או כלי לייצוא בגלל מדיניות אבטחה או מדיניות ארגונית מגבילה, מומלץ לעיין במסמכי קוד פתוח לקבלת תמיכה.

מידע על GKE Inference Gateway זמין במאמר GKE Inference Gateway.

דרישות מוקדמות

כדי לאסוף מדדים מהכלי GKE Inference Gateway exporter באמצעות שירות מנוהל ל-Prometheus ואיסוף מנוהל, הפריסה צריכה לעמוד בדרישות הבאות:

• האשכול צריך להריץ את Google Kubernetes Engine בגרסה ‎1.28.15-gke.2475000 ואילך.
• צריך להפעיל את השירות המנוהל ל-Prometheus עם איסוף מנוהל. מידע נוסף זמין במאמר תחילת העבודה עם אוסף מנוהל.

כלי הייצוא GKE Inference Gateway חושף מדדים בפורמט Prometheus באופן אוטומטי, כך שלא צריך להתקין אותו בנפרד.

כדי לוודא שהכלי GKE Inference Gateway exporter שולח מדדים לנקודות הקצה הצפויות, מבצעים את הפעולות הבאות:

1. מוסיפים סוד, ServiceAccount,‏ ClusterRole ו-ClusterBinding. נקודות הקצה של GKE Inference Gateway לייצוא נתונים לצורך מעקב אחרי פעולות מוגנות על ידי אסימון האימות. כדי לקבל אישורים, הלקוח צריך Secret שמופה לחשבון שירות עם ClusterRole מקושר, בשביל הכלל nonResourceURLs: "/metrics", verbs: get. מידע נוסף מופיע במאמר יצירת סוד לחשבון שירות.

2. מגדירים העברה ליציאה אחרת באמצעות הפקודה הבאה:

   kubectl -n NAMESPACE_NAME port-forward POD_NAME 9090
   

3. בחלון אחר, מבצעים את הפעולות הבאות:

   1. מריצים את הפקודה הבאה כדי לאחזר את האסימון:

      TOKEN=$(kubectl -n default get secret inference-gateway-sa-metrics-reader-secret  -o jsonpath='{.secrets[0].name}' -o jsonpath='{.data.token}' | base64 --decode)
      

   2. ניגשים לנקודת הקצה localhost:9090/metrics באמצעות כלי השירות curl:

      curl -H "Authorization: Bearer $TOKEN" localhost:9090/metrics
      

יצירת סוד לחשבון שירות

כדי להגן על נקודת הקצה של כלי הייצוא של GKE Inference Gateway, האופרטור של שירות מנוהל ל-Prometheus צריך סוד לאיסוף מדדים מורשה במרחב השמות gmp-system.

אם האשכול שלכם משתמש במצב Autopilot, צריך להחליף את gmp-system ב-gke-gmp-system.

אפשר להשתמש בהגדרות הבאות של Secret, ‏ ServiceAccount, ‏ ClusterRole ו-ClusterRoleBinding:

# Copyright 2025 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: inference-gateway-metrics-reader
rules:
- nonResourceURLs:
  - /metrics
  verbs:
  - get
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: inference-gateway-sa-metrics-reader
  namespace: default
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: inference-gateway-sa-metrics-reader-role-binding
  namespace: default
subjects:
- kind: ServiceAccount
  name: inference-gateway-sa-metrics-reader
  namespace: default
roleRef:
  kind: ClusterRole
  name: inference-gateway-metrics-reader
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: v1
kind: Secret
metadata:
  name: inference-gateway-sa-metrics-reader-secret
  namespace: default
  annotations:
    kubernetes.io/service-account.name: inference-gateway-sa-metrics-reader
type: kubernetes.io/service-account-token
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: inference-gateway-sa-metrics-reader-secret-read
rules:
- resources:
  - secrets
  apiGroups: [""]
  verbs: ["get", "list", "watch"]
  resourceNames: ["inference-gateway-sa-metrics-reader-secret"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: gmp-system:collector:inference-gateway-sa-metrics-reader-secret-read
  namespace: default
roleRef:
  name: inference-gateway-sa-metrics-reader-secret-read
  kind: ClusterRole
  apiGroup: rbac.authorization.k8s.io
subjects:
- name: collector
  namespace: gmp-system
  kind: ServiceAccount

למידע נוסף אפשר לעיין במדריך למדדים ולניטור של הכלי לייצוא.

כדי להחיל שינויים בתצורה מקובץ מקומי, מריצים את הפקודה הבאה:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

אפשר גם להשתמש ב-Terraform כדי לנהל את ההגדרות.

הגדרה של משאב ClusterPodMonitoring

כדי לגלות את היעד, ל-שירות מנוהל ל-Prometheus Operator נדרש משאב ClusterPodMonitoring שתואם ל-GKE Inference Gateway exporter באותו מרחב שמות.

אפשר להשתמש בהגדרה הבאה של ClusterPodMonitoring:

# Copyright 2025 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: ClusterPodMonitoring
metadata:
  name: inference-optimized-gateway-monitoring
  labels:
    app.kubernetes.io/name: inference-optimized-gateway
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: metrics
    scheme: http
    interval: 5s
    path: /metrics
    authorization:
      type: Bearer
      credentials:
        secret:
          name: inference-gateway-sa-metrics-reader-secret
          key: token
          namespace: default
  selector:
    matchLabels:
      app: inference-gateway-ext-proc

GKE Inference Gateway משתמש במשאב ClusterPodMonitoring במקום במשאב PodMonitoring כי הוא צריך לגשת לסוד ממרחב שמות אחר.

בבורר matchLabels של הגדרת ClusterPodMonitoring, אפשר להחליף את הערך app של inference-gateway-ext-proc בתוויות מהפריסה של GKE Inference Gateway. מוודאים שהערכים בשדות port ו-matchLabels תואמים לאלה של ה-pods של GKE Inference Gateway שרוצים לעקוב אחריהם.

כדי להחיל שינויים בתצורה מקובץ מקומי, מריצים את הפקודה הבאה:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

אפשר גם להשתמש ב-Terraform כדי לנהל את ההגדרות.

אימות ההגדרה

אתם יכולים להשתמש ב-Metrics Explorer כדי לוודא שהגדרתם נכון את כלי הייצוא של GKE Inference Gateway. יכול להיות שיחלפו דקה או שתיים עד שמערכת Cloud Monitoring תעבד את המדדים.

כדי לוודא שהמדדים נאספים, מבצעים את הפעולות הבאות:

1. נכנסים לדף  Metrics explorer במסוף Google Cloud :

   כניסה אל Metrics Explorer

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. בסרגל הכלים של החלונית ליצירת שאילתות, לוחצים על הלחצן ששמו  PromQL.
3. מזינים ומריצים את השאילתה הבאה:
   

   inference_model_request_total{cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

צפייה במרכזי הבקרה

השילוב עם Cloud Monitoring כולל את לוח הבקרה GKE Inference Gateway Prometheus Overview. לוחות הבקרה מותקנים באופן אוטומטי כשמגדירים את השילוב. אפשר גם לראות תצוגות מקדימות סטטיות של מרכזי בקרה בלי להתקין את האינטגרציה.

כדי לראות מרכז בקרה שהותקן:

1. במסוף Google Cloud , עוברים לדף  Dashboards:

   עוברים אל מרכזי בקרה.

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. לוחצים על הכרטיסייה רשימת מרכזי בקרה.
3. בוחרים בקטגוריה שילובים.
4. לוחצים על השם של מרכז הבקרה, למשל GKE Inference Gateway Prometheus Overview.

כדי לראות תצוגה מקדימה סטטית של מרכז הבקרה:

1. נכנסים לדף  Integrations במסוף Google Cloud :

   עוברים אל שילובים

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. לוחצים על המסנן Kubernetes Engine של פלטפורמת הפריסה.
3. מאתרים את השילוב GKE Inference Gateway ולוחצים על הצגת פרטים.
4. לוחצים על הכרטיסייה מרכזי בקרה.

פתרון בעיות

מידע על פתרון בעיות בהוספת מדדים זמין במאמר פתרון בעיות שקשורות להוספה בקטע בעיות באיסוף נתונים ממייצאים.