TensorFlow Serving

במאמר הזה מוסבר איך להגדיר את הפריסה של Google Kubernetes Engine כדי שתוכלו להשתמש בשירות המנוהל של Google Cloud ל-Prometheus כדי לאסוף מדדים מ-TensorFlow Serving. במאמר הזה מוסבר איך:

• מגדירים את TF Serving לדיווח על מדדים.
• אפשר לגשת למרכז בקרה מוגדר מראש ב-Cloud Monitoring כדי לראות את המדדים.

ההוראות האלה רלוונטיות רק אם אתם משתמשים ב אוסף מנוהל עם שירות מנוהל ל-Prometheus. אם אתם משתמשים באיסוף שמוטמע באופן עצמאי, תוכלו לעיין במסמכי התיעוד של TF Serving כדי לקבל מידע על ההתקנה.

ההוראות האלה הן דוגמה, והן צפויות לפעול ברוב סביבות Kubernetes. אם נתקלתם בבעיה בהתקנת אפליקציה או כלי לייצוא בגלל מדיניות אבטחה או מדיניות ארגונית מגבילה, מומלץ לעיין במסמכי קוד פתוח לקבלת תמיכה.

מידע על TensorFlow Serving זמין במאמר TF Serving. מידע על הגדרת TF Serving ב-Google Kubernetes Engine זמין ב מדריך GKE ל-TF Serving.

דרישות מוקדמות

כדי לאסוף מדדים מ-TF Serving באמצעות שירות מנוהל ל-Prometheus ואיסוף מנוהל, הפריסה צריכה לעמוד בדרישות הבאות:

• האשכול צריך להריץ את Google Kubernetes Engine בגרסה ‎1.28.15-gke.2475000 ואילך.
• צריך להפעיל את השירות המנוהל ל-Prometheus עם איסוף מנוהל. מידע נוסף זמין במאמר תחילת העבודה עם אוסף מנוהל.

‫TF Serving חושף מדדים בפורמט Prometheus כשמשתמשים בדגל --monitoring_config_file כדי לציין קובץ שמכיל מאגר אחסון לפרוטוקולים של MonitoringConfig.

דוגמה ל-מאגר אחסון לפרוטוקולים של MonitoringConfig:

prometheus_config {
  enable: true,
  path: "/monitoring/prometheus/metrics"
}

אם אתם פועלים לפי מדריך ההגדרה של Google Kubernetes Engine, Serve a model with a single GPU in GKE, אז מאגר אחסון לפרוטוקולים MonitoringConfig מוגדר כחלק מהגדרת ברירת המחדל.

אם אתם מגדירים את TF Serving בעצמכם, אתם צריכים לבצע את הפעולות הבאות כדי לציין את מאגר אחסון לפרוטוקולים MonitoringConfig:

1. יוצרים קובץ בשם monitoring_config.txt שמכיל את מאגר אחסון לפרוטוקולים MonitoringConfig בספריית המודל, לפני שמעלים את הספרייה לקטגוריה של Cloud Storage.

2. מעלים את ספריית המודל לקטגוריה של Cloud Storage:

   gcloud storage cp MODEL_DIRECTORY gs://CLOUD_STORAGE_BUCKET_NAME --recursive
   

3. מגדירים את משתנה הסביבה PATH_TO_MONITORING_CONFIG לנתיב של קובץ monitoring_config.txt שהועלה, לדוגמה:

   export PATH_TO_MONITORING_CONFIG=/data/tfserve-model-repository/monitoring_config.txt
   

4. מוסיפים את הדגל והערך הבאים לפקודה של הקונטיינר בקובץ ה-YAML של פריסת הקונטיינר:

   "--monitoring_config=$PATH_TO_MONITORING_CONFIG"
   

   לדוגמה, הפקודה יכולה להיראות כך:

   command: [ "tensorflow_model_server", "--model_name=$MODEL_NAME", "--model_base_path=/data/tfserve-model-repository/$MODEL_NAME", "--rest_api_port=8000", "--monitoring_config_file=$PATH_TO_MONITORING_CONFIG" ]
   

שינוי ההגדרה של TF Serving

משנים את ההגדרות של TF Serving כמו בדוגמה הבאה:

# Copyright 2025 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: tfserve-deployment
  labels:
    app: tfserve-server
spec:
  selector:
    matchLabels:
      app: tfserve
  replicas: 1
  template:
    metadata:
      labels:
        app: tfserve
      annotations:
        gke-gcsfuse/volumes: 'true'
    spec:
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-l4
      containers:
        - name: tfserve-server
          image: 'tensorflow/serving:2.13.1-gpu'
          command:
            - tensorflow_model_server
            - '--model_name=$MODEL_NAME'
            - '--model_base_path=/data/tfserve-model-repository/$MODEL_NAME'
            - '--rest_api_port=8000'
+           - '--monitoring_config_file=$PATH_TO_MONITORING_CONFIG'
          ports:
            - name: http
              containerPort: 8000
            - name: grpc
              containerPort: 8500
          resources:
            ...
          volumeMounts:
            - name: gcs-fuse-csi-vol
              mountPath: /data
              readOnly: false
      serviceAccountName: $K8S_SA_NAME
      volumes:
        - name: gcs-fuse-csi-vol
          csi:
            driver: gcsfuse.csi.storage.gke.io
            readOnly: false
            volumeAttributes:
              bucketName: $GSBUCKET
              mountOptions: implicit-dirs

צריך להוסיף להגדרות את כל השורות שמופיע לפניהן הסמל +.

כדי להחיל שינויים בתצורה מקובץ מקומי, מריצים את הפקודה הבאה:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

אפשר גם להשתמש ב-Terraform כדי לנהל את ההגדרות.

כדי לוודא ש-TF Serving פולט מדדים בנקודות הקצה הצפויות:

1. מגדירים העברה ליציאה אחרת באמצעות הפקודה הבאה:

     kubectl -n NAMESPACE_NAME port-forward POD_NAME 8000
   

2. ניגשים לנקודת הקצה localhost:8000/monitoring/prometheus/metrics באמצעות הדפדפן או כלי השירות curl בסשן טרמינל אחר.

הגדרה של משאב PodMonitoring

לצורך גילוי יעדים, ל-שירות מנוהל ל-Prometheus Operator נדרש משאב PodMonitoring שתואם ל-TF Serving באותו מרחב שמות.

אפשר להשתמש בהגדרה הבאה של PodMonitoring:

# Copyright 2025 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: tfserve
  labels:
    app.kubernetes.io/name: tfserve
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: 8000
    scheme: http
    interval: 30s
    path: /monitoring/prometheus/metrics
  selector:
    matchLabels:
      app: tfserve

כדי להחיל שינויים בתצורה מקובץ מקומי, מריצים את הפקודה הבאה:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

אפשר גם להשתמש ב-Terraform כדי לנהל את ההגדרות.

אימות ההגדרה

אפשר להשתמש בכלי Metrics Explorer כדי לוודא שהגדרתם את TF Serving בצורה נכונה. יכול להיות שיחלפו דקה או שתיים עד שמערכת Cloud Monitoring תעבד את המדדים.

כדי לוודא שהמדדים נאספים, מבצעים את הפעולות הבאות:

1. נכנסים לדף  Metrics explorer במסוף Google Cloud :

   כניסה אל Metrics Explorer

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. בסרגל הכלים של החלונית ליצירת שאילתות, לוחצים על הלחצן ששמו  PromQL.
3. מזינים ומריצים את השאילתה הבאה:
   

   up{job="tfserve", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

צפייה במרכזי הבקרה

השילוב עם Cloud Monitoring כולל את לוח הבקרה TensorFlow Serving Prometheus Overview. לוחות הבקרה מותקנים באופן אוטומטי כשמגדירים את השילוב. אפשר גם לראות תצוגות מקדימות סטטיות של מרכזי בקרה בלי להתקין את האינטגרציה.

כדי לראות מרכז בקרה שהותקן:

1. במסוף Google Cloud , עוברים לדף  Dashboards:

   עוברים אל מרכזי בקרה.

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. לוחצים על הכרטיסייה רשימת מרכזי בקרה.
3. בוחרים בקטגוריה שילובים.
4. לוחצים על השם של מרכז הבקרה, למשל TensorFlow Serving Prometheus Overview.

כדי לראות תצוגה מקדימה סטטית של מרכז הבקרה:

1. נכנסים לדף  Integrations במסוף Google Cloud :

   עוברים אל שילובים

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. לוחצים על המסנן Kubernetes Engine של פלטפורמת הפריסה.
3. מאתרים את השילוב של TensorFlow Serving ולוחצים על הצגת פרטים.
4. לוחצים על הכרטיסייה מרכזי בקרה.

פתרון בעיות

מידע על פתרון בעיות בהוספת מדדים זמין במאמר פתרון בעיות שקשורות להוספה בקטע בעיות באיסוף נתונים ממייצאים.