AI Inference SMT

טרנספורמציה בשיטה אחת (SMT) להסקת מסקנות באמצעות AI מאפשרת לכם לקבל הסקות על הודעות Pub/Sub ממודלים של Gemini Enterprise Agent Platform. אתם יכולים להשתמש במודלים מותאמים אישית משלכם שפרוסים בנקודות קצה של Agent Platform, או להשתמש בכל אחד מהמודלים של Google ושל השותפים שזמינים דרך Agent Platform. ההסקה של המודל מתווספת לכל הודעה, וכך היא זמינה לעיבוד בהמשך יחד עם נתוני ההודעה המקוריים.

תרחישי שימוש לדוגמה ב-AI Inference SMT:

  • העשרה בזמן אמת: הוספת הקשר, סיווגים, חיזויים, סנטימנטים או הטמעות לנתוני האירועים בזמן שהם זורמים דרך Pub/Sub.

  • פייפליינים פשוטים יותר של AI: לא צריך שירותי ביניים כדי לקבל היקשים ממודלי AI. ‫Pub/Sub מטפל בהפעלת מודל ה-AI ובהוספת ההסקה להודעה.

  • זמן אחזור קצר יותר בצינורות עיבוד נתונים של AI: הסרת דילוגים נוספים ברשת בארכיטקטורה כדי לקצר את זמן האחזור מקצה לקצה.

  • בקרה משופרת על זרימת הנתונים: כדי למנוע עומס יתר על נקודות הקצה של המודל, Pub/Sub מבצע אופטימיזציה של קצב הבקשות למודל ה-AI. למידע נוסף, קראו את הקטע תהליך העברת ההודעות במאמר הזה.

ה-SMT להסקת AI תומך בסוגי המודלים הבאים:

  • מודלים בפריסה עצמית. מודלים פתוחים, מודלים של שותפים ומודלים בהתאמה אישית שנפרסו בנקודת קצה (endpoint) של פלטפורמת סוכנים ציבורית משותפת או ייעודית.

  • מודלים של Model-as-a-Service ‏ (MaaS). מודלים שמוצעים כשירות דרך Model Garden, כמו Gemini ו-Claude, שלא מחייבים ניהול של הפריסה. רשימה של מודלים של MaaS שתואמים ל-SMT של הסקת מסקנות מ-AI מופיעה במאמר בנושא מודלים תואמים של MaaS.

תפקידים והרשאות נדרשים

כדי לקבל את ההרשאות שנדרשות ליצירת נושא או מינוי עם SMT, צריך לבקש מהאדמין להקצות לכם את התפקיד עריכת Pub/Sub (roles/pubsub.editor) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת נושא או מינוי עם SMT. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור נושא או מינוי עם SMT, נדרשות ההרשאות הבאות:

  • יצירת נושא: pubsub.topics.create בפרויקט
  • יצירת מינוי: pubsub.subscriptions.create בפרויקט

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הרשאות של חשבון שירות

ה-SMT של הסקת מסקנות מ-AI משתמש בחשבון שירות של IAM כדי לקרוא לנקודת הקצה של Agent Platform. כברירת מחדל, הוא משתמש בחשבון סוכן השירות של Cloud Pub/Sub (service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com). אפשר גם לספק חשבון שירות משלכם.

לחשבון השירות צריכות להיות ההרשאות הבאות בפרויקט ב- Google Cloudשמכיל את נקודת הקצה של Agent Platform:

  • aiplatform.endpoints.get
  • aiplatform.endpoints.predict

כדי לתת את ההרשאות האלה, צריך להקצות את התפקיד משתמש בפלטפורמת הסוכן לחשבון השירות (בין אם משתמשים בחשבון השירות סוכן שירות של Cloud Pub/Sub או בחשבון שירות בהתאמה אישית).

עיבוד הודעות

בקטע הזה מוסבר איך כלי ה-SMT של AI Inference מעבד הודעות Pub/Sub.

קלט

נתוני ההודעה ב-Pub/Sub צריכים להיות בקשה לשליחה למודל ה-AI, כמחרוזת JSON. אפשר גם לציין פרמטרים נוספים של המודל שיישלחו עם כל בקשה. ה-SMT ממזג את הפרמטרים האלה עם נתוני ההודעה ושולח את ה-JSON הממוזג לנקודת הקצה של המודל.

לדוגמה, אם יש לכם:

  • נתוני הודעת הקלט: {"messages": [{"role": "user", "content": "Explain photosynthesis"}]}
  • פרמטרים של SMT: {"temperature": 0.2}

המטען הייעודי (payload) שמתקבל ונשלח למודל הוא:

{
  "messages": [
    {
      "role": "user",
      "content": "Explain photosynthesis"
    }
  ],
  "temperature": 0.2
}

אם פרמטר שצוין בהגדרת ה-SMT זהה לשם של שדה בנתוני ההודעה, הערך בנתוני ההודעה מקבל עדיפות.

בטבלה הבאה מוצג ה-API שאליו ה-SMT שולח קריאה כדי לקבל את ההסקה, בהתאם לסוג המודל.

פריסת מודלים סוג המודל API
פריסה עצמית הכול rawPredict
מודל כשירות (MaaS)

מודל בסיס של Gemini

לדוגמה: gemini-3.0-pro

 Chat Completions API

מודלים אחרים של Gemini

לדוגמה: gemini-embeddings

 rawPredict
‫Anthropic,‏ Mistral AI או AI21 rawPredict
כל שאר המודלים של MaaS Chat Completions API

כדי לדעת איך לכתוב את נתוני ההודעה ואת פרמטרים של המודל בפורמט הנכון, צריך לעיין במסמכי התיעוד של המודל. לדוגמה, במודלים בסיסיים של Gemini, אפשר לעיין בדוגמאות לשימוש ב-Chat Completions API.

אם אפליקציית בעל התוכן הדיגיטלי לא יכולה לעצב הודעות במבנה JSON הספציפי שנדרש על ידי המודל (כמו פורמט Chat Completions API), אפשר לשרשר פונקציית UDF של JavaScript SMT לפני ה-AI Inference SMT כדי לבצע עיבוד מוקדם ולעצב את מטען הבקשה. דוגמה מופיעה במאמר בנושא עיבוד מוקדם של מטען ייעודי (payload) באמצעות פונקציית UDF ב-JavaScript.

תשובה

אם הקריאה לנקודת הקצה של המודל מצליחה, ה-SMT מעשיר את הודעת Pub/Sub המקורית בתשובת המודל. ההודעה המועשרת היא מחרוזת JSON כמו זו שבהמשך, כאשר ORIGINAL_MESSAGE הוא נתוני ההודעה המקורית ו-INFERENCE_RESULT היא התגובה מהמודל:

{
  "original_message": { ORIGINAL_MESSAGE },
  "model_output": { INFERENCE_RESULT }
}

תהליך ההודעה

טרנספורמציות SMT בנושאים: כשמגדירים טרנספורמציית SMT להסקת AI בנושא, Pub/Sub מטפל בהודעות נכנסות באופן הבא:

  1. אפליקציית פרסום שולחת הודעה לנושא ב-Pub/Sub.

  2. ההודעה נשלחת לנקודת הקצה של המודל שהוגדרה לצורך הסקה. ההודעה המועשרת, שמכילה את הנתונים המקוריים ואת ההסקה של המודל, נכתבת באחסון הפנימי של Pub/Sub.

  3. ההודעה המועשרת מועברת ב-Pub/Sub לכל המינויים המצורפים.

‫SMT במינויים: כשמגדירים SMT להסקת AI במינוי, Pub/Sub מטפל בהודעות נכנסות באופן הבא:

  1. אפליקציית פרסום שולחת הודעה לנושא ב-Pub/Sub.

  2. ההודעה מועברת למינוי ב-Pub/Sub.

  3. ההודעה נשלחת לנקודת הקצה של המודל שהוגדר להסקת מסקנות.

  4. המינוי שולח את ההודעה המועשרת לאפליקציית המינוי.

  5. כדי למקסם את קצב העיבוד, Pub/Sub מבצע אופטימיזציה של קצב הבקשות למודל ה-AI על סמך זמן האחזור והמכסה של הפריסה. הערה: היכולת הזו לא נתמכת כשמשתמשים ב-unary pull API.

אפשר לשרשר SMT של הסקת מסקנות מ-AI עם SMT אחד או יותר של JavaScript UDF. אפשר להשתמש בתבנית הזו כדי לבצע עיבוד מקדים של הודעה כך שתתאים לפורמט הקלט הצפוי של המודל, או כדי לבצע עיבוד פוסט של פלט המודל לפני שהוא מועבר למנויים.

שיטה מומלצת: מומלץ מאוד להשתמש במכונות SMT של מינויים ולא במכונות SMT של נושאים להסקת מסקנות מ-AI. אם נקודת הקצה של מודל ה-AI מוגבלת, חווה קפיצות בזמן האחזור או לא זמינה, ההשפעה הפוטנציאלית על צינור עיבוד הנתונים גדולה יותר עם SMT של נושא:

  • ב-SMT של נושא, בקשת הפרסום נכשלת, וזה משפיע ישירות על הזמינות של אפליקציית הפרסום.

  • אם משתמשים ב-SMT ברמת המינוי, Pub/Sub מנסה שוב לשלוח את ההודעה, כולל הפעלת ה-SMT, בהתאם למדיניות הניסיונות החוזרים של המינוי. אפשר גם להגדיר נושא להודעות ללא מוצא כדי לטפל בכשלים מתמשכים בלי להשפיע על הזמינות של הטמעת הנתונים.

יצירת SMT של הסקת מסקנות מ-AI

אפשר להגדיר SMT בנושאים או במינויים ב-Pub/Sub.

  • ה-SMT של הנושא מופעל לפני שההודעה מאוחסנת ב-Pub/Sub, והתוצאות זמינות לכל המנויים.

  • ה-SMT של המינוי מופעל לפני שההודעה נמסרת, והתוצאות זמינות רק למינוי הזה.

המסוף

  1. נכנסים לדף Topics של Pub/Sub במסוף Google Cloud .

    לדף Topics

  2. יוצרים נושא או מינוי.

    • כדי ליצור נושא, לוחצים על יצירת נושא. ייפתח הדף Create topic.

    • כדי ליצור מינוי:

      1. לוחצים על שם הנושא שבו רוצים ליצור את המינוי.

      2. לוחצים על Create subscription. נפתח הדף הוספת מינוי לנושא.

  3. בקטע טרנספורמציות, לוחצים על הוספת טרנספורמציה.

  4. בשדה Transform type, בוחרים באפשרות AI Inference.

  5. בשדה Endpoint, מזינים את שם המשאב המלא של נקודת הקצה של המודל:

    • מודל שפריסתו בוצעה באופן עצמאי: projects/PROJECT/locations/LOCATION/endpoints/ENDPOINT
    • מודל Model Garden: ‏projects/PROJECT/locations/LOCATION/publishers/PUBLISHER/models/MODEL_NAME

  6. זה שינוי אופציונלי. בוחרים חשבון שירות שישמש לקריאה לנקודת הקצה של Agent Platform. מידע נוסף מופיע במאמר הרשאות לחשבון שירות.

  7. זה שינוי אופציונלי. בשדה Parameters, מזינים פרמטרים של מודל כאובייקט JSON. ה-SMT ממזג את הפרמטרים האלה עם כל הודעה לפני שהוא קורא למודל. דוגמה:

    {
  "temperature": 0.5,
  "max_tokens": 1000
}

  8. כדי ליצור את הנושא או המינוי, לוחצים על Create.

gcloud

יצירת קובץ הגדרה

יוצרים קובץ YAML או JSON שמגדיר את ה-Inference AI.

YAML 

- aiInference:
    endpoint: "ENDPOINT_RESOURCE"
    unstructuredInference: {
        parameters:
          MODEL_PARAMETERS
    }
    service_account_email: SERVICE_ACCOUNT

JSON 

{
  "aiInference": {
    "endpoint": "ENDPOINT_RESOURCE",
    "unstructuredInference": {
        "parameters": {
          MODEL_PARAMETERS
        }
    }
    "service_account_email": SERVICE_ACCOUNT
  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ENDPOINT_RESOURCE: שם המשאב המלא של נקודת הקצה של המודל. צריך להשתמש בפורמט הבא:

    • מודל שפריסתו בוצעה באופן עצמאי: projects/PROJECT/locations/LOCATION/endpoints/ENDPOINT
    • מודל Model Garden: ‏projects/PROJECT/locations/LOCATION/publishers/PUBLISHER/models/MODEL_NAME

  • ‫MODEL_PARAMETERS: אופציונלי. פרמטרים של המודל, שמצוינים כאובייקט JSON. ה-SMT ממזג את הפרמטרים האלה עם כל הודעה לפני שהוא קורא למודל. דוגמה:

    {
  "temperature": 0.5,
  "max_tokens": 1000
}

  • ‫SERVICE_ACCOUNT: אופציונלי. כתובת האימייל של חשבון השירות שבה משתמשים כששולחים קריאה לנקודת הקצה. מידע נוסף זמין במאמר הרשאות לחשבון שירות.

יצירת נושא או מינוי

כדי ליצור נושא, מריצים את הפקודה gcloud pubsub topics create.

gcloud pubsub topics create TOPIC_ID \
  --message-transforms-file=TRANSFORMS_FILE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫TOPIC_ID: המזהה או השם של הנושא שרוצים ליצור.
  • ‫TRANSFORMS_FILE: הנתיב לקובץ ההגדרה.

כדי ליצור מינוי, מריצים את הפקודה gcloud pubsub subscriptions create.

gcloud pubsub subscriptions create SUBSCRIPTION_ID \
  --topic=projects/PROJECT_ID/topics/TOPIC_ID \
  --message-transforms-file=TRANSFORMS_FILE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SUBSCRIPTION_ID: המזהה או השם של המינוי שרוצים ליצור.

  • ‫PROJECT_ID: מזהה הפרויקט שמכיל את הנושא.

  • ‫TOPIC_ID: המזהה של הנושא שרוצים להירשם אליו.

  • ‫TRANSFORMS_FILE: הנתיב לקובץ ההגדרה.

אימות ובדיקה

אפשר גם לאמת ולבדוק את ה-SMT שהוגדר לפני שיוצרים את הנושא או המינוי. מידע נוסף זמין במאמרים הבאים:

דוגמאות

שימוש ב-SMT של הסקת מסקנות מ-AI

בדוגמה הבאה מוסבר איך ליצור מינוי עם SMT להסקת AI, ואז להשתמש בו כדי לשלוח הנחיה ל-Gemini.

gcloud

  1. באמצעות כלי לעריכת טקסט, יוצרים קובץ בשם ai-smt.yaml ומדביקים בו את הטקסט הבא:

    - aiInference:
    endpoint: projects/PROJECT_ID/locations/LOCATION/publishers/google/models/gemini-3.8-flash
    unstructuredInference: {
        parameters: {
            "max_tokens": 25000
        }
    }

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
    • ‫LOCATION: המיקום של נקודת הקצה שאליה רוצים לשלוח קריאה. לדוגמה: us-central1.

  2. יוצרים נושא Pub/Sub חדש.

    gcloud pubsub topics create TOPIC_ID

    מחליפים את TOPIC_ID בשם הנושא שרוצים ליצור. לדוגמה: topic-1.

  3. יוצרים מינוי עם SMT להסקת AI.

    gcloud pubsub subscriptions create TOPIC_ID-sub \
  --ack-deadline=600 \
  --topic TOPIC_ID \
  --message-transforms-file ai-smt.yaml

  4. מפרסמים הודעה בנושא. ההודעה מכילה הנחיה בפורמט שמתאים ל-Chat Completions API.

    gcloud pubsub topics publish TOPIC_ID --message=$'{
  "model":"google/gemini-3.8-flash","messages":[{
    "role": "user",
    "content": "Explain how AI works in a few words"
    }]
  }'

  5. מקבלים הודעה מהמינוי.

    gcloud pubsub subscriptions pull TOPIC_ID-sub

    אם הקריאה ל-Agent Platform מצליחה, ההודעה מועשרת בפלט מההנחיה.

עיבוד מראש של מטען ייעודי (payload) באמצעות פונקציית UDF ב-JavaScript

אם אפליקציית בעל התוכן הדיגיטלי פולטת טקסט גולמי, יומנים או מטען ייעודי (payload) של אירועים במקום JSON מובנה שנדרש על ידי מודלים של AI (כמו פורמט השלמת הצ'אט שתואם ל-OpenAI), אפשר לשרשר פונקציית UDF של JavaScript מסוג SMT לפני ה-SMT של הסקת מסקנות מ-AI. ה-UDF פועל כשכבת תרגום, וממיר את ההודעה הגולמית לפורמט שהמודל מצפה לו.

בדוגמה הבאה של פונקציית UDF ב-JavaScript מוצג איך לעבד מראש הודעה שמכילה פרומפט טקסטואלי לבקשת API של Chat Completions שתואמת ל-Gemini 3.8 Flash:

/**
 * Pre-processes a message containing a text prompt into a
 * Chat Completions API request compatible with Gemini 3.8 Flash.
 */
function prepareGeminiRequest(message, metadata) {
  // Assuming the incoming message data is a raw text prompt
  const promptText = message.data;

  const chatRequest = {
    "model": "google/gemini-3.8-flash",
    "messages": [
      {
        "role": "user",
        "content": promptText
      }
    ]
  };

  // Replace the message data with the stringified JSON request
  message.data = JSON.stringify(chatRequest);
  return message;
}

אפשר גם לשרשר פונקציה מוגדרת-משתמש (UDF) ב-JavaScript לעיבוד לאחר מכן, אחרי ה-SMT של הסקת ה-AI, כדי לחלץ שדות ספציפיים מהתשובה של המודל לפני שהיא נשלחת למנויים.

מודלים תואמים של MaaS

בטבלה הבאה מפורטים המודלים של Model-as-a-Service ‏ (MaaS) ש-Google בדקה באמצעות SMT של הסקת מסקנות מ-AI, וידוע שהם תואמים. הרשימה הזו עשויה להשתנות, כי מודלים מסוימים יוצאים משימוש ומודלים חדשים של MaaS מתווספים.

דגםקריאה ל-API
google/gemini-3.8-flash Chat Completions API
google/gemini-3.7-flash Chat Completions API
google/gemini-3.6-flash Chat Completions API
google/gemini-3.5-flash Chat Completions API
google/gemini-3.5-flash-lite Chat Completions API
google/gemini-3.1-flash-lite Chat Completions API
google/gemini-3.1-pro-preview Chat Completions API
google/gemini-3-flash-preview Chat Completions API
google/gemini-3.1-flash-image Chat Completions API
google/gemini-3-pro-image Chat Completions API
google/gemini-2.5-flash-image Chat Completions API
google/gemini-2.5-pro Chat Completions API
google/gemini-2.5-flash-lite Chat Completions API
google/gemini-2.5-flash Chat Completions API
google/gemini-2.0-flash-lite-001 Chat Completions API
google/gemini-2.0-flash-001 Chat Completions API
meta/llama-4-maverick-17b-128e-instruct-maas Chat Completions API
meta/llama-4-scout-17b-16e-instruct-maas Chat Completions API
meta/llama-3.3-70b-instruct-maas Chat Completions API
deepseek-ai/deepseek-r1-0528-maas Chat Completions API
deepseek-ai/deepseek-v3.1-maas Chat Completions API
qwen/qwen3-235b-a22b-instruct-2507-maas Chat Completions API
qwen/qwen3-coder-480b-a35b-instruct-maas Chat Completions API
openai/gpt-oss-20b-maas Chat Completions API
openai/gpt-oss-120b-maas Chat Completions API
google/text-multilingual-embedding-002 rawPredict
google/text-embedding-005 rawPredict
google/text-embedding-large-exp-03-07 rawPredict
google/gemini-embedding-001 rawPredict
google/multimodalembedding rawPredict
anthropic/claude-sonnet-4-6 rawPredict
anthropic/claude-sonnet-4-5 rawPredict
anthropic/claude-sonnet-4 rawPredict
anthropic/claude-opus-4-6 rawPredict
anthropic/claude-opus-4-5 rawPredict
anthropic/claude-opus-4-1 rawPredict
anthropic/claude-opus-4 rawPredict
anthropic/claude-haiku-4-5 rawPredict
mistralai/mistral-ocr-2505 rawPredict
mistralai/mistral-small-2503 rawPredict
mistralai/mistral-medium-3 rawPredict
mistralai/codestral-2 rawPredict

מגבלות

  • אפשר להגדיר רק SMT אחד להסקת AI לכל נושא או מינוי.

  • אין תמיכה בנקודות קצה פרטיות. מודלים בפריסה עצמית חייבים להתארח בנקודות קצה ציבוריות של Agent Platform.

  • נקודת הקצה הגלובלית נתמכת רק במודלים בסיסיים של Gemini. במודלים אחרים, צריך להשתמש בנקודת קצה אזורית.

  • שירות Pub/Sub לא מאמת את נתוני הודעת הקלט. באחריותכם לוודא שפורמט הנתונים נכון.

  • הטרנספורמציה שולחת בקשת הסקה אחת לכל הודעת Pub/Sub. לא מתבצעת אצווה בצד הלקוח.

  • אין תמיכה בהסקת מסקנות אסינכרונית באצווה.

  • ההסקה לא יכולה להימשך יותר מ-60 שניות. אם הוא נמשך יותר מ-60 שניות, ניסיון המסירה נכשל בגלל זמן קצוב לתפוגה, ו-Pub/Sub מנסה שוב עד למשך שמירת ההודעות והגדרות מדיניות הניסיונות החוזרים שהוגדרו. אם הזמן הקצוב לתפוגה של הניסיון חולף, ההודעה מועברת לנושא להודעות ללא מוצא, אם הוגדר נושא כזה.

מודלים שלא נתמכים

הכלי AI Inference SMT לא תומך במודלים הבאים של MaaS. יש הרבה מודלים כאלה עם גרסאות שניתן לפרוס באופן עצמאי, ואפשר להשתמש בהן במקום זאת.

  • deepseek-ai/deepseek-ocr-maas
  • deepseek-ai/deepseek-v3.2-maas
  • google/gemini-embedding-2-preview
  • google/lyria-002
  • google/lyria-3-clip-preview
  • google/lyria-3-pro-preview
  • google/veo-3.1-fast-generate-001
  • google/veo-3.1-generate-001
  • intfloat/multilingual-e5-large-instruct-maas
  • intfloat/multilingual-e5-small-instruct-maas
  • minimaxai/minimax-m2-maas
  • moonshotai/kimi-k2-thinking-maas
  • qwen/qwen3-next-80b-a3b-instruct-maas
  • qwen/qwen3-next-80b-a3b-thinking-maas
  • zai-org/glm-4.7-maas
  • zai-org/glm-5-maas

הגבלות אזוריות

האילוצים הבאים חלים על SMTs של הסקת מסקנות מ-AI על סמך האזור של נקודת הקצה של פלטפורמת הסוכן.

  • אם בנושא מסוים מוגדרת הסקת AI באמצעות SMT, אזור נקודת הקצה חייב להיות בתוך האזורים שמותרים לפי מדיניות אחסון ההודעות של הנושא.

    ההגבלה הזו חלה גם על מינויים ל-SMT אם ההגבלה על מדיניות הארגון בנושא אכיפת אזורים במעבר להודעות Pub/Sub בתוקף.

  • אם מוגדר SMT להסקת AI במינוי לייצוא, אזור נקודת הקצה חייב להיות באזור של המשאב המשויך:

  • אם בקשת הפרסום נשלחת לאזור אחר מאזור נקודת הקצה, Pub/Sub מפנה את הבקשה באופן אוטומטי לאזור נקודת הקצה.

  • אם אתם שולפים ממינוי עם SMT של הסקת מסקנות מ-AI, ובקשת השליפה מופנית לאזור שאינו אזור נקודת הקצה, Pub/Sub דוחה את הבקשה. במינויי שליפה, מומלץ להשתמש בנקודת קצה (endpoint) מבוססת-מיקום. המגבלה הזו חלה גם על משיכת נתונים בסטרימינג וגם על משיכת נתונים יחידה.

  • כשלמינוי דחיפה יש SMT להסקת AI, המינוי דוחף הודעות מאזור נקודת הקצה. אם מתרחשת הפרה של הגבלה אזורית, Pub/Sub מפסיק לדחוף הודעות מהמינוי הזה.

פתרון בעיות

בקטע הזה מפורטים טיפים לפתרון בעיות ב-AI Inference SMT.

  • שגיאות בנושא SMTP. אם ההסקה נכשלת כשמפרסמים את ההודעה, כל בקשת הפרסום נכשלת. פרטי השגיאה מוחזרים ללקוח של בעל התוכן הדיגיטלי.

  • שגיאות SMT במינויים. אם ההסקה נכשלת כשההודעה נמסרת (לדוגמה, בגלל חוסר זמינות ממושך של המודל, ניצול מתמשך של המכסה או שגיאות של ארגומנטים לא חוקיים), ההודעה המקורית שלא השתנתה מועברת לנושא להודעות ללא מוצא שהוגדר. כך לא תאבדו נתונים. ההודעה המועברת כוללת מאפיין CloudPubSubDeadLetterSourceSMTErrorMessage שמכיל את פרטי הכשל ב-SMTP. מומלץ להגדיר נושא להודעות ללא מוצא כשמשתמשים ב-SMT בהרשמה.

  • שגיאות בהסקת מסקנות של מודלים. אם ההסקה נכשלת ומוחזרת שגיאה, בדקו את הדברים הבאים:

    • מוודאים שנקודת הקצה שהוגדרה נכונה.

    • מוודאים שנתוני ההודעה ב-Pub/Sub מכילים בקשת הסקה תקינה למודל.

    • מוודאים שכל הפרמטרים של המודל תקינים.

    יכול להיות שההסקה תיכשל מסיבות אחרות, כמו בעיות בקישוריות.

  • שגיאות בהרשאות או בנקודות הקצה. אם לחשבון השירות המוגדר אין יותר הרשאה לנקודת הקצה, או אם נקודת הקצה נמחקת, ה-SMT נכשל.

מכסות ומגבלות

  • בנוסף למכסות ולמגבלות של Pub/Sub, המכסות והמגבלות של קצב הבקשות חלות על נקודת הקצה של Agent Platform. הבקרה המובנית על זרימת הנתונים ב-Pub/Sub מתאימה באופן אוטומטי את קצב הבקשות כדי למנוע עומס יתר בנקודת הקצה, אבל הקצב לא יכול לחרוג מהמכסה של המודל.

  • הגודל של ההודעה הסופית אחרי השינוי, כולל ההודעה המקורית והפלט של ההסקת מסקנות, צריך להיות קטן ממגבלת הגודל של ההודעות ב-Pub/Sub. אם ההודעה אחרי השינוי חורגת מהמגבלה, השינוי נכשל.

המאמרים הבאים