שימוש בהקצאת משאבים לפי התפוקה שנקבעה

בדף הזה מוסבר איך הקצאת משאבים לפי התפוקה שנקבעה פועלת, איך לשלוט בחריגות או לעקוף את הקצאת משאבים לפי התפוקה שנקבעה, ואיך לעקוב אחרי השימוש.

איך פועלת הקצאת משאבים לפי התפוקה שנקבעה

בקטע הזה מוסבר איך הקצאת משאבים לפי התפוקה שנקבעה פועלת באמצעות בדיקת המכסה במהלך תקופת אכיפת המכסה.

בדיקת מכסת הקצאת משאבים לפי התפוקה שנקבעה

המכסה המקסימלית של הקצאת משאבים לפי התפוקה שנקבעה היא מכפלה של מספר יחידות תפוקה ל-AI גנרטיבי (GSU) שנרכשו והתפוקה לכל GSU. הבדיקה מתבצעת בכל פעם ששולחים בקשה במסגרת תקופת אכיפת המכסה, שקובעת את התדירות שבה נאכפת המכסה המקסימלית של הקצאת משאבים לפי התפוקה שנקבעה.

בזמן קבלת הבקשה, גודל התגובה האמיתי לא ידוע. מכיוון שאנחנו נותנים עדיפות למהירות התגובה באפליקציות בזמן אמת, הקצאת משאבים לפי התפוקה שנקבעה מעריכה את גודל הטוקן של הפלט. אם האומדן הראשוני חורג מהמכסה המקסימלית של הקצאת משאבים לפי התפוקה שנקבעה הזמינה, הבקשה תעובד כתשלום לפי שימוש. אחרת, היא תעובד כהקצאת משאבים לפי התפוקה שנקבעה. כדי לעשות את זה, המערכת משווה את האומדן הראשוני למכסת התפוקה המקסימלית שהוקצתה לכם.

כשהתשובה נוצרת וגודל האסימון של הפלט האמיתי ידוע, המערכת מתקנת את נתוני השימוש והמכסה בפועל על ידי הוספת ההפרש בין האומדן לבין השימוש בפועל לסכום המכסה הזמין של הקצאת משאבים לפי התפוקה שנקבעה.

חלונות לאכיפת מכסת הקצאת משאבים לפי התפוקה שנקבעה

ב-Agent Platform מופעל חלון דינמי בזמן אכיפת מכסת הקצאת משאבים לפי התפוקה שנקבעה למודלים של Gemini. כך תוכלו להשיג יציבות אופטימלית בתנועה שנוטה לעליות חדות. במקום חלון קבוע, Agent Platform אוכפת את המכסה על חלון גמיש שמשתנה באופן אוטומטי בהתאם לסוג המודל ולמספר יחידות ה-GSU שהקציתם. כתוצאה מכך, יכול להיות שבמקרים מסוימים תיתקלו באופן זמני בתנועה בעדיפות גבוהה שחורגת מהמכסה שלכם על בסיס שנייה. עם זאת, אסור לחרוג מהמכסה במהלך משך הזמן של החלון. התקופות האלה מבוססות על השעה הפנימית של Agent Platform, והן לא תלויות במועד שליחת הבקשות.

איך פועל חלון האכיפה של המכסה

חלון האכיפה קובע את המידה שבה אפשר לחרוג מהמגבלה לשנייה, לפני שהמערכת תגביל את קצב הבקשות. החלון הזה מופעל באופן אוטומטי. שימו לב: יכול להיות שיהיו שינויים בחלונות האלה כדי לשפר את הביצועים והמהימנות.

• הקצאות קטנות של יחידות GSU (3 יחידות GSU או פחות): חלון הזמן יכול להיות בין 40 ל-120 שניות כדי לאפשר עיבוד של בקשות גדולות יותר ללא הפרעה.

  לדוגמה, אם קונים יחידת GSU אחת של gemini-2.5-flash, מקבלים בממוצע 2,690 אסימונים לשנייה של תפוקה רציפה. השימוש הכולל שלכם בכל חלון של 120 שניות לא יכול לעלות על 322,800 אסימונים (2,690 אסימונים לשנייה * 120 שניות). לכן, אם תשלחו בקשה שמשתמשת ב-70,000 טוקנים לשנייה, אבל השימוש הכולל במשך 120 שניות יישאר מתחת ל-322,800 טוקנים, אז פרץ השימוש של 70,000 טוקנים לשנייה עדיין ייחשב כהקצאת משאבים לפי התפוקה שנקבעה, כי השימוש הממוצע לא יעלה על 2,690 טוקנים לשנייה.

• הקצאות רגילות (בגודל בינוני) של יחידות GSU (יותר מ-3 יחידות GSU): בהטמעות של יחידות GSU בגודל בינוני (לדוגמה, פחות מ-50 יחידות GSU), חלון הזמן יכול להיות בין 5 שניות ל-30 שניות. הסף והחלונות של ההקשר משתנים בהתאם למודל.

  לדוגמה, אם קונים 25 יחידות GSU של gemini-2.5-flash, מקבלים ממוצע של 67,250 טוקנים לשנייה (2,690 טוקנים לשנייה * 25) של תפוקה רציפה. סך כל השימוש שלכם בחלון של 30 שניות לא יכול לעלות על 2,017,500 טוקנים (67,250 טוקנים לשנייה כפול 30 שניות). לכן, אם תשלחו בקשה שמשתמשת ב-1,000,000 טוקנים לשנייה, אבל השימוש הכולל במשך 30 שניות יישאר בטווח של 2,017,500 טוקנים, עדיין ייחשב שהבקשה הזו משתמשת בהקצאת משאבים לפי התפוקה שנקבעה, כי השימוש הממוצע לא חורג מ-67,250 טוקנים לשנייה.

• הקצאות GSU ברמת דיוק גבוהה (בקנה מידה גדול): בהטמעות GSU בקנה מידה גדול (לדוגמה, 50 GSU או יותר), חלון הזמן יכול להיות בין שנייה אחת ל-5 שניות, כדי להבטיח שעיבוד הבקשות בתדירות גבוהה יתבצע ברמת דיוק מקסימלית בכל התשתית.

  לדוגמה, אם קונים 250 יחידות GSU של gemini-2.5-flash, מקבלים תפוקה רציפה של 672,500 טוקנים בממוצע לשנייה (250‎ * 2,690 טוקנים לשנייה). סך כל השימוש שלך בחלון של 5 שניות לא יכול לעלות על 3,362,500 טוקנים (672,500 טוקנים לשנייה * 5 שניות). לכן, אם תשלחו בקשה שמשתמשת ב-5,000,000 טוקנים בשנייה, היא לא תעובד כבקשת הקצאת משאבים לפי התפוקה שנקבעה, כי השימוש הכולל ב-5,000,000 טוקנים חורג מהמגבלה של 3,362,500 טוקנים בחלון של 5 שניות. לעומת זאת, בקשה שמשתמשת ב-1,000,000 טוקנים לשנייה יכולה לעבור עיבוד כהקצאת משאבים לפי התפוקה שנקבעה, אם השימוש הממוצע בחלון של 5 שניות לא חורג מ-672,500 טוקנים לשנייה.

שליטה בחריגות או עקיפה של הקצאת משאבים לפי התפוקה שנקבעה

אפשר להשתמש ב-API כדי לשלוט בחריגות כשחורגים מהתפוקה שרכשתם, או כדי לעקוף את הקצאת המשאבים לפי התפוקה שנקבעה על בסיס כל בקשה.

כדאי לקרוא את כל האפשרויות כדי להבין מה צריך לעשות כדי לעמוד בדרישות של תרחיש השימוש.

התנהגות ברירת מחדל

אם בקשה חורגת ממכסת הקצאת המשאבים לפי התפוקה שנקבעה שנותרה, כברירת מחדל המערכת מעבדת את הבקשה כבקשה על פי דרישה ומחייבת עליה לפי תעריף התשלום לפי שימוש. במצב כזה, התעבורה מופיעה כגלישה בלוחות הבקרה של המעקב. מידע נוסף על מעקב אחר השימוש בהקצאת משאבים לפי התפוקה שנקבעה זמין במאמר בנושא מעקב אחר הקצאת משאבים לפי התפוקה שנקבעה.

אחרי שההזמנה של הקצאת משאבים לפי התפוקה שנקבעה פעילה, מתרחשת אוטומטית פעולת ברירת המחדל. אתם לא צריכים לשנות את הקוד כדי להתחיל להשתמש בהזמנה, כל עוד אתם משתמשים בה באזור שהוקצה.

שימוש רק בהקצאת משאבים לפי התפוקה שנקבעה

אם אתם מנהלים את העלויות על ידי הימנעות מחיובים לפי דרישה, השתמשו רק ב-Provisioned Throughput. בקשות שחורגות מהסכום של הקצאת משאבים לפי התפוקה שנקבעה מחזירות שגיאה 429.

כששולחים בקשות ל-API, מגדירים את כותרת ה-HTTP ‏X-Vertex-AI-LLM-Request-Type ל-dedicated.

שימוש רק בתשלום לפי שימוש

השימוש הזה נקרא גם שימוש על פי דרישה. הבקשות עוקפות את הקצאת המשאבים לפי התפוקה שנקבעה ונשלחות ישירות לשיטת התשלום לפי שימוש. זה יכול להיות שימושי לניסויים או לאפליקציות שנמצאות בפיתוח.

כששולחים בקשות ל-API, מגדירים את כותרת ה-HTTP ‏X-Vertex-AI-LLM-Request-Type לערך shared.

דוגמה

Python

התקנה

pip install --upgrade google-genai

מידע נוסף מופיע ב מאמרי העזרה בנושא SDK.

מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(
    http_options=HttpOptions(
        api_version="v1",
        headers={
            # Options:
            # - "dedicated": Use Provisioned Throughput
            # - "shared": Use pay-as-you-go
            # https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
            "X-Vertex-AI-LLM-Request-Type": "shared"
        },
    )
)
response = client.models.generate_content(
    model="gemini-3.5-flash",
    contents="How does AI work?",
)
print(response.text)
# Example response:
# Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#
# Here's a simplified overview:
# ...

Go

כך מתקינים או מעדכנים את Go.

מידע נוסף מופיע ב מאמרי העזרה בנושא SDK.

מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import (
	"context"
	"fmt"
	"io"
	"net/http"

	"google.golang.org/genai"
)

// generateText shows how to generate text Provisioned Throughput.
func generateText(w io.Writer) error {
	ctx := context.Background()

	client, err := genai.NewClient(ctx, &genai.ClientConfig{
		HTTPOptions: genai.HTTPOptions{
			APIVersion: "v1",
			Headers: http.Header{
				// Options:
				// - "dedicated": Use Provisioned Throughput
				// - "shared": Use pay-as-you-go
				// https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
				"X-Vertex-AI-LLM-Request-Type": []string{"shared"},
			},
		},
	})
	if err != nil {
		return fmt.Errorf("failed to create genai client: %w", err)
	}

	modelName := "gemini-2.5-flash"
	contents := genai.Text("How does AI work?")

	resp, err := client.Models.GenerateContent(ctx, modelName, contents, nil)
	if err != nil {
		return fmt.Errorf("failed to generate content: %w", err)
	}

	respText := resp.Text()

	fmt.Fprintln(w, respText)

	// Example response:
	// Artificial Intelligence (AI) isn't magic, nor is it a single "thing." Instead, it's a broad field of computer science focused on creating machines that can perform tasks that typically require human intelligence.
	// .....
	// In Summary:
	// ...

	return nil
}

Node.js

התקנה

npm install @google/genai

מידע נוסף מופיע ב מאמרי העזרה בנושא SDK.

מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

const {GoogleGenAI} = require('@google/genai');

const GOOGLE_CLOUD_PROJECT = process.env.GOOGLE_CLOUD_PROJECT;
const GOOGLE_CLOUD_LOCATION = process.env.GOOGLE_CLOUD_LOCATION || 'global';

async function generateWithProvisionedThroughput(
  projectId = GOOGLE_CLOUD_PROJECT,
  location = GOOGLE_CLOUD_LOCATION
) {
  const client = new GoogleGenAI({
    vertexai: true,
    project: projectId,
    location: location,
    httpOptions: {
      apiVersion: 'v1',
      headers: {
        // Options:
        // - "dedicated": Use Provisioned Throughput
        // - "shared": Use pay-as-you-go
        // https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
        'X-Vertex-AI-LLM-Request-Type': 'shared',
      },
    },
  });

  const response = await client.models.generateContent({
    model: 'gemini-2.5-flash',
    contents: 'How does AI work?',
  });

  console.log(response.text);

  // Example response:
  //  Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
  //  Here's a simplified overview:
  //  ...

  return response.text;
}

Java

כך מתקינים או מעדכנים את Java.

מידע נוסף מופיע ב מאמרי העזרה בנושא SDK.

מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import com.google.genai.Client;
import com.google.genai.types.GenerateContentConfig;
import com.google.genai.types.GenerateContentResponse;
import com.google.genai.types.HttpOptions;
import java.util.Map;

public class ProvisionedThroughputWithTxt {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String modelId = "gemini-2.5-flash";
    generateContent(modelId);
  }

  // Generates content with Provisioned Throughput.
  public static String generateContent(String modelId) {
    // Client Initialization. Once created, it can be reused for multiple requests.
    try (Client client =
        Client.builder()
            .location("us-central1")
            .vertexAI(true)
            .httpOptions(
                HttpOptions.builder()
                    .apiVersion("v1")
                    .headers(
                        // Options:
                        // - "dedicated": Use Provisioned Throughput
                        // - "shared": Use pay-as-you-go
                        // https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
                        Map.of("X-Vertex-AI-LLM-Request-Type", "shared"))
                    .build())
            .build()) {

      GenerateContentResponse response =
          client.models.generateContent(
              modelId, "How does AI work?", GenerateContentConfig.builder().build());

      System.out.println(response.text());
      // Example response:
      // At its core, **AI (Artificial Intelligence) works by enabling machines to learn,
      // reason, and make decisions in ways that simulate human intelligence.** Instead of being
      // explicitly programmed for every single task...
      return response.text();
    }
  }
}

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-Vertex-AI-LLM-Request-Type: dedicated" \ # Options: dedicated, shared
  $URL \
  -d '{"contents": [{"role": "user", "parts": [{"text": "Hello."}]}]}'

שימוש בהקצאת משאבים לפי התפוקה שנקבעה עם מפתח API

אם רכשתם הקצאת משאבים לפי התפוקה שנקבעה לפרויקט, למודל ולאזור ספציפיים של Google, ואתם רוצים להשתמש בה כדי לשלוח בקשה עם מפתח API, אתם צריכים לכלול בבקשה את מזהה הפרויקט, המודל, המיקום ומפתח ה-API כפרמטרים.

במאמר קבלת מפתח Google Cloud API מוסבר איך ליצור מפתח Google Cloud API שמקושר לחשבון שירות. מידע על שליחת בקשות ל-Gemini API באמצעות מפתח API מופיע במאמר חיבור לשרת ה-MCP של Knowledge.

לדוגמה, בדוגמה הבאה מוצג איך שולחים בקשה עם מפתח API בזמן השימוש בהקצאת משאבים לפי התפוקה שנקבעה:

REST

curl \
-X POST \
-H "Content-Type: application/json" \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent?key=YOUR_API_KEY" \
-d $'{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "text": "Explain how AI works in a few words"
        }
      ]
    }
  ]
}'

קבלת התראות באימייל

אתם יכולים לקבל התראות באימייל לגבי הזמנות של הקצאת משאבים לפי התפוקה שנקבעה באמצעות Essential Contacts API. אחרי ההפעלה, לוחצים על התראות בחלק העליון של הדף 'הזמנות של הקצאת משאבים לפי התפוקה שנקבעה'. בתיבת הדו-שיח שנפתחת, לוחצים על Essential contacts ופועלים לפי ההוראות במסך.

1. מפעילים את Essential Contacts API, אם הוא עדיין לא מופעל.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   להפעלת ה-API

2. עוברים לדף Provisioned Throughput (תפוקה מוקצית).

   מעבר אל הקצאת משאבים לפי התפוקה שנקבעה

3. לוחצים על התראות.

4. בתיבת הדו-שיח התראות, לוחצים על אנשי קשר חיוניים.

   ייפתח הדף 'אנשי קשר חיוניים'.

5. לוחצים על הוספת איש קשר.

6. בתיבת הדו-שיח Add a contact, מזינים את כתובת האימייל של איש הקשר בשדות Email ו-Confirm email.

7. בוחרים באפשרות עדכוני מוצרים.

8. לוחצים על Save.

כתובת האימייל ליצירת קשר מקבלת התראות על האירועים הבאים של הקצאת משאבים לפי התפוקה שנקבעה:

אירוע	מתי איש הקשר מקבל את ההודעה
ההזמנה נשלחה	תוך דקות
ההזמנה הופעלה	תוך דקות
הזמנה נשלחה לעדכון	תוך דקות
הופעל עדכון הזמנה	תוך דקות
תוקף ההזמנה: חודש, 3 חודשים או שנה	שבועיים לפני תאריך התפוגה
תוקף ההזמנה הוא שבוע.	3 ימים לפני תאריך התפוגה
חידוש אוטומטי כל חודש, כל 3 חודשים או כל שנה	שבועיים לפני תאריך החידוש האוטומטי

מעקב אחרי הקצאת משאבים לפי התפוקה שנקבעה

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

אתם יכולים לעקוב בעצמכם אחרי השימוש בהקצאת משאבים לפי התפוקה שנקבעה באמצעות קבוצה של מדדים שנמדדים בסוג המשאב aiplatform.googleapis.com/PublisherModel.

התכונה 'מעקב אחר תנועת נתונים לפי התפוקה שנקבעה' זמינה ב-Public Preview.

מידות

אפשר לסנן לפי מדדים באמצעות המאפיינים הבאים:

מאפיין	ערכים
type	input output
request_type	‫dedicated: התנועה מעובדת באמצעות הקצאת משאבים לפי התפוקה שנקבעה. ‫spillover: תעבורת נתונים מעובדת כמכסת תשלום לפי שימוש אחרי שחרגתם ממכסת הקצאת משאבים לפי התפוקה שנקבעה. שימו לב: אי אפשר להשתמש במדד spillover עם הקצאת משאבים לפי התפוקה שנקבעה למודלים של Gemini 2.0 אם מופעלת שמירה במטמון באופן מפורש, כי המודלים האלה לא תומכים בשמירה במטמון באופן מפורש. במקרה הזה, התנועה תופיע כ-shared. ‫shared: אם הקצאת משאבים לפי התפוקה שנקבעה פעילה, תעבורת הנתונים מעובדת כמכסה של תשלום לפי שימוש באמצעות כותרת ה-HTTP המשותפת. אם הקצאת משאבים לפי התפוקה שנקבעה לא פעילה, תעבורת הנתונים מעובדת כברירת מחדל לפי מודל התשלום לפי שימוש.

קידומת הנתיב

קידומת הנתיב של מדד היא aiplatform.googleapis.com/publisher/online_serving.

לדוגמה, הנתיב המלא של המדד /consumed_throughput הוא aiplatform.googleapis.com/publisher/online_serving/consumed_throughput.

מדדים

המדדים הבאים של Cloud Monitoring זמינים במשאב aiplatform.googleapis.com/PublisherModel של מודלי Gemini. אפשר להשתמש בdedicated סוגי הבקשות כדי לסנן את השימוש בהקצאת משאבים לפי התפוקה שנקבעה.

מדד	השם המוצג	תיאור
/dedicated_gsu_limit	מגבלה (GSU)	מגבלה ייעודית ב-GSU. אפשר להשתמש במדד הזה כדי להבין מה המכסה המקסימלית של הקצאת משאבים לפי התפוקה שנקבעה ב-GSU.
/tokens	טוקנים	התפלגות של כמות הטוקנים בקלט ובפלט.
/token_count	כמות טוקנים	כמות הטוקנים המצטברת של הקלט והפלט.
/consumed_token_throughput	קצב העברת נתונים של טוקנים	השימוש ברוחב הפס, שכולל את קצב הירידה בטוקנים ומשלב התאמה של המכסה. מידע נוסף זמין במאמר בנושא בדיקת מכסת הקצאת משאבים לפי התפוקה שנקבעה. המדד הזה עוזר להבין איך נעשה שימוש במכסת הקצאת משאבים לפי התפוקה שנקבעה.
/dedicated_token_limit	מגבלה (אסימונים לשנייה)	מגבלה ייעודית באסימונים לשנייה. אפשר להשתמש במדד הזה כדי להבין את מכסת התפוקה המקסימלית שהוקצתה לכם עבור מודלים מבוססי-טוקנים.
/characters	תווים	התפלגות של מספר התווים בקלט ובפלט.
/character_count	מספר התווים	מספר התווים המצטבר של הקלט והפלט.
/consumed_throughput	קצב העברת נתונים של תווים	השימוש בתפוקה, שכולל את קצב השחיקה (burndown) בתווים ומשלב התאמה של המכסה בדיקת מכסת הקצאת משאבים לפי התפוקה שנקבעה. המדד הזה עוזר להבין איך נעשה שימוש במכסת הקצאת משאבים לפי התפוקה שנקבעה. במודלים מבוססי-טוקנים, המדד הזה שווה לתפוקה שנצרכה בטוקנים כפול 4.
/dedicated_character_limit	מגבלה (תווים לשנייה)	מגבלה ייעודית בתווים לשנייה. אפשר להשתמש במדד הזה כדי להבין מה המכסה המקסימלית של הקצאת משאבים לפי התפוקה שנקבעה עבור מודלים מבוססי-תווים.
/model_invocation_count	מספר הקריאות למודל	מספר ההפעלות של המודל (בקשות לחיזוי).
/model_invocation_latencies	זמני האחזור של הפעלת המודל	זמני האחזור של קריאות למודל (זמני האחזור של חיזויים).
/first_token_latencies	זמני האחזור של הטוקן הראשון	משך הזמן מרגע קבלת הבקשה ועד להחזרת הטוקן הראשון.

למודלים של Anthropic יש גם מסנן ל-הקצאת משאבים לפי התפוקה שנקבעה, אבל רק ל-tokens ול-token_count.

מרכזי שליטה

לוחות הבקרה של ניטור ברירת המחדל של הקצאת משאבים לפי התפוקה שנקבעה מספקים מדדים שמאפשרים להבין טוב יותר את השימוש ואת הניצול של הקצאת משאבים לפי התפוקה שנקבעה. כדי לגשת למרכזי הבקרה:

1. במסוף Google Cloud , נכנסים לדף הקצאת משאבים לפי התפוקה שנקבעה.

   מעבר אל הקצאת משאבים לפי התפוקה שנקבעה

2. כדי לראות את ניצול התפוקה שהוקצתה לכל מודל בהזמנות, בוחרים בכרטיסייה Utilization summary (סיכום הניצול).

   בטבלה Provisioned Throughput utilization by model (ניצול של נפח נתונים מוקצה לפי מודל), אפשר לראות את הנתונים הבאים עבור טווח הזמן שנבחר:

   • המספר הכולל של יחידות GSU שהיו לכם.

   • שיא השימוש בתפוקה במונחים של יחידות GSU.

   • אחוז הניצול הממוצע של GSU.

   • מספר הפעמים שהגעתם למגבלת התפוקה שהוקצתה.

3. בוחרים מודל מהטבלה הקצאת משאבים לפי התפוקה שנקבעה לפי מודל כדי לראות מדדים נוספים שספציפיים למודל שנבחר.

איך מפרשים את לוחות הבקרה של המעקב

הקצאת משאבים לפי התפוקה שנקבעה בודקת את המכסה הזמינה בזמן אמת ברמת המילי-שנייה עבור בקשות שמתבצעות, אבל משווה את הנתונים האלה לתקופה של אכיפת מכסה מתמשכת, על סמך השעה בשעון הפנימי של Agent Platform. ההשוואה הזו לא תלויה בזמן שבו נשלחות הבקשות. במרכזי הבקרה של הניטור מדווחים על מדדי שימוש אחרי שמתבצעת התאמה של המכסה. עם זאת, המדדים האלה מצטברים כדי לספק ממוצעים לתקופות ההתאמה של לוח הבקרה, על סמך טווח הזמן שנבחר. רמת הפירוט הנמוכה ביותר שנתמכת בלוחות הבקרה של המעקב היא ברמת הדקה. בנוסף, השעה שמוצגת בלוחות הבקרה של המעקב שונה מהשעה שמוצגת ב-Agent Platform.

ההבדלים בתזמון יכולים לגרום מדי פעם לחוסר התאמה בין הנתונים בלוחות הבקרה של המעקב לבין הביצועים בזמן אמת. יכולות להיות לכך כמה סיבות:

• ההקצאה נאכפת בזמן אמת, אבל התרשימים של המעקב צוברים נתונים לתקופות של דקה אחת או יותר להתאמה של לוח הבקרה, בהתאם לטווח הזמן שצוין בלוחות הבקרה של המעקב.

• Agent Platform ולוחות הבקרה של המעקב פועלים על שעוני מערכת שונים.

• במהלך שנייה אחת, אם פרץ תעבורת נתונים חורג מהמכסה של הקצאת משאבים לפי התפוקה שנקבעה על סמך חלון האכיפה, הבקשה כולה מעובדת כתנועה עודפת. עם זאת, יכול להיות שרמת הניצול הכוללת של הקצאת משאבים לפי התפוקה שנקבעה תיראה נמוכה, כי הנתונים של הניצול הממוצע במהלך תקופת ההתאמה של דקה אחת לא יעלו על 100%. אם אתם רואים תעבורת נתונים שחורגת מהמכסה, זה מאשר שהמכסה שלכם על הקצאת משאבים לפי התפוקה שנקבעה נוצלה במלואה במהלך התקופה שבה המכסה נאכפת, כשבוצעו הבקשות הספציפיות האלה. הנתון הזה לא משתנה גם אם משתנה השימוש הממוצע שמוצג בלוחות הבקרה של המעקב.

דוגמה לפער אפשרי בנתוני המעקב

בדוגמה הזו אפשר לראות חלק מההבדלים שנובעים מחוסר התאמה בין חלונות. איור 1 מייצג את השימוש ברוחב פס במהלך תקופה ספציפית. באיור הזה:

• העמודות הכחולות מייצגות את תעבורת הנתונים שמתקבלת כהקצאת משאבים לפי התפוקה שנקבעה.

• העמודה הכתומה מייצגת תעבורה שגורמת לשימוש לחרוג מהמגבלה של GSU ומעובדת כעודף.

איור 1. השימוש ברוחב הפס לאורך תקופות זמן

על סמך השימוש ברוחב הפס, איור 2 מייצג אי התאמות ויזואליות אפשריות, בגלל חוסר התאמה של חלונות. באיור הזה:

• הקו הכחול מייצג את תנועת הנתונים של הקצאת משאבים לפי התפוקה שנקבעה.

• הקו הכתום מייצג תנועה שנובעת מהשפעה של קמפיין על קמפיין אחר.

איור 2. יכול להיות שיהיו פערים חזותיים בלוחות הבקרה של המעקב

במקרה כזה, יכול להיות שנתוני המעקב יראו שימוש בהקצאת משאבים לפי התפוקה שנקבעה ללא חריגה במסגרת זמן של צבירת נתונים למעקב, ובמקביל יראו שימוש בהקצאת משאבים לפי התפוקה שנקבעה מתחת למגבלת GSU שחורג במסגרת זמן אחרת של צבירת נתונים למעקב.

פתרון בעיות בלוחות בקרה למעקב

כדי לפתור בעיות של חריגה לא צפויה בלוחות הבקרה או שגיאות 429, מבצעים את השלבים הבאים:

1. התקרבות: מגדירים את טווח הזמן בלוח הבקרה ל-12 שעות או פחות כדי לקבל את תקופת ההתאמה המפורטת ביותר של דקה אחת. טווחים גדולים של זמן מאפשרים להחליק את העליות החדות שגורמות להגבלת קצב הבקשות, ומגדילים את הממוצעים של תקופת ההתאמה.

2. בדיקת התנועה הכוללת: בלוחות הבקרה הספציפיים למודל, התנועה הייעודית והתנועה העודפת מוצגות כשני קווים נפרדים, מה שעלול להוביל למסקנה שגויה שלפיה מכסת הקצאת משאבים לפי התפוקה שנקבעה לא מנוצלת במלואה ויש עודף מוקדם מדי. אם נפח התנועה חורג מהמכסה הזמינה, כל הבקשה מעובדת כחריגה. כדי להוסיף ללוח הבקרה שאילתה באמצעות Metrics Explorer ולכלול את קצב העברת הטוקנים של המודל והאזור הספציפיים, אפשר להשתמש בהדמיה מועילה נוספת. אל תכללו צבירות או מסננים נוספים כדי לראות את התעבורה הכוללת בכל סוגי התעבורה (ייעודית, עודפת ומשותפת).

מעקב אחרי מודלים של Genmedia

ניטור הקצאת משאבים לפי התפוקה שנקבעה לא זמין במודלים של Veo 3.

שליחת התראות

אחרי שמפעילים את ההתראות, מגדירים התראות שמוגדרות כברירת מחדל כדי לעזור לכם לנהל את השימוש בתעבורה.

הפעלת התראות

כדי להפעיל התראות במרכז הבקרה:

1. במסוף Google Cloud , נכנסים לדף הקצאת משאבים לפי התפוקה שנקבעה.

   מעבר אל הקצאת משאבים לפי התפוקה שנקבעה

2. כדי לראות את ניצול התפוקה שהוקצתה לכל מודל בהזמנות, בוחרים בכרטיסייה Utilization summary (סיכום הניצול).

3. בוחרים באפשרות התראות מומלצות, וההתראות הבאות מוצגות:

   • Provisioned Throughput Usage Reached Limit
   • Provisioned Throughput Utilization Exceeded 80%
   • Provisioned Throughput Utilization Exceeded 90%

4. כדאי לבדוק את ההתראות שיעזרו לכם לנהל את תנועת הגולשים.

הצגת פרטים נוספים על ההתראה

כדי לראות מידע נוסף על התראות:

1. עוברים לדף שילובים.

   מעבר אל 'שילובים'

2. מזינים Agent Platform (פלטפורמת נציג) בשדה Filter (סינון) ומקישים על Enter. מופיע Google Agent Platform.

3. כדי לראות מידע נוסף, לוחצים על הצגת פרטים. מוצגת החלונית Google Agent Platform details.

4. בוחרים בכרטיסייה התראות ואז בוחרים תבנית של מדיניות התראות.

המאמרים הבאים

• פתרון בעיות שקשורות לקוד השגיאה 429.