חישוב הדרישות של הקצאת משאבים לפי התפוקה שנקבעה

בקטע הזה מוסברים המושגים "יחידת תפוקה ל-AI גנרטיבי" (GSU) ו"קצב ניצול". החישוב והתמחור של הקצאת המשאבים לפי התפוקה שנקבעה מתבצעים באמצעות יחידות תפוקה ל-AI גנרטיבי (GSU) ושיעורי ניצול.

‫GSU וקצב ניצול המכסה

יחידת תפוקה ל-AI גנרטיבי (GSU) היא מדד לתפוקה של ההנחיות והתשובות. הסכום הזה מציין את נפח העיבוד שצריך להקצות למודל.

קצב ניצול הוא יחס שממיר את יחידות הקלט והפלט (כמו טוקנים, תווים או תמונות) לטוקנים של קלט לשנייה, תווים של קלט לשנייה או תמונות של קלט לשנייה, בהתאמה. היחס הזה מייצג את קצב העיבוד ומשמש ליצירת יחידה סטנדרטית בכל המודלים.

מודלים שונים משתמשים בכמויות שונות של תפוקה. כדי לדעת מהו סכום הרכישה המינימלי של יחידות GSU ומהן המדרגות לכל מודל, קראו את הקטע מודלים נתמכים ושיעורי ניצול במאמר הזה.

המשוואה הזו מדגימה איך מחשבים את קצב העברת הנתונים:

inputs_per_query = inputs_across_modalities_converted_using_burndown_rates
outputs_per_query = outputs_across_modalities_converted_using_burndown_rates

throughput_per_second = (inputs_per_query + outputs_per_query) * queries_per_second

קצב העיבוד המחושב לשנייה קובע כמה יחידות GSU אתם צריכים לתרחיש לדוגמה שלכם.

דברים שחשוב לדעת

כדי לתכנן את הצרכים שלכם בהקצאת משאבים לפי התפוקה שנקבעה, כדאי לעיין בשיקולים החשובים הבאים:

  • הבקשות מתועדפות.

    לקוחות עם הקצאת משאבים לפי התפוקה שנקבעה מקבלים עדיפות, והבקשות שלהם מטופלות לפני בקשות על פי דרישה.

  • קצב העברת הנתונים לא מצטבר.

    קצב העברת נתונים שלא נוצל לא נצבר ולא עובר לחודש הבא.

  • הקצאת המשאבים לפי התפוקה שנקבעה נמדדת בטוקנים לשנייה, בתווים לשנייה או בתמונות לשנייה.

    הקצאת המשאבים לפי התפוקה שנקבעה לא נמדדת רק לפי שאילתות לדקה (QPM). הוא נמדד לפי גודל השאילתה בתרחיש לדוגמה, גודל התשובה וה-QPM.

  • הקצאת המשאבים לפי התפוקה שנקבעה היא ספציפית לפרויקט, לאזור, למודל ולגרסה.

    הקצאת המשאבים לפי התפוקה שנקבעה מוקצית לשילוב ספציפי של פרויקט, אזור, מודל וגרסה. אם תשלחו בקשה לאותו מודל מאזור אחר, היא לא תיכלל במכסה של הקצאת המשאבים לפי התפוקה שנקבעה, ולא תקבל עדיפות על פני בקשות על פי דרישה.

שמירת הקשר במטמון

הקצאת משאבים לפי התפוקה שנקבעה תומכת בשמירה במטמון באופן משתמע ובשמירה במטמון באופן מפורש. מידע על המודלים הנתמכים והמגבלות מופיע במאמר שמירת הקשר במטמון.

שמירה במטמון באופן משתמע מופעלת כברירת מחדל בכל הפרויקטים ב- Google Cloud . שמירה במטמון באופן משתמע מפחיתה את העלות ואת זמן האחזור במהלך מציאה במטמון (cache hit). כשמתרחשת מציאה במטמון (cache hit), טוקנים שנשמרו במטמון מחויבים בהנחה ביחס לטוקנים של קלט סטנדרטי (stdin). שמירה מפורשת במטמון מאפשרת שליטה רבה יותר ומבטיחה הנחה כשמפנים למטמונים מפורשים. כדי ללמוד איך ליצור מטמון הקשר לשמירה מפורשת במטמון, קראו את המאמר יצירת מטמון הקשר. במאמר סקירה כללית על שמירת הקשר במטמון מפורטות ההנחות הספציפיות לכל מודל. בהקצאת משאבים לפי התפוקה שנקבעה, ההנחה מיושמת באמצעות שיעור ניצול מופחת.

לדוגמה, אלה שיעורי הניצול של Gemini 2.5 Pro לטוקנים של טקסט קלט ולטוקנים במטמון:

  • טוקן אחד של טקסט קלט = טוקן אחד

  • טוקן אחד של טקסט במטמון בקלט = 0.1 טוקנים

אם תשלחו 1,000 טוקנים של קלט למודל הזה, קצב הניצול של הקצאת המשאבים לפי התפוקה שנקבעה יהיה 1,000 טוקנים של קלט לשנייה. לעומת זאת, אם תשלחו 1,000 טוקנים במטמון ל-Gemini 2.5 Pro, קצב הניצול של הקצאת המשאבים לפי התפוקה שנקבעה יהיה 100 טוקנים לשנייה.

חשוב לזכור שהמצב הזה יכול להוביל לתפוקה גבוהה יותר בשאילתות דומות שבהן הטוקנים לא נשמרים במטמון וההנחה על המטמון לא חלה.

כדי לראות את קצבי הניצול של המודלים שנתמכים בהקצאת משאבים לפי התפוקה שנקבעה, קראו את המאמר מודלים נתמכים וקצבי ניצול.

הסבר על ניצול המכסות של Gemini Live API

הקצאת משאבים לפי התפוקה שנקבעה תומכת ב-Gemini 3.8 Live וב-Gemini 2.5 Flash עם Gemini Live API. כדי להבין איך לחשב את קצב הניצול כשמשתמשים ב-Gemini Live API, קראו את המאמר הקצאת משאבים לפי התפוקה שנקבעה ל-Gemini Live API (ואת המאמר הערכת דרישות ה-GSU ל-Gemini 3.8 Live).

דוגמה להערכת הצרכים של הקצאת המשאבים לפי התפוקה שנקבעה

כדי להעריך את הצרכים שלכם לגבי הקצאת משאבים לפי התפוקה שנקבעה, אתם יכולים להשתמש בכלי ההערכה במסוף Google Cloud . הדוגמה הבאה ממחישה את תהליך האומדן של כמות הקצאת המשאבים לפי התפוקה שנקבעה למודל שלכם. האזור לא נכלל בחישובי ההערכה.

בטבלה הזו מפורטים שיעורי הניכוי של Gemini 3.8 Flash, שבהם אתם יכולים להשתמש כדי לעקוב אחרי הדוגמה.

מודל קצב העברת נתונים לכל GSU יחידות הגדלה מינימלית של רכישת GSU קצב ניצול התקציב
Gemini 3.8 Flash 675 טוקנים 1 ‫1 טוקן של טקסט קלט = טוקן אחד
1 טוקן של תמונת קלט = טוקן אחד
1 טוקן של סרטון קלט = טוקן אחד
1 טוקן של אודיו קלט = טוקן אחד
1 טוקן של קריאת מטמון של טקסט קלט = 0.1 טוקנים
1 טוקן של קריאת מטמון של תמונת קלט = 0.1 טוקנים
1 טוקן של קריאת מטמון של סרטון קלט = 0.1 טוקנים
1 טוקן של קריאת מטמון של אודיו קלט = 0.1 טוקנים
1 טוקן של תגובת טקסט פלט = 5 טוקנים

  1. אוספים את הדרישות. בדוגמה הזו, הדרישה היא לוודא שאתם יכולים לתמוך ב-10 שאילתות לשנייה (QPS) של שאילתה עם קלט של 1,000 אסימוני טקסט ו-500 אסימוני אודיו, כדי לקבל פלט של 300 אסימוני תגובה בטקסט באמצעות gemini-3.8-flash.

    כדי לחשב את קצב העיבוד של תרחיש לדוגמה ספציפי, משתמשים בקצבי הניצול של המודל שנבחר.

  2. חישוב קצב העברת הנתונים. מכפילים את הקלט בשיעורי הניצול כדי להגיע לסך כל הטוקנים של הקלט:

    $\text{1,000} \times (\text{1 token per input text token}) + \text{500} \times (\text{1 token per input audio token}) = \text{1,500}$ טוקנים של קלט מותאמים לניצול לכל שאילתה.

    מכפילים את הפלטים בשיעורי הניצול כדי להגיע לסך כל אסימוני הפלט:

    ‫$\text{300} \times (\text{5 tokens per output text response token}) = \text{1,500}$ טוקנים של פלט מותאמים לקצב הניצול לכל שאילתה.

    מחברים את הסכומים:

    $\text{1,500 burndown adjusted input tokens} + \text{1,500 burndown adjusted output tokens} = \text{3,000}$ סך הטוקנים לכל שאילתה.

    מכפילים את מספר הטוקנים הכולל ב-QPS כדי לקבל את קצב העברת הנתונים הכולל לשנייה:

    $\text{3,000 total tokens per query} \times \text{10 QPS} = \text{30,000}$ total tokens per second.

  3. חשבו את מספר יחידות ה-GSU שאתם צריכים. כדי לחשב את מספר יחידות ה-GSU, מחלקים את מספר הטוקנים הכולל לשנייה בנפח העיבוד לשנייה לכל GSU מטבלת הניצול:

    $\text{30,000 total tokens per second} \div \text{675 per-second throughput per GSU} = \text{44.44}$ GSUs.

    הכמות המינימלית לרכישת GSU ב-gemini-3.8-flash היא 1, ולכן תצטרכו 45 יחידות GSU כדי להבטיח את עומס העבודה.

המאמרים הבאים