בקטע הזה מוסבר איך פועלת הקצאת המשאבים לפי התפוקה שנקבעה במודלים של Gemini Omni, כולל אכיפת המכסות והיחידות המינימליות לרכישה של יחידות תפוקה ל-AI גנרטיבי (GSU).
במודלים של Gemini Omni, חלונות אכיפת המכסות משתנים בהתאם למספר יחידות ה-GSU שרכשתם למודל, והם כפופים לשינויים. בקטעים הבאים מפורטים חלונות אכיפת המכסות לגדלים שונים של GSU.
המודלים של Gemini Omni: חלונות זמן לאכיפת המכסות
אלה חלונות הזמן לאכיפת המכסות לפי גודל ה-GSU במודלים של Gemini Omni:
- 1-9 יחידות GSU: 2,000 שניות
- 10-19 יחידות GSU: 200 שניות
- 20-39 יחידות GSU: 100 שניות
- 40-66 יחידות GSU: 50 שניות
- 67 יחידות GSU ומעלה: 30 שניות
הערכים שמופיעים ברשימה לא תלויים בזמן האחזור של הבקשה. הזמן שנדרש לעיבוד הבקשה לא זהה לחלון הזמן של אכיפת המכסה.
חלונות האכיפה גדולים יותר בכמויות קטנות יותר של GSU, כדי להבטיח שבקשות קטנות יותר יעובדו בהצלחה בתוך החלון. ככל שמספר ה-GSU של מודל גדל, לא נדרשים חלונות זמן ארוכים יותר כדי לעבד בקשה. אם אתם צריכים לעבד פלטים במודלים של Gemini Omni בתדירות גבוהה יותר באמצעות הקצאת משאבים לפי התפוקה שנקבעה, הגדילו את מספר יחידות ה-GSU שרכשתם ובדקו את חלון האכיפה המתאים.
לדוגמה, נניח שרכשתם יחידת GSU אחת של Omni 1.2 Flash לעומס עבודה שדורש יצירת סרטון אחד באיכות 1080p ובאורך 10 שניות. במקרה כזה, בדרך כלל אפשר ליצור את הסרטון תוך 60 שניות, והתנועה מעובדת כהקצאת משאבים לפי התפוקה שנקבעה. עם זאת, אם רוצים ליצור סרטון נוסף באותו אורך, צריך לחכות עד שחלון אכיפת המכסה יסתיים (2,000 שניות לכל GSU אחד). הזמן של חלון האכיפה הזה נקבע לפי השעון של פלטפורמת Gemini Enterprise Agent, ולא לפי הזמן שבו הבקשה נשלחה. חלונות הזמן לאכיפה תלויים באלגוריתמים של הקצה העורפי ויכולים להשתנות.
מגדירים את הפרמטרים של משך הזמן והרזולוציה ב-API כששולחים בקשה. כשמציינים את הקצאת המשאבים לפי התפוקה שנקבעה, אפשר לקבל חוויה מדויקת יותר. אם לא תספקו את הפרמטרים האלה, הערכת גודל הבקשה של הקצאת המשאבים לפי התפוקה שנקבעה תתבסס על משך הזמן והרזולוציה שמוגדרים כברירת מחדל. זה עלול להוביל למעבר מוקדם ומיותר לתשלום לפי שימוש, ולהפחית את הניצול של הקצאת המשאבים לפי התפוקה שנקבעה שרכשתם.
הערכת הדרישות של GSU
כדי להעריך את מספר יחידות ה-GSU שנדרשות לעומס העבודה, אתם יכולים להשתמש בכלי להערכת עלויות בדף Provisioned Throughput. בכלי צריך להזין את המספר הכולל של אסימוני הקלט והפלט המשוערים בחלון תדירות ספציפי. מידע נוסף על השימוש בכלי להערכת עלויות מופיע במאמר ביצוע הזמנה רגילה של הקצאת משאבים לפי התפוקה שנקבעה.
כדי להעריך את מספר הטוקנים, משתמשים בשיטות הבאות:
- אסימוני טקסט של קלט: משתמשים ב-tokenizer של ה-SDK או ב-countTokens API.
- טוקנים של קלט במודלים אחרים: משתמשים בהערכות שמבוססות על ההנחות בדף התמחור.
- עומסי עבודה קיימים: סוכמים את השימוש בטוקנים בתשובות שנוצרו בחלון זמן ספציפי.
לדוגמה, נניח שיש עומס עבודה שיוצר חמישה סרטונים של 10 שניות באיכות 720p וחמישה סרטונים של 10 שניות באיכות 1080p כל 30 שניות (10 בקשות בסך הכול). נניח שבכל בקשה יש 20 טוקנים של טקסט קלט, תמונה אחת (1,120 טוקנים) ו-100 טוקנים של חשיבה בתגובה. אלה הנתונים שצריך להזין בכלי להערכת GSU:
- תדירות: 30 שניות
- סה"כ טוקנים של טקסט קלט: 20 × 10 (בקשות) = 200
- סה"כ טוקנים של תמונות: 1,120 × 10 (בקשות) = 11,200
- סה"כ טוקנים של פלט חשיבה: 100 × 10 (בקשות) = 1,000
- סה"כ טוקנים של סרטוני פלט: 10 שניות (משך) × 5,792 (טוקנים לשנייה) × 5 סרטונים (720p) + 10 שניות (משך) × 8,688 (טוקנים לשנייה) × 5 סרטונים (1080p) = 724,000
- מספר משוער של יחידות GSU: 283 (ל-
gemini-omni-1.2-flash) או 434 (ל-gemini-omni-1.1-flash-preview)
תרחישים של רזולוציה גבוהה ומשך זמן ארוך
אי אפשר לפצל בקשה אחת גדולה בין שני חלונות אכיפה. אם בקשה אחת דורשת יותר ממה שחלון האכיפה מכיל, היא תמיד תוגש כ-PayGo, לא משנה באיזו תדירות אתם שולחים אותה ולא משנה כמה מכסה לא מנוצלת של הקצאת משאבים לפי התפוקה שנקבעה עשויה להיות בחלונות הבאים.
Gemini Omni
ב-gemini-omni-1.2-flash, זה משפיע רק על סרטונים באיכות 4K באורך של 10 שניות או יותר. ברזולוציות של 360p, 720p ו-1080p, כל משך זמן נתמך (עד 15 שניות) מתאים לחלון אחד בכל גודל רכישה, וכך גם סרטוני 4K באורך של 9 שניות או פחות (בהנחה שהקלט אופייני וטוקני החשיבה קטנים מ-118,000 טוקנים).
אם אתם יוצרים סרטונים באיכות 4K באורך של 10 שניות או יותר, השוו את התוצאה של כלי ההערכה לטבלה הבאה והזמינו את המספר הגדול יותר:
| סרטון 4K הכי ארוך | 1-9 יחידות GSU | 10-19 יחידות GSU | 20-39 יחידות GSU | 40-66 יחידות GSU | 67 יחידות GSU ומעלה |
|---|---|---|---|---|---|
| 10 שניות | 2 | 11 | 22 | 43 | 71 |
| 11 שניות | 2 | 12 | 24 | 47 | 78 |
| 12 שניות | 2 | 13 | 26 | 51 | 85 |
| 13 שניות | 2 | 14 | 28 | 55 | 92 |
| 14 שניות | 2 | 15 | 30 | 59 | 98 |
| 15 שניות | 2 | 16 | 32 | 63 | 105 |
קוראים את העמודה שתואמת למספר המשוער של יחידות ה-GSU. לדוגמה, נניח שאתם יוצרים שישה סרטוני 4K באורך 15 שניות כל 2,000 שניות. הכלי להערכה מחזיר 10 יחידות GSU, וזה מספיק לנפח עיבוד ממוצע. לעומת זאת, אם יש לכם 10 יחידות GSU, חלון האכיפה הוא 200 שניות, ואף אחד מהסרטונים שלכם באורך 15 שניות לא נכנס לחלון אחד. הגדלת המרווח בין שש הבקשות לא פותרת את הבעיה. כדי לעבד את הבקשות בלי חריגה ל-PayGo, צריך להזמין 16 יחידות GSU.
הנתונים האלה מבוססים על הנחה שההנחיות והנימוקים כוללים מספר אופייני של אסימונים, כמו הנחיית טקסט או תמונה, או סרטון באורך של עד 10 שניות לעריכה (אם עורכים סרטון קלט באורך 15 שניות ב-40 יחידות GSU או יותר, צריך להוסיף יחידת GSU אחת בעמודות של 40-66 יחידות GSU ו-67 יחידות GSU או יותר).
Gemini Omni
ב-gemini-omni-1.1-flash-preview, זה משפיע רק על סרטונים באיכות 4K באורך של 7 שניות או יותר. ברזולוציות של 360p, 720p ו-1080p, כל משך זמן נתמך מתאים לחלון אחד בכל גודל רכישה, וכך גם סרטונים באיכות 4K באורך של 6 שניות או פחות (בהנחה שהקלט והטוקנים של החשיבה הם פחות מ-88, 000 טוקנים).
אם אתם יוצרים סרטונים באיכות 4K באורך 7 שניות או יותר, השוו את התוצאה של כלי ההערכה לטבלה הבאה והזמינו את המספר הגדול יותר:
| סרטון 4K הכי ארוך | 1-9 יחידות GSU | 10-19 יחידות GSU | 20-39 יחידות GSU | 40-66 יחידות GSU | 67 יחידות GSU ומעלה |
|---|---|---|---|---|---|
| 7 שניות | 2 | 12 | 23 | 46 | 76 |
| 8 שניות | 2 | 13 | 26 | 52 | 87 |
| 9 שניות | 2 | 15 | 29 | 58 | 97 |
| 10 שניות | 2 | 17 | 33 | 65 | 107 |
קוראים את העמודה שתואמת למספר המשוער של יחידות ה-GSU. לדוגמה, נניח שאתם יוצרים שישה סרטוני 4K באורך 10 שניות כל 2,000 שניות. הכלי להערכה מחזיר 10 יחידות GSU, וזה מספיק לנפח עיבוד ממוצע. לעומת זאת, אם יש לכם 10 יחידות GSU, חלון האכיפה הוא 200 שניות, ואף אחד מהסרטונים שלכם באורך 10 שניות לא נכנס לחלון אחד. הגדלת המרווח בין שש הבקשות לא פותרת את הבעיה. כדי לעבד את הבקשות בלי חריגה ל-PayGo, צריך להזמין 17 יחידות GSU.
המספרים האלה מבוססים על הנחה של שימוש בטוקנים טיפוסיים של הנחיות ונימוקים, כמו הנחיית טקסט או תמונה, או סרטון של עד 10 שניות לעריכה.