הסקת מסקנות באצווה באמצעות Gemini

אתם יכולים לקבל היקש אסינכרוני, עם תפוקה גבוהה וחסכוני, כדי לעבד נתונים בהיקף גדול באמצעות היקש באצווה של Gemini (לשעבר חיזוי באצווה). במדריך הזה נסביר מהו ערך ההסקה באצווה, איך היא פועלת, מהן המגבלות שלה ומהן השיטות המומלצות להשגת תוצאות אופטימליות.

למה כדאי להשתמש בהסקת מסקנות באצווה?

בהרבה תרחישים בעולם האמיתי, לא צריך לקבל תשובה מיידית ממודל שפה. במקום זאת, יכול להיות שיש לכם מערך נתונים גדול של הנחיות שאתם צריכים לעבד בצורה יעילה וזולה. כאן נכנס לתמונה הסקת מסקנות באצווה.

בין היתרונות המרכזיים:

  • יעילות מבחינת עלות: עיבוד באצווה מוצע בהנחה של 50% בהשוואה להסקת מסקנות בזמן אמת, ולכן הוא אידיאלי למשימות לא דחופות בהיקף גדול. האפשרות 'שמירת נתונים במטמון באופן מרומז' מופעלת כברירת מחדל במודלים Gemini 2.5 ו-Gemini 3. שמירה במטמון באופן מרומז מספקת הנחה של 90% על טוקנים שנשמרו במטמון בהשוואה לטוקנים רגילים של קלט. עם זאת, אי אפשר לשלב את ההנחות על מטמון ועל עיבוד באצווה. ההנחה על שיעור פגיעה במטמון של 90% קודמת להנחה על שימוש בכמויות גדולות.
  • מגבלות גבוהות על קצב יצירת הבקשות: אפשר לעבד מאות אלפי בקשות באצווה אחת עם מגבלה גבוהה יותר על קצב יצירת הבקשות בהשוואה ל-Gemini API בזמן אמת.
  • תהליך עבודה פשוט יותר: במקום לנהל צינור מורכב של בקשות בודדות בזמן אמת, אפשר לשלוח עבודה אחת של אצווה ולאחזר את התוצאות אחרי שהעיבוד מסתיים. השירות מטפל באימות הפורמט, מבצע בקשות במקביל לעיבוד סימולטני ומנסה שוב באופן אוטומטי כדי להשיג שיעור השלמה גבוה עם זמן תגובה של 24 שעות.

הסקת מסקנות באצווה מותאמת למשימות עיבוד בהיקפים גדולים כמו:

  • יצירת תוכן: יצירת תיאורי מוצרים, פוסטים לרשתות החברתיות או טקסטים קריאייטיביים אחרים בכמות גדולה.
  • סיווג נתונים והוספת הערות: סיווג ביקורות משתמשים, קטלוג מסמכים או ביצוע ניתוח סנטימנטים על מאגר גדול של טקסט.
  • ניתוח אופליין: סיכום מאמרים, חילוץ מידע חשוב מדוחות או תרגום מסמכים בהיקף גדול.

מודלים של Gemini שתומכים בהסקת מסקנות באצווה

מודלי הבסיס ומודלים שעברו התאמה אישית של Gemini הבאים תומכים בהסקת מסקנות באצווה:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

תמיכה במודל של נקודת קצה גלובלית

הסקת מסקנות באצווה תומכת בשימוש בנקודת הקצה הגלובלית עבור מודלים בסיסיים של Gemini. היא לא תומכת בנקודת הקצה הגלובלית של מודלים של Gemini שעברו התאמה.

נקודת הקצה הגלובלית עוזרת לשפר את הזמינות הכוללת על ידי הצגת הבקשות שלכם מכל אזור שנתמך על ידי המודל שבו אתם משתמשים. שימו לב: הוא לא תומך בדרישות של מיקום הנתונים. אם יש לכם דרישות לגבי מיקום אחסון הנתונים, אתם צריכים להשתמש בנקודות הקצה האזוריות.

מכסות ומגבלות

למרות שהסקת מסקנות באצווה היא תכונה עוצמתית, חשוב להכיר את המגבלות הבאות.

  • Quota: אין מכסות מוגדרות מראש לשימוש. במקום זאת, שירות Batch מספק גישה למאגר גדול ומשותף של משאבים, שמוקצים באופן דינמי על סמך זמינות המשאבים והביקוש בזמן אמת בקרב כל הלקוחות של המודל הזה. כשמספר גדול יותר של לקוחות פעילים והקיבולת שלנו מלאה, יכול להיות שהבקשות שלכם יוכנסו לתור עד שתתפנה קיבולת.
  • זמן המתנה בתור: כשיש עומס רב על השירות שלנו, משימת האצווה שלכם תתווסף לתור עד שיהיה מקום בקיבולת. העבודה נשארת בתור למשך עד 72 שעות לפני שתוקפה פג.
  • מגבלות על בקשות: משימה באצווה אחת יכולה לכלול עד 200,000 בקשות. אם אתם משתמשים ב-Cloud Storage כקלט, יש גם מגבלת גודל קובץ של 1GB.
  • זמן עיבוד: עבודות באצווה מעובדות באופן אסינכרוני ולא מיועדות לאפליקציות בזמן אמת. רוב העבודות מסתיימות תוך 24 שעות אחרי שהן מתחילות לפעול (לא כולל זמן ההמתנה בתור). אחרי 24 שעות, המערכת מבטלת את העבודות שלא הושלמו, ותחויבו רק על הבקשות שהושלמו.
  • משימות שבוטלו: אפשר לבטל משימות של הסקת מסקנות באצווה בכל שלב. כשמבטלים עבודה, כל העבודה שנותרה מבוטלת, וכל העבודה שכבר הושלמה מוחזרת. החיוב יתבצע רק על העבודה שהושלמה.
  • תכונות שלא נתמכות: הסקת מסקנות באצווה לא תומכת בהקצאת משאבים לפי התפוקה שנקבעה, בשמירת נתונים במטמון באופן מפורש או ב-RAG. ‫Gemini 2.0 Flash ו-Gemini 2.0 Flash-Lite לא תומכים במטמון מרומז של הסקה באצווה.
  • פלט תמונה: הסקת מסקנות באצווה מוגבלת לרזולוציית ברירת המחדל של 1K. אין תמיכה בפלט באיכות 2K ו-4K.

שיטות מומלצות

כדי להפיק את המרב מהסקת מסקנות באצווה באמצעות Gemini, מומלץ לפעול לפי השיטות המומלצות הבאות:

  • שילוב משימות: כדי למקסם את קצב העברת הנתונים, כדאי לשלב משימות קטנות למשימה גדולה אחת, במסגרת מגבלות המערכת. לדוגמה, שליחת משימת אצווה אחת עם 200,000 בקשות תניב תפוקה טובה יותר מאשר שליחת 1,000 משימות עם 200 בקשות כל אחת.
  • מעקב אחרי סטטוס המשימה: אפשר לעקוב אחרי התקדמות המשימה באמצעות ה-API, ה-SDK או ממשק המשתמש. מידע נוסף מופיע במאמר בנושא מעקב אחרי סטטוס העבודה. אם משימה נכשלת, בודקים את הודעות השגיאה כדי לאבחן את הבעיה ולפתור אותה.
  • אופטימיזציה לעלויות: כדאי לנצל את החיסכון בעלויות שמוצע על ידי עיבוד באצווה לכל המשימות שלא דורשות תגובה מיידית.

המאמרים הבאים