אתם יכולים להוסיף סרטונים לבקשות ב-Gemini כדי לבצע משימות שדורשות הבנה של תוכן הסרטונים. בדף הזה מוסבר איך להוסיף סרטונים לבקשות ל-Gemini ב-Gemini Enterprise Agent Platform באמצעות מסוף Google Cloud ו-Agent Platform API.
מודלים נתמכים
בטבלה הבאה מפורטים המודלים שתומכים בהבנת וידאו:
| מודלים | פרטים על המדיה | סוגי MIME |
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
רשימת השפות שנתמכות במודלים של Gemini מופיעה במידע על המודלים של Google. למידע נוסף על עיצוב פרומפטים מולטי-מודאליים, ראו עיצוב פרומפטים מולטי-מודאליים. אם אתם מחפשים דרך להשתמש ב-Gemini ישירות מהאפליקציות שלכם לנייד ולאינטרנט, עיינו בערכות ה-SDK של Firebase AI Logic לאפליקציות Swift, Android, Web, Flutter ו-Unity.
מגבלות על נקודות קצה ל-API ועל חלון ההקשר
במודלים הרגילים של Gemini 3 והגרסאות הבאות,אפשר להעלות עד 3, 000 תמונות וקובצי PDF ביחד,1, 000 קובצי אודיו או 10 סרטונים לכל בקשה ב-generateContent וב-Interactions API (עד 6,500 קבצים מולטי-מודאליים ביחד כשכוללים קובצי טקסט פשוט). נקודות קצה (endpoint) של Gemini 2.5 ו-gemini-3.1-pro-preview-customtools שלא הועברו אוכפות את המגבלות הקודמות על גודל הקובץ, מספר הדפים ב-PDF (1,000) ומספר כתובות ה-URL מסוג HTTP או HTTPS. המגבלות המעשיות על בקשות תלויות גם בנקודת הקצה ל-API, במקור הקובץ ובחלון ההקשר:
- מגבלת ה-URI של Interactions API לקובצי Cloud Storage: בקשות API של Interactions תומכות בעד 100 מזהי URI נפרדים של Cloud Storage (
gs://) לכל בקשת אינטראקציה עם המודל, כולל מזהי URI שהועברו מחלקים קודמים בשיחה באמצעותprevious_interaction_id. בקשותgenerateContentתומכות במזהי URI שלgs://עד למגבלת הפריטים של המודל. - מגבלות על מקור הקובץ, החלק המוטמע ו-payload של הבקשה: קבצים נפרדים שמפנים אליהם מ-Cloud Storage לא יכולים לחרוג מ-2GiB פחות 500KiB, וקבצים שמפנים אליהם מכתובות URL ציבוריות מסוג HTTP או HTTPS לא יכולים לחרוג מ-15MiB. ב-
generateContentוב-streamGenerateContent, כל קובץ מצורף מוטבע (inline_data) לא יכול לחרוג מ-256MB במודלים סטנדרטיים של Gemini 3 ואילך, והמטען הייעודי (payload) הכולל של בקשת HTTP או gRPC דחוסה לא יכול לחרוג מ-500MiB (קידוד base64 מוסיף תקורה של כ-33% לגודל). ב-Interactions API, המטען הייעודי (payload) של בקשת ה-HTTP הדחוסה לא יכול לחרוג מ-256MiB לבקשות סינכרוניות או לבקשות סטרימינג. כש-service_tierמוגדר ל-deferred(מה שמחייב שגםbackgroundוגםstoreיהיוtrue), הבקשה הלא דחוסה לא יכולה לחרוג מ-9.75MiB. - חלון הקשר: מספר הטוקנים הכולל של כל הקלטים המולטי-מודאליים והטקסט בבקשה לא יכול לחרוג ממגבלת הטוקנים של המודל (1,048,576 טוקנים במודלים סטנדרטיים של Gemini 3 ואילך).
הוספת סרטונים לבקשה
אתם יכולים להוסיף לבקשה ל-Gemini סרטון אחד או כמה סרטונים, והם יכולים לכלול אודיו.
סרטון יחיד
הקוד לדוגמה בכל אחת מהכרטיסיות הבאות מציג דרך שונה לזהות את מה שמופיע בסרטון. הדוגמה הזו פועלת עם כל המודלים המולטי-מודאליים של Gemini.
המסוף
כדי לשלוח הנחיה מולטי-מודאלית באמצעות מסוף Google Cloud :בקטע Agent Platform במסוף Google Cloud , נכנסים לדף Agent Studio.
לוחצים על יצירת הנחיה.
אופציונלי: מגדירים את המודל והפרמטרים:
- מודל: בוחרים מודל.
אופציונלי: כדי להגדיר פרמטרים מתקדמים, לוחצים על Advanced ומגדירים את הפרמטרים הבאים:
לוחצים כדי להרחיב את ההגדרות המתקדמות.
Top-K: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך ל-Top-K.
הערך של Top-K משנה את האופן שבו המודל בוחר אסימונים לפלט. ערך Top-K של1אומר שהאסימון הבא שנבחר הוא הסביר ביותר מבין כל האסימונים באוצר המילים של המודל (נקרא גם פענוח חמדני), וערך Top-K של3אומר שהאסימון הבא נבחר מבין שלושת האסימונים הסבירים ביותר באמצעות טמפרטורה.בכל שלב של בחירת אסימון, נדגמים האסימונים עם ההסתברויות הגבוהות ביותר ב-Top-K. לאחר מכן, האסימונים מסוננים עוד יותר על סמך top-P, והאסימון הסופי נבחר באמצעות דגימת טמפרטורה.
כדי לקבל תשובות פחות אקראיות, מציינים ערך נמוך יותר. כדי לקבל תשובות יותר אקראיות, מציינים ערך גבוה יותר.
- Top-P: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך ל-top-P.
הטוקנים נבחרים מהסבירות הגבוהה ביותר לנמוכה ביותר, עד שסכום ההסתברויות שלהם שווה לערך של top-P. כדי לקבל את התוצאות הכי פחות משתנות,
צריך להגדיר את top-P לערך
0. - מספר התשובות המקסימלי: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך למספר התשובות שרוצים ליצור.
- תשובות בסטרימינג: הפעילו את האפשרות הזו כדי להדפיס תשובות תוך כדי שהן נוצרות.
- סף מסנן הבטיחות: בוחרים את הסף של הסבירות שיוצגו תשובות שעלולות להיות פוגעניות.
- הפעלת עיגון: אין תמיכה בעיגון בפרומפטים מולטי-מודאליים.
- Region: בוחרים את האזור שרוצים להשתמש בו.
- טמפרטורה: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך לטמפרטורה.
The temperature is used for sampling during response generation, which occurs whentopPandtopKare applied. Temperature controls the degree of randomness in token selection. Lower temperatures are good for prompts that require a less open-ended or creative response, while higher temperatures can lead to more diverse or creative results. A temperature of0means that the highest probability tokens are always selected. In this case, responses for a given prompt are mostly deterministic, but a small amount of variation is still possible.If the model returns a response that's too generic, too short, or the model gives a fallback response, try increasing the temperature. If the model enters infinite generation, increasing the temperature to at least
0.1may lead to improved results.1.0is the recommended starting value for temperature. </li> <li>**Output token limit**: Use the slider or textbox to enter a value for the max output limit. Maximum number of tokens that can be generated in the response. A token is approximately four characters. 100 tokens correspond to roughly 60-80 words.Specify a lower value for shorter responses and a higher value for potentially longer responses.
</li> <li>**Add stop sequence**: Optional. Enter a stop sequence, which is a series of characters that includes spaces. If the model encounters a stop sequence, the response generation stops. The stop sequence isn't included in the response, and you can add up to five stop sequences.</li> </ul>
לוחצים על הוספת מדיה ובוחרים מקור לקובץ.
העלאה
בוחרים את הקובץ שרוצים להעלות ולוחצים על פתיחה.
לפי כתובת URL
מזינים את כתובת ה-URL של הקובץ שבו רוצים להשתמש ולוחצים על הוספה.
YouTube
מזינים את כתובת ה-URL של הסרטון ב-YouTube שבו רוצים להשתמש ולוחצים על הוספה.
אתם יכולים להשתמש בכל סרטון שגלוי לכולם או בסרטון שבבעלות החשבון שבאמצעותו נכנסתם למסוף Google Cloud .
Cloud Storage
בוחרים את הקטגוריה ואז את הקובץ מהקטגוריה שרוצים לייבא, ולוחצים על Select.
Google Drive
- בפעם הראשונה שבוחרים באפשרות הזו, צריך לבחור חשבון ולתת ל-Agent Studio הרשאת גישה אליו. אפשר להעלות כמה קבצים בגודל כולל של עד 10MB. הגודל המקסימלי של קובץ בודד הוא 7MB.
- לוחצים על הקובץ שרוצים להוסיף.
לוחצים על בחירה.
התמונה הממוזערת של הקובץ מוצגת בחלונית הנחיה. מוצג גם המספר הכולל של האסימונים. אם נתוני ההנחיה חורגים ממגבלת הטוקנים, הטוקנים נחתכים ולא נכללים בעיבוד הנתונים.
כותבים את הפרומפט בחלונית הנחיה.
אופציונלי: כדי לראות את מזהה טוקן לטקסט ואת מזהי טוקנים, לוחצים על כמות טוקנים בחלונית פרומפט.
לוחצים על שליחה.
אם רוצים לשמור את ההנחיה בקטע ההנחיות שלי, לוחצים על שמירה.
אופציונלי: כדי לקבל את קוד Python או פקודת curl להנחיה, לוחצים על פיתוח באמצעות קוד > קבלת קוד.
Python
התקנה
pip install --upgrade google-genai
מידע נוסף זמין במאמרי העזרה של ה-SDK.
מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Go
מידע נוסף זמין במאמרי העזרה של ה-SDK.
מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Java
איך מתקינים או מעדכנים את Java
מידע נוסף זמין במאמרי העזרה של ה-SDK.
מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Node.js
התקנה
npm install @google/genai
מידע נוסף זמין במאמרי העזרה של ה-SDK.
מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
REST
אחרי שמגדירים את הסביבה, אפשר להשתמש ב-REST כדי לבדוק פרומפט טקסטואלי. הדוגמה הבאה שולחת בקשה לנקודת הקצה של המודל של בעל התוכן הדיגיטלי.
GenerateContent API
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
-
PROJECT_ID: מזהה הפרויקט. -
FILE_URI: ה-URI או כתובת ה-URL של הקובץ שרוצים לכלול בהנחיה. הערכים הקבילים כוללים:- URI של קטגוריה ב-Cloud Storage: האובייקט צריך להיות קריא באופן ציבורי או להיות באותו פרויקט ב- Google Cloud ששולח את הבקשה.
- כתובת URL מסוג HTTP: כתובת ה-URL של הקובץ צריכה להיות קריאה באופן ציבורי, והגודל של כל קובץ לא יכול לחרוג מ-15MiB.
במודלים הרגילים של Gemini 3 ואילך אפשר להעלות עד 3,000 תמונות וקובצי PDF ביחד, 1,000 קובצי אודיו או 10 סרטונים בכל בקשה (עד 6, 500 קבצים בסך הכל,כולל קובצי טקסט פשוט). בנקודות קצה (endpoint) של Gemini 2.5 שלא הועברו וב-
gemini-3.1-pro-preview-customtools, כתובות URL מסוג HTTP או HTTPS מוגבלות ל-10 תמונות, קובץ אודיו אחד או סרטון אחד לכל בקשה. - כתובת ה-URL של הסרטון ב-YouTube: הסרטון ב-YouTube צריך להיות בבעלות החשבון שבו השתמשתם כדי להיכנס למסוף Google Cloud , או להיות גלוי לכולם. אפשר לשלוח רק כתובת URL אחת של סרטון ב-YouTube בכל בקשה.
כשמציינים
fileURI, צריך לציין גם את סוג המדיה (mimeType) של הקובץ. אם VPC Service Controls מופעל, אי אפשר לציין כתובת URL של קובץ מדיה בשבילfileURI.אם אין לכם קובץ וידאו ב-Cloud Storage, אתם יכולים להשתמש בקובץ הבא שזמין לכולם:
gs://cloud-samples-data/video/animals.mp4עם סוג MIMEvideo/mp4. כדי לצפות בסרטון הזה, פתחו את קובץ ה-MP4 לדוגמה. -
MIME_TYPE: סוג המדיה של הקובץ שצוין בשדותdataאוfileUri. הערכים הקבילים כוללים:לחצו כדי להרחיב את סוגי ה-MIME
application/pdfaudio/mpegaudio/mp3audio/wavimage/pngimage/jpegimage/webptext/plainvideo/movvideo/mpegvideo/mp4video/mpgvideo/avivideo/wmvvideo/mpegpsvideo/flv
-
TEXT: ההנחיות בטקסט שצריך לכלול בהנחיה. לדוגמה,What is in the video?
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
cat > request.json << 'EOF'
{
"contents": {
"role": "USER",
"parts": [
{
"fileData": {
"fileUri": "FILE_URI",
"mimeType": "MIME_TYPE"
}
},
{
"text": "TEXT"
}
]
}
}
EOFלאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.5-flash:generateContent"
PowerShell
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
@'
{
"contents": {
"role": "USER",
"parts": [
{
"fileData": {
"fileUri": "FILE_URI",
"mimeType": "MIME_TYPE"
}
},
{
"text": "TEXT"
}
]
}
}
'@ | Out-File -FilePath request.json -Encoding utf8לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.5-flash:generateContent" | Select-Object -Expand Content
אתם אמורים לקבל תגובת JSON שדומה לזו:
Interactions API
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
-
PROJECT_ID: מזהה הפרויקט. -
FILE_URI: ה-URI או כתובת ה-URL של הקובץ שרוצים לכלול בהנחיה. הערכים הקבילים כוללים:- URI של קטגוריה ב-Cloud Storage: האובייקט צריך להיות קריא באופן ציבורי או להיות באותו פרויקט ב- Google Cloud ששולח את הבקשה.
- כתובת URL מסוג HTTP: כתובת ה-URL של הקובץ צריכה להיות קריאה באופן ציבורי, והגודל של כל קובץ לא יכול לחרוג מ-15MiB.
במודלים הרגילים של Gemini 3 ואילך אפשר להעלות עד 3,000 תמונות וקובצי PDF ביחד, 1,000 קובצי אודיו או 10 סרטונים בכל בקשה (עד 6, 500 קבצים בסך הכל,כולל קובצי טקסט פשוט). בנקודות קצה (endpoint) של Gemini 2.5 שלא הועברו וב-
gemini-3.1-pro-preview-customtools, כתובות URL מסוג HTTP או HTTPS מוגבלות ל-10 תמונות, קובץ אודיו אחד או סרטון אחד לכל בקשה. - כתובת ה-URL של הסרטון ב-YouTube: הסרטון ב-YouTube צריך להיות בבעלות החשבון שבו השתמשתם כדי להיכנס למסוף Google Cloud , או להיות גלוי לכולם. אפשר לשלוח רק כתובת URL אחת של סרטון ב-YouTube בכל בקשה.
כשמציינים
fileURI, צריך לציין גם את סוג המדיה (mimeType) של הקובץ. אם VPC Service Controls מופעל, אי אפשר לציין כתובת URL של קובץ מדיה בשבילfileURI.אם אין לכם קובץ וידאו ב-Cloud Storage, אתם יכולים להשתמש בקובץ הבא שזמין לכולם:
gs://cloud-samples-data/video/animals.mp4עם סוג MIMEvideo/mp4. כדי לצפות בסרטון הזה, פתחו את קובץ ה-MP4 לדוגמה. -
MIME_TYPE: סוג המדיה של הקובץ שצוין בשדותdataאוfileUri. הערכים הקבילים כוללים:לחצו כדי להרחיב את סוגי ה-MIME
application/pdfaudio/mpegaudio/mp3audio/wavimage/pngimage/jpegimage/webptext/plainvideo/movvideo/mpegvideo/mp4video/mpgvideo/avivideo/wmvvideo/mpegpsvideo/flv
-
TEXT: ההנחיות בטקסט שצריך לכלול בהנחיה. לדוגמה,What is in the video?
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
cat > request.json << 'EOF'
{
"model": "gemini-3.8-flash",
"input": [
{
"type": "user_input",
"content": [
{
"type": "video",
"uri": "FILE_URI",
"mime_type": "MIME_TYPE"
},
{
"type": "text",
"text": "TEXT"
}
]
}
]
}
EOFלאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/interactions"
PowerShell
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
@'
{
"model": "gemini-3.8-flash",
"input": [
{
"type": "user_input",
"content": [
{
"type": "video",
"uri": "FILE_URI",
"mime_type": "MIME_TYPE"
},
{
"type": "text",
"text": "TEXT"
}
]
}
]
}
'@ | Out-File -FilePath request.json -Encoding utf8לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
אתם אמורים לקבל תגובת JSON שדומה לזו:
- משתמשים ב-method
generateContentכדי לבקש שהתשובה תוחזר אחרי שהיא נוצרת במלואה. כדי להפחית את תפיסת זמן האחזור בקרב קהל אנושי, אפשר להעביר בסטרימינג את התשובה בזמן שהיא נוצרת באמצעות השיטהstreamGenerateContent. - המזהה של המודל המולטי-מודאלי נמצא בסוף כתובת ה-URL לפני ה-method (לדוגמה,
gemini-3.5-flash). יכול להיות שהדוגמה הזו תומכת גם במודלים אחרים. - כשמשתמשים בנקודת קצה אזורית ל-API (לדוגמה,
us-central1), האזור מכתובת ה-URL של נקודת הקצה קובע איפה הבקשה תעובד. המערכת מתעלמת מכל מיקום שמתנגש בנתיב המשאב.
סרטון עם אודיו
כך מסכמים קובץ וידאו עם אודיו ומחזירים פרקים עם חותמות זמן. הדוגמה הזו פועלת עם כל המודלים המולטי-מודאליים של Gemini שתומכים בווידאו עם אודיו.
Python
התקנה
pip install --upgrade google-genai
מידע נוסף זמין במאמרי העזרה של ה-SDK.
מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
REST
אחרי שמגדירים את הסביבה, אפשר להשתמש ב-REST כדי לבדוק פרומפט טקסטואלי. הדוגמה הבאה שולחת בקשה לנקודת הקצה של המודל של בעל התוכן הדיגיטלי.
GenerateContent API
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
-
PROJECT_ID: מזהה הפרויקט. -
FILE_URI: ה-URI או כתובת ה-URL של הקובץ שרוצים לכלול בהנחיה. הערכים הקבילים כוללים:- URI של קטגוריה ב-Cloud Storage: האובייקט צריך להיות קריא באופן ציבורי או להיות באותו פרויקט ב- Google Cloud ששולח את הבקשה.
- כתובת URL מסוג HTTP: כתובת ה-URL של הקובץ צריכה להיות קריאה באופן ציבורי, והגודל של כל קובץ לא יכול לחרוג מ-15MiB.
במודלים הרגילים של Gemini 3 ואילך אפשר להעלות עד 3,000 תמונות וקובצי PDF ביחד, 1,000 קובצי אודיו או 10 סרטונים בכל בקשה (עד 6, 500 קבצים בסך הכל,כולל קובצי טקסט פשוט). בנקודות קצה (endpoint) של Gemini 2.5 שלא הועברו וב-
gemini-3.1-pro-preview-customtools, כתובות URL מסוג HTTP או HTTPS מוגבלות ל-10 תמונות, קובץ אודיו אחד או סרטון אחד לכל בקשה. - כתובת ה-URL של הסרטון ב-YouTube: הסרטון ב-YouTube צריך להיות בבעלות החשבון שבו השתמשתם כדי להיכנס למסוף Google Cloud , או להיות גלוי לכולם. אפשר לשלוח רק כתובת URL אחת של סרטון ב-YouTube בכל בקשה.
כשמציינים
fileURI, צריך לציין גם את סוג המדיה (mimeType) של הקובץ. אם VPC Service Controls מופעל, אי אפשר לציין כתובת URL של קובץ מדיה בשבילfileURI.אם אין לכם קובץ וידאו ב-Cloud Storage, אתם יכולים להשתמש בקובץ הבא שזמין לכולם:
gs://cloud-samples-data/generative-ai/video/pixel8.mp4עם סוג MIMEvideo/mp4. כדי לצפות בסרטון הזה, פתחו את קובץ ה-MP4 לדוגמה. -
MIME_TYPE: סוג המדיה של הקובץ שצוין בשדותdataאוfileUri. הערכים הקבילים כוללים:לחצו כדי להרחיב את סוגי ה-MIME
application/pdfaudio/mpegaudio/mp3audio/wavimage/pngimage/jpegimage/webptext/plainvideo/movvideo/mpegvideo/mp4video/mpgvideo/avivideo/wmvvideo/mpegpsvideo/flv
TEXTההוראות בטקסט שצריך לכלול בהנחיה. לדוגמה,Provide a description of the video. The description should also contain anything important which people say in the video.
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
cat > request.json << 'EOF'
{
"contents": {
"role": "USER",
"parts": [
{
"fileData": {
"fileUri": "FILE_URI",
"mimeType": "MIME_TYPE"
}
},
{
"text": "TEXT"
}
]
}
}
EOFלאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent"
PowerShell
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
@'
{
"contents": {
"role": "USER",
"parts": [
{
"fileData": {
"fileUri": "FILE_URI",
"mimeType": "MIME_TYPE"
}
},
{
"text": "TEXT"
}
]
}
}
'@ | Out-File -FilePath request.json -Encoding utf8לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent" | Select-Object -Expand Content
אתם אמורים לקבל תגובת JSON שדומה לזו:
Interactions API
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
-
PROJECT_ID: מזהה הפרויקט. -
FILE_URI: ה-URI או כתובת ה-URL של הקובץ שרוצים לכלול בהנחיה. הערכים הקבילים כוללים:- URI של קטגוריה ב-Cloud Storage: האובייקט צריך להיות קריא באופן ציבורי או להיות באותו פרויקט ב- Google Cloud ששולח את הבקשה.
- כתובת URL מסוג HTTP: כתובת ה-URL של הקובץ צריכה להיות קריאה באופן ציבורי, והגודל של כל קובץ לא יכול לחרוג מ-15MiB.
במודלים הרגילים של Gemini 3 ואילך אפשר להעלות עד 3,000 תמונות וקובצי PDF ביחד, 1,000 קובצי אודיו או 10 סרטונים בכל בקשה (עד 6, 500 קבצים בסך הכל,כולל קובצי טקסט פשוט). בנקודות קצה (endpoint) של Gemini 2.5 שלא הועברו וב-
gemini-3.1-pro-preview-customtools, כתובות URL מסוג HTTP או HTTPS מוגבלות ל-10 תמונות, קובץ אודיו אחד או סרטון אחד לכל בקשה. - כתובת ה-URL של הסרטון ב-YouTube: הסרטון ב-YouTube צריך להיות בבעלות החשבון שבו השתמשתם כדי להיכנס למסוף Google Cloud , או להיות גלוי לכולם. אפשר לשלוח רק כתובת URL אחת של סרטון ב-YouTube בכל בקשה.
כשמציינים
fileURI, צריך לציין גם את סוג המדיה (mimeType) של הקובץ. אם VPC Service Controls מופעל, אי אפשר לציין כתובת URL של קובץ מדיה בשבילfileURI.אם אין לכם קובץ וידאו ב-Cloud Storage, אתם יכולים להשתמש בקובץ הבא שזמין לכולם:
gs://cloud-samples-data/generative-ai/video/pixel8.mp4עם סוג MIMEvideo/mp4. כדי לצפות בסרטון הזה, פתחו את קובץ ה-MP4 לדוגמה. -
MIME_TYPE: סוג המדיה של הקובץ שצוין בשדותdataאוfileUri. הערכים הקבילים כוללים:לחצו כדי להרחיב את סוגי ה-MIME
application/pdfaudio/mpegaudio/mp3audio/wavimage/pngimage/jpegimage/webptext/plainvideo/movvideo/mpegvideo/mp4video/mpgvideo/avivideo/wmvvideo/mpegpsvideo/flv
TEXTההוראות בטקסט שצריך לכלול בהנחיה. לדוגמה,Provide a description of the video. The description should also contain anything important which people say in the video.
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
cat > request.json << 'EOF'
{
"model": "gemini-3.8-flash",
"input": [
{
"type": "user_input",
"content": [
{
"type": "video",
"uri": "FILE_URI",
"mime_type": "MIME_TYPE"
},
{
"type": "text",
"text": "TEXT"
}
]
}
]
}
EOFלאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/interactions"
PowerShell
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
@'
{
"model": "gemini-3.8-flash",
"input": [
{
"type": "user_input",
"content": [
{
"type": "video",
"uri": "FILE_URI",
"mime_type": "MIME_TYPE"
},
{
"type": "text",
"text": "TEXT"
}
]
}
]
}
'@ | Out-File -FilePath request.json -Encoding utf8לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
אתם אמורים לקבל תגובת JSON שדומה לזו:
- משתמשים ב-method
generateContentכדי לבקש שהתשובה תוחזר אחרי שהיא נוצרת במלואה. כדי להפחית את תפיסת זמן האחזור בקרב קהל אנושי, אפשר להעביר בסטרימינג את התשובה בזמן שהיא נוצרת באמצעות השיטהstreamGenerateContent. - המזהה של המודל המולטי-מודאלי נמצא בסוף כתובת ה-URL לפני ה-method (לדוגמה,
gemini-3.5-flash). יכול להיות שהדוגמה הזו תומכת גם במודלים אחרים. - כשמשתמשים בנקודת קצה אזורית ל-API (לדוגמה,
us-central1), האזור מכתובת ה-URL של נקודת הקצה קובע איפה הבקשה תעובד. המערכת מתעלמת מכל מיקום שמתנגש בנתיב המשאב.
המסוף
כדי לשלוח הנחיה מולטי-מודאלית באמצעות מסוף Google Cloud :בקטע Agent Platform במסוף Google Cloud , נכנסים לדף Agent Studio.
לוחצים על יצירת הנחיה.
אופציונלי: מגדירים את המודל והפרמטרים:
- מודל: בוחרים מודל.
אופציונלי: כדי להגדיר פרמטרים מתקדמים, לוחצים על Advanced ומגדירים את הפרמטרים הבאים:
לוחצים כדי להרחיב את ההגדרות המתקדמות.
Top-K: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך ל-Top-K.
הערך של Top-K משנה את האופן שבו המודל בוחר אסימונים לפלט. ערך Top-K של1אומר שהאסימון הבא שנבחר הוא הסביר ביותר מבין כל האסימונים באוצר המילים של המודל (נקרא גם פענוח חמדני), וערך Top-K של3אומר שהאסימון הבא נבחר מבין שלושת האסימונים הסבירים ביותר באמצעות טמפרטורה.בכל שלב של בחירת אסימון, נדגמים האסימונים עם ההסתברויות הגבוהות ביותר ב-Top-K. לאחר מכן, האסימונים מסוננים עוד יותר על סמך top-P, והאסימון הסופי נבחר באמצעות דגימת טמפרטורה.
כדי לקבל תשובות פחות אקראיות, מציינים ערך נמוך יותר. כדי לקבל תשובות יותר אקראיות, מציינים ערך גבוה יותר.
- Top-P: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך ל-top-P.
הטוקנים נבחרים מהסבירות הגבוהה ביותר לנמוכה ביותר, עד שסכום ההסתברויות שלהם שווה לערך של top-P. כדי לקבל את התוצאות הכי פחות משתנות,
צריך להגדיר את top-P לערך
0. - מספר התשובות המקסימלי: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך למספר התשובות שרוצים ליצור.
- תשובות בסטרימינג: הפעילו את האפשרות הזו כדי להדפיס תשובות תוך כדי שהן נוצרות.
- סף מסנן הבטיחות: בוחרים את הסף של הסבירות שיוצגו תשובות שעלולות להיות פוגעניות.
- הפעלת עיגון: אין תמיכה בעיגון בפרומפטים מולטי-מודאליים.
- Region: בוחרים את האזור שרוצים להשתמש בו.
- טמפרטורה: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך לטמפרטורה.
The temperature is used for sampling during response generation, which occurs whentopPandtopKare applied. Temperature controls the degree of randomness in token selection. Lower temperatures are good for prompts that require a less open-ended or creative response, while higher temperatures can lead to more diverse or creative results. A temperature of0means that the highest probability tokens are always selected. In this case, responses for a given prompt are mostly deterministic, but a small amount of variation is still possible.If the model returns a response that's too generic, too short, or the model gives a fallback response, try increasing the temperature. If the model enters infinite generation, increasing the temperature to at least
0.1may lead to improved results.1.0is the recommended starting value for temperature. </li> <li>**Output token limit**: Use the slider or textbox to enter a value for the max output limit. Maximum number of tokens that can be generated in the response. A token is approximately four characters. 100 tokens correspond to roughly 60-80 words.Specify a lower value for shorter responses and a higher value for potentially longer responses.
</li> <li>**Add stop sequence**: Optional. Enter a stop sequence, which is a series of characters that includes spaces. If the model encounters a stop sequence, the response generation stops. The stop sequence isn't included in the response, and you can add up to five stop sequences.</li> </ul>
לוחצים על הוספת מדיה ובוחרים מקור לקובץ.
העלאה
בוחרים את הקובץ שרוצים להעלות ולוחצים על פתיחה.
לפי כתובת URL
מזינים את כתובת ה-URL של הקובץ שבו רוצים להשתמש ולוחצים על הוספה.
YouTube
מזינים את כתובת ה-URL של הסרטון ב-YouTube שבו רוצים להשתמש ולוחצים על הוספה.
אתם יכולים להשתמש בכל סרטון שגלוי לכולם או בסרטון שבבעלות החשבון שבאמצעותו נכנסתם למסוף Google Cloud .
Cloud Storage
בוחרים את הקטגוריה ואז את הקובץ מהקטגוריה שרוצים לייבא, ולוחצים על Select.
Google Drive
- בפעם הראשונה שבוחרים באפשרות הזו, צריך לבחור חשבון ולתת ל-Agent Studio הרשאת גישה אליו. אפשר להעלות כמה קבצים בגודל כולל של עד 10MB. הגודל המקסימלי של קובץ בודד הוא 7MB.
- לוחצים על הקובץ שרוצים להוסיף.
לוחצים על בחירה.
התמונה הממוזערת של הקובץ מוצגת בחלונית הנחיה. מוצג גם המספר הכולל של האסימונים. אם נתוני ההנחיה חורגים ממגבלת הטוקנים, הטוקנים נחתכים ולא נכללים בעיבוד הנתונים.
כותבים את הפרומפט בחלונית הנחיה.
אופציונלי: כדי לראות את מזהה טוקן לטקסט ואת מזהי טוקנים, לוחצים על כמות טוקנים בחלונית פרומפט.
לוחצים על שליחה.
אם רוצים לשמור את ההנחיה בקטע ההנחיות שלי, לוחצים על שמירה.
אופציונלי: כדי לקבל את קוד Python או פקודת curl להנחיה, לוחצים על פיתוח באמצעות קוד > קבלת קוד.
התאמה אישית של עיבוד הסרטונים
אתם יכולים להתאים אישית את עיבוד הסרטונים ב-Gemini for Google Cloud API על ידי הגדרת מרווחי חיתוך או דגימה של קצב פריימים בהתאמה אישית.
הגדרת מרווחי זמן לחיתוך
כדי לחתוך סרטונים, אפשר לציין את הפרמטר videoMetadata עם היסטים של התחלה וסיום.
הגדרת קצב פריימים בהתאמה אישית
כדי להגדיר דגימה של קצב פריימים בהתאמה אישית, אפשר להעביר ארגומנט fps אל videoMetadata.
כברירת מחדל, המערכת דוגמת פריים אחד לשנייה (FPS) מהסרטון. בסרטונים ארוכים, כדאי להגדיר קצב פריימים נמוך (פחות מ-1). האפשרות הזו שימושית במיוחד לסרטונים סטטיים ברובם (למשל, הרצאות). אם אתם רוצים לצלם יותר פרטים בתמונות שמשתנות במהירות, כדאי להגדיר ערך FPS גבוה יותר.
הבנת סרטונים באמצעות סוכנים
הבנת קטעי וידאו מבוססת-סוכן מאפשרת למודל לנווט באופן דינמי בתוכן של קטעי וידאו, במקום לעבד כל פריים באופן סטטי. הבנת סרטונים באמצעות סוכנים משתמשת בפחות טוקנים מאשר עיבוד סטטי, ויכולה לשפר את איכות התשובות. כך אפשר להוזיל את העלויות ולקבל תשובות מהר יותר בעומסי עבודה של סרטונים ארוכים.
אתם יכולים להשתמש בהבנת וידאו מבוססת-סוכנים ובעיבוד סטטי לסרטונים שונים באותה בקשה. לדוגמה, אם יש לכם סרטונים ארוכים (כמו הרצאה של שעה) וקטעי וידאו קצרים (כמו YouTube Shorts), אתם יכולים להשתמש בהבנת וידאו מבוססת-סוכנים בסרטונים הארוכים כדי לטרגט מידע רלוונטי לפי ההקשר, ובעיבוד סטטי בקטעי וידאו קצרים כדי להגיע לרמת דיוק של פריים.
ההקשר של הסרטון צריך להישמר לאורך כל השיחה:
- Interactions API: כברירת מחדל, אינטראקציות עם שמירת מצב שומרות את ההקשר של הסרטון באופן אוטומטי כשמשתמשים ב-
previous_interaction_id. בבקשות בלי שמירת מצב (כשלא משתמשים ב-previous_interaction_id), התגובה כוללת אתstepsשמקודדים את ההקשר של הסרטון. צריך להעביר את השלבים האלה לסבב הבא כדי לשמור על ההקשר. - GenerateContent API: כדי לשמור על ההקשר, צריך להעביר את כל היסטוריית השיחה (כל הפניות הקודמות של
contents) בכל בקשה עוקבת.
אם ההקשר של הסרטון לא נכלל בפנייה הבאה, המודל לא יכול לענות על שאלות לגבי הסרטון בלי לעבד אותו מחדש.
מודלים וסוגי קבצים נתמכים
התכונה "הבנת סרטונים באמצעות סוכנים" נתמכת במודלים הבאים:
לחצו כדי להרחיב את רשימת המודלים הנתמכים
אתם יכולים להשתמש במקורות הבאים כשאתם משתמשים בסוכנים להבנת סרטונים:
- כתובות URL ב-YouTube
- מזהי URI של Cloud Storage
- קובצי וידאו מוטבעים בקידוד Base64
מתי כדאי להשתמש בסוכן להבנת סרטונים
השתמשו בסוכן להבנת וידאו (media_processing = "AGENTIC") לעומסי העבודה הבאים:
- חיפוש ושאלות ותשובות בסרטונים ארוכים: אתם יכולים לשאול שאלות ממוקדות או לאתר אירועים ספציפיים בהרצאות, בפגישות, בהקלטות או בסרטוני הדרכה שנמשכים שעה, בלי להמיר לטוקנים כל פריים ברזולוציה מלאה.
- בדיקה ויזואלית מדויקת: הגדלה של חותמות זמן או פרטים חזותיים ספציפיים (כגון קריאת טקסט קטן על המסך, שקופיות או שינויים בלוח התוצאות) בתוך סרטון ארוך יותר.
- השוואה בין כמה סרטונים: השוואה בין כמה סרטונים בבקשה אחת. אפשר להשתמש במצבי עיבוד שונים לכל סרטון באותה בקשה.
- נציגים מבוססי-וידאו: פיתוח נציגים שמסיקים מסקנות מתוכן וידאו, עם תמיכה בשיחות מרובות-תורות. ההקשר של הסרטון נשמר בין הפניות בלי עיבוד מחדש.
- אופטימיזציה של עלויות לעומסי עבודה של סרטונים ארוכים: הפחתת צריכת הטוקנים באפליקציות של סרטונים ארוכים שבהן רק קבוצת משנה של קטעים רלוונטית להנחיה.
כדאי להשאיר את העיבוד הסטטי שמוגדר כברירת מחדל (media_processing = "STATIC") במקרים הבאים:
- עיבוד קליפים קצרים: בסרטונים קצרים, עיבוד סטטי חוסך את הצורך לנווט בין כלים בכמה שלבים, ובדרך כלל משתמש בפחות אסימונים עם זמן אחזור קצר יותר.
- עיבוד אחיד של כל הסרטון: עומס העבודה דורש ניתוח אחיד של כל פריים בסרטון, ולא בדיקה ממוקדת של קטעים ספציפיים.
שימוש בסוכני AI להבנת סרטונים
כדי להפעיל את היכולת של הסוכן להבין סרטונים, מגדירים את "processing": "agentic" ב-Interactions API או את media_processing =
"AGENTIC" ב-GenerateContent API:
Python
GenerateContent API
from google import genai from google.genai import types client = genai.Client() # Example: Controlling media_processing explicitly video_part = types.Part( file_data=types.FileData( file_uri="gs://my-bucket-name/sports_clip.mp4", mime_type="video/mp4", ), media_processing="agentic" # Options: "agentic", "static" ) response = client.models.generate_content( model="gemini-3.7-flash", contents=[ video_part, "Analyze the player's footwork right before the shot." ] ) print(response.text)
Interactions API
from google import genai client = genai.Client( enterprise=True, project="PROJECT_ID", location="global", ) # Example: Controlling video processing explicitly interaction = client.interactions.create( model="gemini-3.8-flash", input=[ { "type": "video", "uri": "gs://my-bucket-name/sports_clip.mp4", "mime_type": "video/mp4", "processing": "agentic", # Options: "agentic", "static" }, { "type": "text", "text": "Analyze the player's footwork right before the shot.", }, ], generation_config={ "thinking_level": "medium", }, ) print(interaction.output_text)
REST
GenerateContent API
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- PROJECT_ID: מזהה הפרויקט.
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
cat > request.json << 'EOF'
{
"contents": [
{
"role": "USER",
"parts": [
{
"fileData": {
"mimeType": "video/mp4",
"fileUri": "gs://my-bucket/lecture.mp4"
},
"mediaProcessing": "AGENTIC"
},
{
"text": "Summarize the key takeaways."
}
]
}
],
"generationConfig": {
"thinkingLevel": "MEDIUM"
}
}
EOFלאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.7-flash:generateContent"
PowerShell
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
@'
{
"contents": [
{
"role": "USER",
"parts": [
{
"fileData": {
"mimeType": "video/mp4",
"fileUri": "gs://my-bucket/lecture.mp4"
},
"mediaProcessing": "AGENTIC"
},
{
"text": "Summarize the key takeaways."
}
]
}
],
"generationConfig": {
"thinkingLevel": "MEDIUM"
}
}
'@ | Out-File -FilePath request.json -Encoding utf8לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.7-flash:generateContent" | Select-Object -Expand Content
Interactions API
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- PROJECT_ID: מזהה הפרויקט.
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
cat > request.json << 'EOF'
{
"model": "gemini-3.8-flash",
"input": [
{
"type": "user_input",
"content": [
{
"type": "video",
"mime_type": "video/mp4",
"uri": "gs://my-bucket/lecture.mp4",
"processing": "agentic"
},
{
"type": "text",
"text": "Summarize the key takeaways."
}
]
}
],
"generation_config": {
"thinking_level": "medium"
}
}
EOFלאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"
PowerShell
שומרים את גוף הבקשה בקובץ בשם request.json.
כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:
@'
{
"model": "gemini-3.8-flash",
"input": [
{
"type": "user_input",
"content": [
{
"type": "video",
"mime_type": "video/mp4",
"uri": "gs://my-bucket/lecture.mp4",
"processing": "agentic"
},
{
"type": "text",
"text": "Summarize the key takeaways."
}
]
}
],
"generation_config": {
"thinking_level": "medium"
}
}
'@ | Out-File -FilePath request.json -Encoding utf8לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
כברירת מחדל, הבנת סרטונים באמצעות סוכנים מוגדרת ל-STATIC או מושבתת בכל המודלים הנתמכים.
שינוי הרזולוציה של המדיה
אתם יכולים לשנות את
MediaResolution
כדי לעבד את הסרטונים עם פחות טוקנים.
הגדרת פרמטרים אופציונליים של המודל
לכל מודל יש קבוצה של פרמטרים אופציונליים שאפשר להגדיר. מידע נוסף מופיע במאמר פרמטרים ליצירת תוכן.
המרה של סרטונים לטוקנים
ב-Gemini 3, הטוקניזציה של הווידאו משתמשת באורך משתנה של רצף, שמחליף את שיטת ה-Pan and Scan ששימשה במודלים קודמים כדי לשפר את האיכות והזמן האחזור.
אתם יכולים לציין רזולוציה של מדיה לקלט של וידאו, שמשפיעה על האופן שבו הסרטונים עוברים טוקניזציה ועל מספר הטוקנים שמשמשים לכל סרטון.
אפשר להגדיר את media_resolution ב-generationConfig כך שיחול על כל המדיה בבקשה, או להגדיר אותו לקטעי מדיה ספציפיים, שיעקפו את ההגדרה ברמה העליונה. הרזולוציה שמוגדרת כברירת מחדל לסרטונים היא 70 טוקנים לכל פריים.
במודלים של Gemini 3 אפשר לבחור את הרזולוציות הבאות:
-
MEDIA_RESOLUTION_HIGH: 280 טוקנים לכל פריים -
MEDIA_RESOLUTION_MEDIUM: 70 טוקנים לכל פריים -
MEDIA_RESOLUTION_LOW: 70 טוקנים לכל פריים -
MEDIA_RESOLUTION_UNSPECIFIED: 70 טוקנים לכל פריים (ברירת מחדל)
במודלים שקדמו ל-Gemini 3, כל פריים מומר ל-258 טוקנים ברזולוציית ברירת המחדל, או ל-66 טוקנים ברזולוציה נמוכה.
דוגמת הקוד הבאה ממחישה איך להתאים את media_resolution:
GenerateContent API
from google import genai from google.genai import types client = genai.Client() response = client.models.generate_content( model="gemini-3.1-pro-preview", contents=[ types.Part( file_data=types.FileData( file_uri="gs://cloud-samples-data/generative-ai/image/a-man-and-a-dog.png", mime_type="image/jpeg", ), media_resolution=types.PartMediaResolution( level=types.PartMediaResolutionLevel.MEDIA_RESOLUTION_HIGH ), ), types.Part( file_data=types.FileData( file_uri="gs://cloud-samples-data/generative-ai/video/behind_the_scenes_pixel.mp4", mime_type="video/mp4", ), media_resolution=types.PartMediaResolution( level=types.PartMediaResolutionLevel.MEDIA_RESOLUTION_LOW ), ), "When does the image appear in the video? What is the context?", ], ) print(response.text)
Interactions API
from google import genai client = genai.Client( enterprise=True, project="PROJECT_ID", location="global", ) interaction = client.interactions.create( model="gemini-3.8-flash", input=[ { "type": "image", "uri": "gs://cloud-samples-data/generative-ai/image/a-man-and-a-dog.png", "mime_type": "image/png", "resolution": "high", # Options: "low", "medium", "high", "ultra_high" }, { "type": "video", "uri": "gs://cloud-samples-data/generative-ai/video/behind_the_scenes_pixel.mp4", "mime_type": "video/mp4", "resolution": "low", # Options: "low", "medium", "high", "ultra_high" }, { "type": "text", "text": "When does the image appear in the video? What is the context?", }, ], ) print(interaction.output_text)
שיטות מומלצות
כדי להשיג את התוצאות הטובות ביותר, כדאי להשתמש בשיטות המומלצות הבאות:
- אם ההנחיה מכילה סרטון אחד, צריך למקם את הסרטון לפני ההנחיה הטקסטואלית.
- אם אתם צריכים לוקליזציה של חותמות זמן בסרטון עם אודיו, בקשו מהמודל ליצור חותמות זמן בפורמט שמתואר בקטע "פורמט של חותמת זמן".
במודלים של Gemini 3, כדאי גם להביא בחשבון את הדברים הבאים:
- בסרטונים שדורשים ניתוח זמני מפורט, כמו הבנה של פעולות מהירות או מעקב תנועה במהירות גבוהה, כדאי להשתמש בתדירות דגימה גבוהה יותר של פריימים לשנייה (FPS).
מגבלות
למרות שהמודלים המולטי-מודאליים של Gemini יעילים בהרבה תרחישים לדוגמה, חשוב להבין את המגבלות שלהם:
- ניהול תוכן: המודלים מסרבים לספק תשובות לגבי סרטונים שמפירים את מדיניות הבטיחות שלנו.
- זיהוי צלילים שהם לא דיבור: המודלים שתומכים באודיו עלולים לטעות בזיהוי צלילים שהם לא דיבור.
פרטים טכניים על סרטונים
עיבוד באמצעות File API: כשמשתמשים ב-File API, הסרטונים נדגמים בקצב של פריים אחד לשנייה (FPS) והאודיו מעובד בקצב של 1Kbps (ערוץ יחיד). חותמות הזמן מתווספות בכל שנייה.
- השיעורים האלה עשויים להשתנות בעתיד כדי לשפר את ההסקה.
פורמט חותמת הזמן: כשמתייחסים לרגעים ספציפיים בסרטון בהנחיה, פורמט חותמת הזמן תלוי בתדירות הדגימה של הפריימים לשנייה (FPS) בסרטון:
לתדירויות דגימה של פריים אחד לשנייה או פחות: משתמשים בפורמט
MM:SS, שבו שתי הספרות הראשונות מייצגות דקות ושתי הספרות האחרונות מייצגות שניות. אם יש לכם הפרשים של יותר משעה, השתמשו בפורמטH:MM:SS.לתדירויות דגימה של יותר מ-FPS אחד: משתמשים בפורמט
MM:SS.sss, או אם יש היסטים של יותר משעה, משתמשים בפורמטH:MM:SS.sss, שמתואר בהמשך:- הספרה הראשונה מייצגת את השעה.
- שתי הספרות הבאות מייצגות את הדקות.
- שתי הספרות השלישיות מייצגות שניות.
- שלוש הספרות האחרונות מייצגות חלקי שנייה.
שיטות מומלצות:
כדי לקבל תוצאות אופטימליות, מומלץ להשתמש רק בסרטון אחד בכל בקשה בהנחיה.
אם משלבים טקסט וסרטון אחד, מציבים את הנחיית הטקסט אחרי החלק של הסרטון במערך
contents.חשוב לזכור שרצפים של פעולות מהירות עלולים לאבד פרטים בגלל קצב הדגימה של פריים אחד לשנייה. במקרה הצורך, כדאי להאט את הקליפים האלה.
המאמרים הבאים
- מתחילים לפתח באמצעות המודלים המולטי-מודאליים של Gemini – לקוחות חדשים מקבלים קרדיטים בשווי 300 $בחינם Google Cloud כדי לבדוק מה אפשר לעשות עם Gemini.
- איך שולחים בקשות להנחיות ב-Chat
- מידע על שיטות מומלצות לשימוש אחראי ב-AI ועל מסנני הבטיחות של Agent Platform