הבנת סרטונים

אתם יכולים להוסיף סרטונים לבקשות ב-Gemini כדי לבצע משימות שדורשות הבנה של תוכן הסרטונים. בדף הזה מוסבר איך להוסיף סרטונים לבקשות ל-Gemini ב-Gemini Enterprise Agent Platform באמצעות מסוף Google Cloud ו-Agent Platform API.

מודלים נתמכים

בטבלה הבאה מפורטים המודלים שתומכים בהבנת וידאו:

מודלים פרטים על המדיה סוגי MIME
  • אורך הסרטון המקסימלי (עם אודיו): 10 שניות
  • אורך הסרטון המקסימלי (ללא אודיו): 10 שניות
  • מספר הסרטונים המקסימלי לכל הנחיה: 3
  • video/x-flv
  • video/quicktime
  • video/mpeg
  • video/mpegs
  • video/mpg
  • video/mp4
  • video/webm
  • video/wmv
  • video/3gpp
  • אורך הסרטון המקסימלי (עם אודיו): 15 שניות
  • אורך הסרטון המקסימלי (ללא אודיו): 15 שניות
  • אורך מקסימלי של סרטון קלט (הבנת וידאו): 10 דקות
  • אורך הסרטון המקסימלי שאפשר להעלות (לעריכה): 15 שניות
  • אורך הסרטון המקסימלי שאפשר להעלות (הרחבה): כל אורך (המערכת משתמשת ב-10 השניות האחרונות לכל היותר)
  • אורך הסרטון המקסימלי (לשיפור האיכות): 15 שניות
  • משך נכס הווידאו שנוצר (יצירה ועריכה): 3 עד 15 שניות (3 עד 10 שניות לפריימים הראשונים והאחרונים)
  • משך נכס הווידאו שנוצר (הרחבה): 3 עד 10 שניות (מחובר ל-30 השניות האחרונות של הסרטון המקורי)
  • מספר הסרטונים המקסימלי לכל הנחיה: 3
  • יחסי גובה-רוחב נתמכים: 16:9, 9:16
  • רזולוציות נתמכות: 360p, ‏ 720p, ‏ 1080p, ‏ 4k
  • video/x-flv
  • video/quicktime
  • video/mpeg
  • video/mpegs
  • video/mpg
  • video/mp4
  • video/webm
  • video/wmv
  • video/3gpp
  • אורך הסרטון המקסימלי (עם אודיו): 10 שניות
  • אורך הסרטון המקסימלי (ללא אודיו): 10 שניות
  • מספר הסרטונים המקסימלי לכל הנחיה: 3
  • יחסי גובה-רוחב נתמכים: 16:9, 9:16
  • רזולוציות נתמכות: 360p, ‏ 720p, ‏ 1080p, ‏ 4k
  • video/x-flv
  • video/quicktime
  • video/mpeg
  • video/mpegs
  • video/mpg
  • video/mp4
  • video/webm
  • video/wmv
  • video/3gpp
  • מספר מקסימלי של קובצי וידאו שאפשר להזין בכל הנחיה: 10
  • מספר מקסימלי של כתובות URL של סרטונים ב-YouTube לכל הנחיה: 1
  • אורך הסרטון המקסימלי (ללא אודיו): בהתאם לתמיכה של חלון ההקשר של 128 אלף טוקנים (כ-25 דקות).
  • גודל מקסימלי של חלק מוטבע: 256MB
  • גודל הקובץ המקסימלי לכל קובץ מ-Cloud Storage: ‎2 GiB פחות ‎500 KiB
  • גודל הקובץ המקסימלי לכל קובץ מכתובות URL ציבוריות מסוג HTTP או כתובות URL מסוג HTTPS: ‎15MiB
  • video/x-flv
  • video/quicktime
  • video/mpeg
  • video/mpegs
  • video/mpg
  • video/mp4
  • video/webm
  • video/wmv
  • video/3gpp
  • אורך הסרטון המקסימלי (עם אודיו): כ-45 דקות
  • אורך מקסימלי של סרטון (ללא אודיו): כשעה
  • מספר הסרטונים המקסימלי לכל הנחיה: 10
  • גודל מקסימלי של חלק מוטבע (GenerateContent API): 256MB
  • גודל הקובץ המקסימלי לכל קובץ מ-Cloud Storage: ‎2 GiB פחות ‎500 KiB
  • גודל הקובץ המקסימלי לכל קובץ מכתובות URL ציבוריות מסוג HTTP או כתובות URL מסוג HTTPS: ‎15MiB
  • אסימונים ברזולוציית ברירת המחדל לכל פריים: 70
  • video/x-flv
  • video/quicktime
  • video/mpeg
  • video/mpegs
  • video/mpg
  • video/mp4
  • video/webm
  • video/wmv
  • video/3gpp
  • רזולוציית קלט סטנדרטית: ‎768 x 768 (1 FPS)‎
  • רזולוציית הפלט המינימלית של האווטאר בזמן אמת: 704 x‏ 1,280 (לאורך) או 1,280 x‏ 704 (לרוחב) ב-24 פריימים לשנייה
  • video/x-flv
  • video/quicktime
  • video/mpeg
  • video/mpegs
  • video/mpg
  • video/mp4
  • video/webm
  • video/wmv
  • video/3gpp
  • מספר מקסימלי של קובצי וידאו שאפשר להזין בכל הנחיה: 10
  • מספר מקסימלי של כתובות URL של סרטונים ב-YouTube לכל הנחיה: 1
  • אורך הסרטון המקסימלי (ללא אודיו): בהתאם לתמיכה של חלון ההקשר של 65,536 טוקנים (כ-12 דקות).
  • גודל מקסימלי של חלק מוטבע: 256MB
  • גודל הקובץ המקסימלי לכל קובץ מ-Cloud Storage: ‎2 GiB פחות ‎500 KiB
  • גודל הקובץ המקסימלי לכל קובץ מכתובות URL ציבוריות מסוג HTTP או כתובות URL מסוג HTTPS: ‎15MiB
  • video/x-flv
  • video/quicktime
  • video/mpeg
  • video/mpegs
  • video/mpg
  • video/mp4
  • video/webm
  • video/wmv
  • video/3gpp
  • אורך הסרטון המקסימלי (עם אודיו): כ-45 דקות
  • אורך מקסימלי של סרטון (ללא אודיו): כשעה
  • מספר הסרטונים המקסימלי לכל פרומפט: ‫10 (עד כתובת URL אחת מסוג HTTP או כתובת URL מסוג HTTPS בנקודות קצה שלא הועברו)
  • גודל מקסימלי של חלק מוטבע: 256MB
  • גודל הקובץ המקסימלי לכל קובץ מ-Cloud Storage: ‎2 GiB פחות ‎500 KiB
  • גודל הקובץ המקסימלי לכל קובץ מכתובות URL ציבוריות מסוג HTTP או כתובות URL מסוג HTTPS: ‎15MiB
  • video/x-flv
  • video/quicktime
  • video/mpeg
  • video/mpegs
  • video/mpg
  • video/mp4
  • video/webm
  • video/wmv
  • video/3gpp
  • רזולוציה רגילה: 768 x 768
  • video/x-flv
  • video/quicktime
  • video/mpeg
  • video/mpegs
  • video/mpg
  • video/mp4
  • video/webm
  • video/wmv
  • video/3gpp

רשימת השפות שנתמכות במודלים של Gemini מופיעה במידע על המודלים של Google. למידע נוסף על עיצוב פרומפטים מולטי-מודאליים, ראו עיצוב פרומפטים מולטי-מודאליים. אם אתם מחפשים דרך להשתמש ב-Gemini ישירות מהאפליקציות שלכם לנייד ולאינטרנט, עיינו בערכות ה-SDK של Firebase AI Logic לאפליקציות Swift,‏ Android,‏ Web,‏ Flutter ו-Unity.

מגבלות על נקודות קצה ל-API ועל חלון ההקשר

במודלים הרגילים של Gemini 3 והגרסאות הבאות,אפשר להעלות עד 3, 000 תמונות וקובצי PDF ביחד,1, 000 קובצי אודיו או 10 סרטונים לכל בקשה ב-generateContent וב-Interactions API (עד 6,500 קבצים מולטי-מודאליים ביחד כשכוללים קובצי טקסט פשוט). נקודות קצה (endpoint) של Gemini 2.5 ו-gemini-3.1-pro-preview-customtools שלא הועברו אוכפות את המגבלות הקודמות על גודל הקובץ, מספר הדפים ב-PDF‏ (1,000) ומספר כתובות ה-URL מסוג HTTP או HTTPS. המגבלות המעשיות על בקשות תלויות גם בנקודת הקצה ל-API, במקור הקובץ ובחלון ההקשר:

  • מגבלת ה-URI של Interactions API לקובצי Cloud Storage: בקשות API של Interactions תומכות בעד 100 מזהי URI נפרדים של Cloud Storage (gs://) לכל בקשת אינטראקציה עם המודל, כולל מזהי URI שהועברו מחלקים קודמים בשיחה באמצעות previous_interaction_id. בקשות generateContent תומכות במזהי URI של gs:// עד למגבלת הפריטים של המודל.
  • מגבלות על מקור הקובץ, החלק המוטמע ו-payload של הבקשה: קבצים נפרדים שמפנים אליהם מ-Cloud Storage לא יכולים לחרוג מ-2GiB פחות 500KiB, וקבצים שמפנים אליהם מכתובות URL ציבוריות מסוג HTTP או HTTPS לא יכולים לחרוג מ-15MiB. ב-generateContent וב-streamGenerateContent, כל קובץ מצורף מוטבע (inline_data) לא יכול לחרוג מ-256MB במודלים סטנדרטיים של Gemini 3 ואילך, והמטען הייעודי (payload) הכולל של בקשת HTTP או gRPC דחוסה לא יכול לחרוג מ-500MiB (קידוד base64 מוסיף תקורה של כ-33% לגודל). ב-Interactions API, המטען הייעודי (payload) של בקשת ה-HTTP הדחוסה לא יכול לחרוג מ-256MiB לבקשות סינכרוניות או לבקשות סטרימינג. כש-service_tier מוגדר ל-deferred (מה שמחייב שגם background וגם store יהיו true), הבקשה הלא דחוסה לא יכולה לחרוג מ-9.75MiB.
  • חלון הקשר: מספר הטוקנים הכולל של כל הקלטים המולטי-מודאליים והטקסט בבקשה לא יכול לחרוג ממגבלת הטוקנים של המודל (1,048,576 טוקנים במודלים סטנדרטיים של Gemini 3 ואילך).

הוספת סרטונים לבקשה

אתם יכולים להוסיף לבקשה ל-Gemini סרטון אחד או כמה סרטונים, והם יכולים לכלול אודיו.

סרטון יחיד

הקוד לדוגמה בכל אחת מהכרטיסיות הבאות מציג דרך שונה לזהות את מה שמופיע בסרטון. הדוגמה הזו פועלת עם כל המודלים המולטי-מודאליים של Gemini.

המסוף

כדי לשלוח הנחיה מולטי-מודאלית באמצעות מסוף Google Cloud :

  1. בקטע Agent Platform במסוף Google Cloud , נכנסים לדף Agent Studio.

    מעבר אל Agent Studio

  2. לוחצים על יצירת הנחיה.

  3. אופציונלי: מגדירים את המודל והפרמטרים:

    • מודל: בוחרים מודל.
  4. אופציונלי: כדי להגדיר פרמטרים מתקדמים, לוחצים על Advanced ומגדירים את הפרמטרים הבאים:

    לוחצים כדי להרחיב את ההגדרות המתקדמות.

    • ‫Top-K: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך ל-Top-K.

      הערך של Top-K משנה את האופן שבו המודל בוחר אסימונים לפלט. ערך Top-K של 1 אומר שהאסימון הבא שנבחר הוא הסביר ביותר מבין כל האסימונים באוצר המילים של המודל (נקרא גם פענוח חמדני), וערך Top-K של 3 אומר שהאסימון הבא נבחר מבין שלושת האסימונים הסבירים ביותר באמצעות טמפרטורה.

      בכל שלב של בחירת אסימון, נדגמים האסימונים עם ההסתברויות הגבוהות ביותר ב-Top-K. לאחר מכן, האסימונים מסוננים עוד יותר על סמך top-P, והאסימון הסופי נבחר באמצעות דגימת טמפרטורה.

      כדי לקבל תשובות פחות אקראיות, מציינים ערך נמוך יותר. כדי לקבל תשובות יותר אקראיות, מציינים ערך גבוה יותר.

    • ‫Top-P: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך ל-top-P. הטוקנים נבחרים מהסבירות הגבוהה ביותר לנמוכה ביותר, עד שסכום ההסתברויות שלהם שווה לערך של top-P. כדי לקבל את התוצאות הכי פחות משתנות, צריך להגדיר את top-P לערך 0.
    • מספר התשובות המקסימלי: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך למספר התשובות שרוצים ליצור.
    • תשובות בסטרימינג: הפעילו את האפשרות הזו כדי להדפיס תשובות תוך כדי שהן נוצרות.
    • סף מסנן הבטיחות: בוחרים את הסף של הסבירות שיוצגו תשובות שעלולות להיות פוגעניות.
    • הפעלת עיגון: אין תמיכה בעיגון בפרומפטים מולטי-מודאליים.
    • Region: בוחרים את האזור שרוצים להשתמש בו.
    • טמפרטורה: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך לטמפרטורה.

          
      The temperature is used for sampling during response generation, which occurs when topP
      and topK are applied. Temperature controls the degree of randomness in token selection.
      Lower temperatures are good for prompts that require a less open-ended or creative response, while
      higher temperatures can lead to more diverse or creative results. A temperature of 0
      means that the highest probability tokens are always selected. In this case, responses for a given
      prompt are mostly deterministic, but a small amount of variation is still possible.
      
      

      If the model returns a response that's too generic, too short, or the model gives a fallback response, try increasing the temperature. If the model enters infinite generation, increasing the temperature to at least 0.1 may lead to improved results.

      1.0 is the recommended starting value for temperature. </li> <li>**Output token limit**: Use the slider or textbox to enter a value for the max output limit. Maximum number of tokens that can be generated in the response. A token is approximately four characters. 100 tokens correspond to roughly 60-80 words.

      Specify a lower value for shorter responses and a higher value for potentially longer responses.

      </li> <li>**Add stop sequence**: Optional. Enter a stop sequence, which is a series of characters that includes spaces. If the model encounters a stop sequence, the response generation stops. The stop sequence isn't included in the response, and you can add up to five stop sequences.</li> </ul>

  5. לוחצים על הוספת מדיה ובוחרים מקור לקובץ.

    העלאה

    בוחרים את הקובץ שרוצים להעלות ולוחצים על פתיחה.

    לפי כתובת URL

    מזינים את כתובת ה-URL של הקובץ שבו רוצים להשתמש ולוחצים על הוספה.

    YouTube

    מזינים את כתובת ה-URL של הסרטון ב-YouTube שבו רוצים להשתמש ולוחצים על הוספה.

    אתם יכולים להשתמש בכל סרטון שגלוי לכולם או בסרטון שבבעלות החשבון שבאמצעותו נכנסתם למסוף Google Cloud .

    Cloud Storage

    בוחרים את הקטגוריה ואז את הקובץ מהקטגוריה שרוצים לייבא, ולוחצים על Select.

    Google Drive

    1. בפעם הראשונה שבוחרים באפשרות הזו, צריך לבחור חשבון ולתת ל-Agent Studio הרשאת גישה אליו. אפשר להעלות כמה קבצים בגודל כולל של עד 10MB. הגודל המקסימלי של קובץ בודד הוא 7MB.
    2. לוחצים על הקובץ שרוצים להוסיף.
    3. לוחצים על בחירה.

      התמונה הממוזערת של הקובץ מוצגת בחלונית הנחיה. מוצג גם המספר הכולל של האסימונים. אם נתוני ההנחיה חורגים ממגבלת הטוקנים, הטוקנים נחתכים ולא נכללים בעיבוד הנתונים.

  6. כותבים את הפרומפט בחלונית הנחיה.

  7. אופציונלי: כדי לראות את מזהה טוקן לטקסט ואת מזהי טוקנים, לוחצים על כמות טוקנים בחלונית פרומפט.

  8. לוחצים על שליחה.

  9. אם רוצים לשמור את ההנחיה בקטע ההנחיות שלי, לוחצים על שמירה.

  10. אופציונלי: כדי לקבל את קוד Python או פקודת curl להנחיה, לוחצים על פיתוח באמצעות קוד > קבלת קוד.

Python

התקנה

pip install --upgrade google-genai

מידע נוסף זמין במאמרי העזרה של ה-SDK.

מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai
from google.genai.types import HttpOptions, Part

client = genai.Client(http_options=HttpOptions(api_version="v1"))
response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents=[
        Part.from_uri(
            file_uri="gs://cloud-samples-data/generative-ai/video/ad_copy_from_video.mp4",
            mime_type="video/mp4",
        ),
        "What is in the video?",
    ],
)
print(response.text)
# Example response:
# The video shows several people surfing in an ocean with a coastline in the background. The camera ...

Go

איך מתקינים או מעדכנים את Go

מידע נוסף זמין במאמרי העזרה של ה-SDK.

מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import (
	"context"
	"fmt"
	"io"

	genai "google.golang.org/genai"
)

// generateWithMuteVideo shows how to generate text using a video with no sound as the input.
func generateWithMuteVideo(w io.Writer) error {
	ctx := context.Background()

	client, err := genai.NewClient(ctx, &genai.ClientConfig{
		HTTPOptions: genai.HTTPOptions{APIVersion: "v1"},
	})
	if err != nil {
		return fmt.Errorf("failed to create genai client: %w", err)
	}

	modelName := "gemini-2.5-flash"
	contents := []*genai.Content{
		{Parts: []*genai.Part{
			{Text: "What is in the video?"},
			{FileData: &genai.FileData{
				FileURI:  "gs://cloud-samples-data/generative-ai/video/ad_copy_from_video.mp4",
				MIMEType: "video/mp4",
			}},
		},
			Role: genai.RoleUser},
	}

	resp, err := client.Models.GenerateContent(ctx, modelName, contents, nil)
	if err != nil {
		return fmt.Errorf("failed to generate content: %w", err)
	}

	respText := resp.Text()

	fmt.Fprintln(w, respText)

	// Example response:
	// The video shows several surfers riding waves in an ocean setting. The waves are ...

	return nil
}

Java

איך מתקינים או מעדכנים את Java

מידע נוסף זמין במאמרי העזרה של ה-SDK.

מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True


import com.google.genai.Client;
import com.google.genai.types.Content;
import com.google.genai.types.GenerateContentResponse;
import com.google.genai.types.HttpOptions;
import com.google.genai.types.Part;

public class TextGenerationWithMuteVideo {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String modelId = "gemini-2.5-flash";
    generateContent(modelId);
  }

  // Generates text with mute video input
  public static String generateContent(String modelId) {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (Client client =
        Client.builder()
            .location("global")
            .vertexAI(true)
            .httpOptions(HttpOptions.builder().apiVersion("v1").build())
            .build()) {

      GenerateContentResponse response =
          client.models.generateContent(
              modelId,
              Content.fromParts(
                  Part.fromUri(
                      "gs://cloud-samples-data/generative-ai/video/ad_copy_from_video.mp4",
                      "video/mp4"),
                  Part.fromText("What is in this video?")),
              null);

      System.out.print(response.text());
      // Example response:
      // This video features **surfers in the ocean**.
      //
      // The main focus is on **one individual who catches and rides a wave**, executing various
      // turns and maneuvers as the wave breaks and dissipates into whitewater...
      return response.text();
    }
  }
}

Node.js

התקנה

npm install @google/genai

מידע נוסף זמין במאמרי העזרה של ה-SDK.

מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

const {GoogleGenAI} = require('@google/genai');

const GOOGLE_CLOUD_PROJECT = process.env.GOOGLE_CLOUD_PROJECT;
const GOOGLE_CLOUD_LOCATION = process.env.GOOGLE_CLOUD_LOCATION || 'global';

async function generateText(
  projectId = GOOGLE_CLOUD_PROJECT,
  location = GOOGLE_CLOUD_LOCATION
) {
  const client = new GoogleGenAI({
    vertexai: true,
    project: projectId,
    location: location,
  });

  const response = await client.models.generateContent({
    model: 'gemini-2.5-flash-lite',
    contents: [
      {
        role: 'user',
        parts: [
          {
            fileData: {
              mimeType: 'video/mp4',
              fileUri:
                'gs://cloud-samples-data/generative-ai/video/ad_copy_from_video.mp4',
            },
          },
          {
            text: 'What is in the video?',
          },
        ],
      },
    ],
    config: {
      mediaResolution: 'MEDIA_RESOLUTION_LOW',
    },
  });

  console.log(response.text);

  // Example response:
  // The video shows several people surfing in an ocean with a coastline in the background. The camera ...

  return response.text;
}

REST

אחרי שמגדירים את הסביבה, אפשר להשתמש ב-REST כדי לבדוק פרומפט טקסטואלי. הדוגמה הבאה שולחת בקשה לנקודת הקצה של המודל של בעל התוכן הדיגיטלי.

GenerateContent API

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫FILE_URI: ה-URI או כתובת ה-URL של הקובץ שרוצים לכלול בהנחיה. הערכים הקבילים כוללים:
    • URI של קטגוריה ב-Cloud Storage: האובייקט צריך להיות קריא באופן ציבורי או להיות באותו פרויקט ב- Google Cloud ששולח את הבקשה.
    • כתובת URL מסוג HTTP: כתובת ה-URL של הקובץ צריכה להיות קריאה באופן ציבורי, והגודל של כל קובץ לא יכול לחרוג מ-15MiB. במודלים הרגילים של Gemini 3 ואילך אפשר להעלות עד 3,000 תמונות וקובצי PDF ביחד, 1,000 קובצי אודיו או 10 סרטונים בכל בקשה (עד 6, 500 קבצים בסך הכל,כולל קובצי טקסט פשוט). בנקודות קצה (endpoint) של Gemini 2.5 שלא הועברו וב-gemini-3.1-pro-preview-customtools, כתובות URL מסוג HTTP או HTTPS מוגבלות ל-10 תמונות, קובץ אודיו אחד או סרטון אחד לכל בקשה.
    • כתובת ה-URL של הסרטון ב-YouTube: הסרטון ב-YouTube צריך להיות בבעלות החשבון שבו השתמשתם כדי להיכנס למסוף Google Cloud , או להיות גלוי לכולם. אפשר לשלוח רק כתובת URL אחת של סרטון ב-YouTube בכל בקשה.

    כשמציינים fileURI, צריך לציין גם את סוג המדיה (mimeType) של הקובץ. אם VPC Service Controls מופעל, אי אפשר לציין כתובת URL של קובץ מדיה בשביל fileURI.

    אם אין לכם קובץ וידאו ב-Cloud Storage, אתם יכולים להשתמש בקובץ הבא שזמין לכולם: gs://cloud-samples-data/video/animals.mp4 עם סוג MIME‏ video/mp4. כדי לצפות בסרטון הזה, פתחו את קובץ ה-MP4 לדוגמה.

  • ‫MIME_TYPE: סוג המדיה של הקובץ שצוין בשדות data או fileUri. הערכים הקבילים כוללים:

    לחצו כדי להרחיב את סוגי ה-MIME

    • application/pdf
    • audio/mpeg
    • audio/mp3
    • audio/wav
    • image/png
    • image/jpeg
    • image/webp
    • text/plain
    • video/mov
    • video/mpeg
    • video/mp4
    • video/mpg
    • video/avi
    • video/wmv
    • video/mpegps
    • video/flv
  • ‫TEXT: ההנחיות בטקסט שצריך לכלול בהנחיה. לדוגמה, What is in the video?

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

cat > request.json << 'EOF'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.5-flash:generateContent"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

@'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.5-flash:generateContent" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

Interactions API

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫FILE_URI: ה-URI או כתובת ה-URL של הקובץ שרוצים לכלול בהנחיה. הערכים הקבילים כוללים:
    • URI של קטגוריה ב-Cloud Storage: האובייקט צריך להיות קריא באופן ציבורי או להיות באותו פרויקט ב- Google Cloud ששולח את הבקשה.
    • כתובת URL מסוג HTTP: כתובת ה-URL של הקובץ צריכה להיות קריאה באופן ציבורי, והגודל של כל קובץ לא יכול לחרוג מ-15MiB. במודלים הרגילים של Gemini 3 ואילך אפשר להעלות עד 3,000 תמונות וקובצי PDF ביחד, 1,000 קובצי אודיו או 10 סרטונים בכל בקשה (עד 6, 500 קבצים בסך הכל,כולל קובצי טקסט פשוט). בנקודות קצה (endpoint) של Gemini 2.5 שלא הועברו וב-gemini-3.1-pro-preview-customtools, כתובות URL מסוג HTTP או HTTPS מוגבלות ל-10 תמונות, קובץ אודיו אחד או סרטון אחד לכל בקשה.
    • כתובת ה-URL של הסרטון ב-YouTube: הסרטון ב-YouTube צריך להיות בבעלות החשבון שבו השתמשתם כדי להיכנס למסוף Google Cloud , או להיות גלוי לכולם. אפשר לשלוח רק כתובת URL אחת של סרטון ב-YouTube בכל בקשה.

    כשמציינים fileURI, צריך לציין גם את סוג המדיה (mimeType) של הקובץ. אם VPC Service Controls מופעל, אי אפשר לציין כתובת URL של קובץ מדיה בשביל fileURI.

    אם אין לכם קובץ וידאו ב-Cloud Storage, אתם יכולים להשתמש בקובץ הבא שזמין לכולם: gs://cloud-samples-data/video/animals.mp4 עם סוג MIME‏ video/mp4. כדי לצפות בסרטון הזה, פתחו את קובץ ה-MP4 לדוגמה.

  • ‫MIME_TYPE: סוג המדיה של הקובץ שצוין בשדות data או fileUri. הערכים הקבילים כוללים:

    לחצו כדי להרחיב את סוגי ה-MIME

    • application/pdf
    • audio/mpeg
    • audio/mp3
    • audio/wav
    • image/png
    • image/jpeg
    • image/webp
    • text/plain
    • video/mov
    • video/mpeg
    • video/mp4
    • video/mpg
    • video/avi
    • video/wmv
    • video/mpegps
    • video/flv
  • ‫TEXT: ההנחיות בטקסט שצריך לכלול בהנחיה. לדוגמה, What is in the video?

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

cat > request.json << 'EOF'
{
  "model": "gemini-3.8-flash",
  "input": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "video",
          "uri": "FILE_URI",
          "mime_type": "MIME_TYPE"
        },
        {
          "type": "text",
          "text": "TEXT"
        }
      ]
    }
  ]
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

@'
{
  "model": "gemini-3.8-flash",
  "input": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "video",
          "uri": "FILE_URI",
          "mime_type": "MIME_TYPE"
        },
        {
          "type": "text",
          "text": "TEXT"
        }
      ]
    }
  ]
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

שימו לב לפרטים הבאים בכתובת ה-URL של הדוגמה הזו:
  • משתמשים ב-method‏ generateContent כדי לבקש שהתשובה תוחזר אחרי שהיא נוצרת במלואה. כדי להפחית את תפיסת זמן האחזור בקרב קהל אנושי, אפשר להעביר בסטרימינג את התשובה בזמן שהיא נוצרת באמצעות השיטה streamGenerateContent.
  • המזהה של המודל המולטי-מודאלי נמצא בסוף כתובת ה-URL לפני ה-method (לדוגמה, gemini-3.5-flash). יכול להיות שהדוגמה הזו תומכת גם במודלים אחרים.
  • כשמשתמשים בנקודת קצה אזורית ל-API (לדוגמה, us-central1), האזור מכתובת ה-URL של נקודת הקצה קובע איפה הבקשה תעובד. המערכת מתעלמת מכל מיקום שמתנגש בנתיב המשאב.

סרטון עם אודיו

כך מסכמים קובץ וידאו עם אודיו ומחזירים פרקים עם חותמות זמן. הדוגמה הזו פועלת עם כל המודלים המולטי-מודאליים של Gemini שתומכים בווידאו עם אודיו.

Python

התקנה

pip install --upgrade google-genai

מידע נוסף זמין במאמרי העזרה של ה-SDK.

מגדירים משתני סביבה כדי להשתמש ב-Google Gen AI SDK עם Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai
from google.genai.types import HttpOptions, Part

client = genai.Client(http_options=HttpOptions(api_version="v1"))
response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents=[
        Part.from_uri(
            file_uri="gs://cloud-samples-data/generative-ai/video/ad_copy_from_video.mp4",
            mime_type="video/mp4",
        ),
        "What is in the video?",
    ],
)
print(response.text)
# Example response:
# The video shows several people surfing in an ocean with a coastline in the background. The camera ...

REST

אחרי שמגדירים את הסביבה, אפשר להשתמש ב-REST כדי לבדוק פרומפט טקסטואלי. הדוגמה הבאה שולחת בקשה לנקודת הקצה של המודל של בעל התוכן הדיגיטלי.

GenerateContent API

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫FILE_URI: ה-URI או כתובת ה-URL של הקובץ שרוצים לכלול בהנחיה. הערכים הקבילים כוללים:
    • URI של קטגוריה ב-Cloud Storage: האובייקט צריך להיות קריא באופן ציבורי או להיות באותו פרויקט ב- Google Cloud ששולח את הבקשה.
    • כתובת URL מסוג HTTP: כתובת ה-URL של הקובץ צריכה להיות קריאה באופן ציבורי, והגודל של כל קובץ לא יכול לחרוג מ-15MiB. במודלים הרגילים של Gemini 3 ואילך אפשר להעלות עד 3,000 תמונות וקובצי PDF ביחד, 1,000 קובצי אודיו או 10 סרטונים בכל בקשה (עד 6, 500 קבצים בסך הכל,כולל קובצי טקסט פשוט). בנקודות קצה (endpoint) של Gemini 2.5 שלא הועברו וב-gemini-3.1-pro-preview-customtools, כתובות URL מסוג HTTP או HTTPS מוגבלות ל-10 תמונות, קובץ אודיו אחד או סרטון אחד לכל בקשה.
    • כתובת ה-URL של הסרטון ב-YouTube: הסרטון ב-YouTube צריך להיות בבעלות החשבון שבו השתמשתם כדי להיכנס למסוף Google Cloud , או להיות גלוי לכולם. אפשר לשלוח רק כתובת URL אחת של סרטון ב-YouTube בכל בקשה.

    כשמציינים fileURI, צריך לציין גם את סוג המדיה (mimeType) של הקובץ. אם VPC Service Controls מופעל, אי אפשר לציין כתובת URL של קובץ מדיה בשביל fileURI.

    אם אין לכם קובץ וידאו ב-Cloud Storage, אתם יכולים להשתמש בקובץ הבא שזמין לכולם: gs://cloud-samples-data/generative-ai/video/pixel8.mp4 עם סוג MIME‏ video/mp4. כדי לצפות בסרטון הזה, פתחו את קובץ ה-MP4 לדוגמה.

  • ‫MIME_TYPE: סוג המדיה של הקובץ שצוין בשדות data או fileUri. הערכים הקבילים כוללים:

    לחצו כדי להרחיב את סוגי ה-MIME

    • application/pdf
    • audio/mpeg
    • audio/mp3
    • audio/wav
    • image/png
    • image/jpeg
    • image/webp
    • text/plain
    • video/mov
    • video/mpeg
    • video/mp4
    • video/mpg
    • video/avi
    • video/wmv
    • video/mpegps
    • video/flv
  • TEXT ההוראות בטקסט שצריך לכלול בהנחיה. לדוגמה, Provide a description of the video. The description should also contain anything important which people say in the video.

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

cat > request.json << 'EOF'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

@'
{
  "contents": {
    "role": "USER",
    "parts": [
      {
        "fileData": {
          "fileUri": "FILE_URI",
          "mimeType": "MIME_TYPE"
        }
      },
      {
        "text": "TEXT"
      }
    ]
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-2.5-flash:generateContent" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

Interactions API

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט.
  • ‫FILE_URI: ה-URI או כתובת ה-URL של הקובץ שרוצים לכלול בהנחיה. הערכים הקבילים כוללים:
    • URI של קטגוריה ב-Cloud Storage: האובייקט צריך להיות קריא באופן ציבורי או להיות באותו פרויקט ב- Google Cloud ששולח את הבקשה.
    • כתובת URL מסוג HTTP: כתובת ה-URL של הקובץ צריכה להיות קריאה באופן ציבורי, והגודל של כל קובץ לא יכול לחרוג מ-15MiB. במודלים הרגילים של Gemini 3 ואילך אפשר להעלות עד 3,000 תמונות וקובצי PDF ביחד, 1,000 קובצי אודיו או 10 סרטונים בכל בקשה (עד 6, 500 קבצים בסך הכל,כולל קובצי טקסט פשוט). בנקודות קצה (endpoint) של Gemini 2.5 שלא הועברו וב-gemini-3.1-pro-preview-customtools, כתובות URL מסוג HTTP או HTTPS מוגבלות ל-10 תמונות, קובץ אודיו אחד או סרטון אחד לכל בקשה.
    • כתובת ה-URL של הסרטון ב-YouTube: הסרטון ב-YouTube צריך להיות בבעלות החשבון שבו השתמשתם כדי להיכנס למסוף Google Cloud , או להיות גלוי לכולם. אפשר לשלוח רק כתובת URL אחת של סרטון ב-YouTube בכל בקשה.

    כשמציינים fileURI, צריך לציין גם את סוג המדיה (mimeType) של הקובץ. אם VPC Service Controls מופעל, אי אפשר לציין כתובת URL של קובץ מדיה בשביל fileURI.

    אם אין לכם קובץ וידאו ב-Cloud Storage, אתם יכולים להשתמש בקובץ הבא שזמין לכולם: gs://cloud-samples-data/generative-ai/video/pixel8.mp4 עם סוג MIME‏ video/mp4. כדי לצפות בסרטון הזה, פתחו את קובץ ה-MP4 לדוגמה.

  • ‫MIME_TYPE: סוג המדיה של הקובץ שצוין בשדות data או fileUri. הערכים הקבילים כוללים:

    לחצו כדי להרחיב את סוגי ה-MIME

    • application/pdf
    • audio/mpeg
    • audio/mp3
    • audio/wav
    • image/png
    • image/jpeg
    • image/webp
    • text/plain
    • video/mov
    • video/mpeg
    • video/mp4
    • video/mpg
    • video/avi
    • video/wmv
    • video/mpegps
    • video/flv
  • TEXT ההוראות בטקסט שצריך לכלול בהנחיה. לדוגמה, Provide a description of the video. The description should also contain anything important which people say in the video.

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

cat > request.json << 'EOF'
{
  "model": "gemini-3.8-flash",
  "input": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "video",
          "uri": "FILE_URI",
          "mime_type": "MIME_TYPE"
        },
        {
          "type": "text",
          "text": "TEXT"
        }
      ]
    }
  ]
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

@'
{
  "model": "gemini-3.8-flash",
  "input": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "video",
          "uri": "FILE_URI",
          "mime_type": "MIME_TYPE"
        },
        {
          "type": "text",
          "text": "TEXT"
        }
      ]
    }
  ]
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

שימו לב לפרטים הבאים בכתובת ה-URL של הדוגמה הזו:
  • משתמשים ב-method‏ generateContent כדי לבקש שהתשובה תוחזר אחרי שהיא נוצרת במלואה. כדי להפחית את תפיסת זמן האחזור בקרב קהל אנושי, אפשר להעביר בסטרימינג את התשובה בזמן שהיא נוצרת באמצעות השיטה streamGenerateContent.
  • המזהה של המודל המולטי-מודאלי נמצא בסוף כתובת ה-URL לפני ה-method (לדוגמה, gemini-3.5-flash). יכול להיות שהדוגמה הזו תומכת גם במודלים אחרים.
  • כשמשתמשים בנקודת קצה אזורית ל-API (לדוגמה, us-central1), האזור מכתובת ה-URL של נקודת הקצה קובע איפה הבקשה תעובד. המערכת מתעלמת מכל מיקום שמתנגש בנתיב המשאב.

המסוף

כדי לשלוח הנחיה מולטי-מודאלית באמצעות מסוף Google Cloud :

  1. בקטע Agent Platform במסוף Google Cloud , נכנסים לדף Agent Studio.

    מעבר אל Agent Studio

  2. לוחצים על יצירת הנחיה.

  3. אופציונלי: מגדירים את המודל והפרמטרים:

    • מודל: בוחרים מודל.
  4. אופציונלי: כדי להגדיר פרמטרים מתקדמים, לוחצים על Advanced ומגדירים את הפרמטרים הבאים:

    לוחצים כדי להרחיב את ההגדרות המתקדמות.

    • ‫Top-K: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך ל-Top-K.

      הערך של Top-K משנה את האופן שבו המודל בוחר אסימונים לפלט. ערך Top-K של 1 אומר שהאסימון הבא שנבחר הוא הסביר ביותר מבין כל האסימונים באוצר המילים של המודל (נקרא גם פענוח חמדני), וערך Top-K של 3 אומר שהאסימון הבא נבחר מבין שלושת האסימונים הסבירים ביותר באמצעות טמפרטורה.

      בכל שלב של בחירת אסימון, נדגמים האסימונים עם ההסתברויות הגבוהות ביותר ב-Top-K. לאחר מכן, האסימונים מסוננים עוד יותר על סמך top-P, והאסימון הסופי נבחר באמצעות דגימת טמפרטורה.

      כדי לקבל תשובות פחות אקראיות, מציינים ערך נמוך יותר. כדי לקבל תשובות יותר אקראיות, מציינים ערך גבוה יותר.

    • ‫Top-P: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך ל-top-P. הטוקנים נבחרים מהסבירות הגבוהה ביותר לנמוכה ביותר, עד שסכום ההסתברויות שלהם שווה לערך של top-P. כדי לקבל את התוצאות הכי פחות משתנות, צריך להגדיר את top-P לערך 0.
    • מספר התשובות המקסימלי: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך למספר התשובות שרוצים ליצור.
    • תשובות בסטרימינג: הפעילו את האפשרות הזו כדי להדפיס תשובות תוך כדי שהן נוצרות.
    • סף מסנן הבטיחות: בוחרים את הסף של הסבירות שיוצגו תשובות שעלולות להיות פוגעניות.
    • הפעלת עיגון: אין תמיכה בעיגון בפרומפטים מולטי-מודאליים.
    • Region: בוחרים את האזור שרוצים להשתמש בו.
    • טמפרטורה: משתמשים בפס ההזזה או בתיבת הטקסט כדי להזין ערך לטמפרטורה.

          
      The temperature is used for sampling during response generation, which occurs when topP
      and topK are applied. Temperature controls the degree of randomness in token selection.
      Lower temperatures are good for prompts that require a less open-ended or creative response, while
      higher temperatures can lead to more diverse or creative results. A temperature of 0
      means that the highest probability tokens are always selected. In this case, responses for a given
      prompt are mostly deterministic, but a small amount of variation is still possible.
      
      

      If the model returns a response that's too generic, too short, or the model gives a fallback response, try increasing the temperature. If the model enters infinite generation, increasing the temperature to at least 0.1 may lead to improved results.

      1.0 is the recommended starting value for temperature. </li> <li>**Output token limit**: Use the slider or textbox to enter a value for the max output limit. Maximum number of tokens that can be generated in the response. A token is approximately four characters. 100 tokens correspond to roughly 60-80 words.

      Specify a lower value for shorter responses and a higher value for potentially longer responses.

      </li> <li>**Add stop sequence**: Optional. Enter a stop sequence, which is a series of characters that includes spaces. If the model encounters a stop sequence, the response generation stops. The stop sequence isn't included in the response, and you can add up to five stop sequences.</li> </ul>

  5. לוחצים על הוספת מדיה ובוחרים מקור לקובץ.

    העלאה

    בוחרים את הקובץ שרוצים להעלות ולוחצים על פתיחה.

    לפי כתובת URL

    מזינים את כתובת ה-URL של הקובץ שבו רוצים להשתמש ולוחצים על הוספה.

    YouTube

    מזינים את כתובת ה-URL של הסרטון ב-YouTube שבו רוצים להשתמש ולוחצים על הוספה.

    אתם יכולים להשתמש בכל סרטון שגלוי לכולם או בסרטון שבבעלות החשבון שבאמצעותו נכנסתם למסוף Google Cloud .

    Cloud Storage

    בוחרים את הקטגוריה ואז את הקובץ מהקטגוריה שרוצים לייבא, ולוחצים על Select.

    Google Drive

    1. בפעם הראשונה שבוחרים באפשרות הזו, צריך לבחור חשבון ולתת ל-Agent Studio הרשאת גישה אליו. אפשר להעלות כמה קבצים בגודל כולל של עד 10MB. הגודל המקסימלי של קובץ בודד הוא 7MB.
    2. לוחצים על הקובץ שרוצים להוסיף.
    3. לוחצים על בחירה.

      התמונה הממוזערת של הקובץ מוצגת בחלונית הנחיה. מוצג גם המספר הכולל של האסימונים. אם נתוני ההנחיה חורגים ממגבלת הטוקנים, הטוקנים נחתכים ולא נכללים בעיבוד הנתונים.

  6. כותבים את הפרומפט בחלונית הנחיה.

  7. אופציונלי: כדי לראות את מזהה טוקן לטקסט ואת מזהי טוקנים, לוחצים על כמות טוקנים בחלונית פרומפט.

  8. לוחצים על שליחה.

  9. אם רוצים לשמור את ההנחיה בקטע ההנחיות שלי, לוחצים על שמירה.

  10. אופציונלי: כדי לקבל את קוד Python או פקודת curl להנחיה, לוחצים על פיתוח באמצעות קוד > קבלת קוד.

התאמה אישית של עיבוד הסרטונים

אתם יכולים להתאים אישית את עיבוד הסרטונים ב-Gemini for Google Cloud API על ידי הגדרת מרווחי חיתוך או דגימה של קצב פריימים בהתאמה אישית.

הגדרת מרווחי זמן לחיתוך

כדי לחתוך סרטונים, אפשר לציין את הפרמטר videoMetadata עם היסטים של התחלה וסיום.

הגדרת קצב פריימים בהתאמה אישית

כדי להגדיר דגימה של קצב פריימים בהתאמה אישית, אפשר להעביר ארגומנט fps אל videoMetadata.

כברירת מחדל, המערכת דוגמת פריים אחד לשנייה (FPS) מהסרטון. בסרטונים ארוכים, כדאי להגדיר קצב פריימים נמוך (פחות מ-1). האפשרות הזו שימושית במיוחד לסרטונים סטטיים ברובם (למשל, הרצאות). אם אתם רוצים לצלם יותר פרטים בתמונות שמשתנות במהירות, כדאי להגדיר ערך FPS גבוה יותר.

הבנת סרטונים באמצעות סוכנים

הבנת קטעי וידאו מבוססת-סוכן מאפשרת למודל לנווט באופן דינמי בתוכן של קטעי וידאו, במקום לעבד כל פריים באופן סטטי. הבנת סרטונים באמצעות סוכנים משתמשת בפחות טוקנים מאשר עיבוד סטטי, ויכולה לשפר את איכות התשובות. כך אפשר להוזיל את העלויות ולקבל תשובות מהר יותר בעומסי עבודה של סרטונים ארוכים.

אתם יכולים להשתמש בהבנת וידאו מבוססת-סוכנים ובעיבוד סטטי לסרטונים שונים באותה בקשה. לדוגמה, אם יש לכם סרטונים ארוכים (כמו הרצאה של שעה) וקטעי וידאו קצרים (כמו YouTube Shorts), אתם יכולים להשתמש בהבנת וידאו מבוססת-סוכנים בסרטונים הארוכים כדי לטרגט מידע רלוונטי לפי ההקשר, ובעיבוד סטטי בקטעי וידאו קצרים כדי להגיע לרמת דיוק של פריים.

ההקשר של הסרטון צריך להישמר לאורך כל השיחה:

  • ‫Interactions API: כברירת מחדל, אינטראקציות עם שמירת מצב שומרות את ההקשר של הסרטון באופן אוטומטי כשמשתמשים ב-previous_interaction_id. בבקשות בלי שמירת מצב (כשלא משתמשים ב-previous_interaction_id), התגובה כוללת את steps שמקודדים את ההקשר של הסרטון. צריך להעביר את השלבים האלה לסבב הבא כדי לשמור על ההקשר.
  • ‫GenerateContent API: כדי לשמור על ההקשר, צריך להעביר את כל היסטוריית השיחה (כל הפניות הקודמות של contents) בכל בקשה עוקבת.

אם ההקשר של הסרטון לא נכלל בפנייה הבאה, המודל לא יכול לענות על שאלות לגבי הסרטון בלי לעבד אותו מחדש.

מודלים וסוגי קבצים נתמכים

התכונה "הבנת סרטונים באמצעות סוכנים" נתמכת במודלים הבאים:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

אתם יכולים להשתמש במקורות הבאים כשאתם משתמשים בסוכנים להבנת סרטונים:

  • כתובות URL ב-YouTube
  • מזהי URI של Cloud Storage
  • קובצי וידאו מוטבעים בקידוד Base64

מתי כדאי להשתמש בסוכן להבנת סרטונים

השתמשו בסוכן להבנת וידאו (media_processing = "AGENTIC") לעומסי העבודה הבאים:

  • חיפוש ושאלות ותשובות בסרטונים ארוכים: אתם יכולים לשאול שאלות ממוקדות או לאתר אירועים ספציפיים בהרצאות, בפגישות, בהקלטות או בסרטוני הדרכה שנמשכים שעה, בלי להמיר לטוקנים כל פריים ברזולוציה מלאה.
  • בדיקה ויזואלית מדויקת: הגדלה של חותמות זמן או פרטים חזותיים ספציפיים (כגון קריאת טקסט קטן על המסך, שקופיות או שינויים בלוח התוצאות) בתוך סרטון ארוך יותר.
  • השוואה בין כמה סרטונים: השוואה בין כמה סרטונים בבקשה אחת. אפשר להשתמש במצבי עיבוד שונים לכל סרטון באותה בקשה.
  • נציגים מבוססי-וידאו: פיתוח נציגים שמסיקים מסקנות מתוכן וידאו, עם תמיכה בשיחות מרובות-תורות. ההקשר של הסרטון נשמר בין הפניות בלי עיבוד מחדש.
  • אופטימיזציה של עלויות לעומסי עבודה של סרטונים ארוכים: הפחתת צריכת הטוקנים באפליקציות של סרטונים ארוכים שבהן רק קבוצת משנה של קטעים רלוונטית להנחיה.

כדאי להשאיר את העיבוד הסטטי שמוגדר כברירת מחדל (media_processing = "STATIC") במקרים הבאים:

  • עיבוד קליפים קצרים: בסרטונים קצרים, עיבוד סטטי חוסך את הצורך לנווט בין כלים בכמה שלבים, ובדרך כלל משתמש בפחות אסימונים עם זמן אחזור קצר יותר.
  • עיבוד אחיד של כל הסרטון: עומס העבודה דורש ניתוח אחיד של כל פריים בסרטון, ולא בדיקה ממוקדת של קטעים ספציפיים.

שימוש בסוכני AI להבנת סרטונים

כדי להפעיל את היכולת של הסוכן להבין סרטונים, מגדירים את "processing": "agentic" ב-Interactions API או את media_processing = "AGENTIC" ב-GenerateContent API:

Python

GenerateContent API

from google import genai
from google.genai import types

client = genai.Client()

# Example: Controlling media_processing explicitly
video_part = types.Part(
  file_data=types.FileData(
      file_uri="gs://my-bucket-name/sports_clip.mp4",
      mime_type="video/mp4",
  ),
  media_processing="agentic" # Options: "agentic", "static"
)

response = client.models.generate_content(
  model="gemini-3.7-flash",
  contents=[
      video_part,
      "Analyze the player's footwork right before the shot."
  ]
)
print(response.text)

Interactions API

from google import genai

client = genai.Client(
    enterprise=True,
    project="PROJECT_ID",
    location="global",
)

# Example: Controlling video processing explicitly
interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {
            "type": "video",
            "uri": "gs://my-bucket-name/sports_clip.mp4",
            "mime_type": "video/mp4",
            "processing": "agentic",  # Options: "agentic", "static"
        },
        {
            "type": "text",
            "text": "Analyze the player's footwork right before the shot.",
        },
    ],
    generation_config={
        "thinking_level": "medium",
    },
)
print(interaction.output_text)

REST

GenerateContent API

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

cat > request.json << 'EOF'
{
  "contents": [
    {
      "role": "USER",
      "parts": [
        {
          "fileData": {
            "mimeType": "video/mp4",
            "fileUri": "gs://my-bucket/lecture.mp4"
          },
          "mediaProcessing": "AGENTIC"
        },
        {
          "text": "Summarize the key takeaways."
        }
      ]
    }
  ],
  "generationConfig": {
    "thinkingLevel": "MEDIUM"
  }
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.7-flash:generateContent"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

@'
{
  "contents": [
    {
      "role": "USER",
      "parts": [
        {
          "fileData": {
            "mimeType": "video/mp4",
            "fileUri": "gs://my-bucket/lecture.mp4"
          },
          "mediaProcessing": "AGENTIC"
        },
        {
          "text": "Summarize the key takeaways."
        }
      ]
    }
  ],
  "generationConfig": {
    "thinkingLevel": "MEDIUM"
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/publishers/google/models/gemini-3.7-flash:generateContent" | Select-Object -Expand Content

Interactions API

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

cat > request.json << 'EOF'
{
  "model": "gemini-3.8-flash",
  "input": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "video",
          "mime_type": "video/mp4",
          "uri": "gs://my-bucket/lecture.mp4",
          "processing": "agentic"
        },
        {
          "type": "text",
          "text": "Summarize the key takeaways."
        }
      ]
    }
  ],
  "generation_config": {
    "thinking_level": "medium"
  }
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

@'
{
  "model": "gemini-3.8-flash",
  "input": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "video",
          "mime_type": "video/mp4",
          "uri": "gs://my-bucket/lecture.mp4",
          "processing": "agentic"
        },
        {
          "type": "text",
          "text": "Summarize the key takeaways."
        }
      ]
    }
  ],
  "generation_config": {
    "thinking_level": "medium"
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content

כברירת מחדל, הבנת סרטונים באמצעות סוכנים מוגדרת ל-STATIC או מושבתת בכל המודלים הנתמכים.

שינוי הרזולוציה של המדיה

אתם יכולים לשנות את MediaResolution כדי לעבד את הסרטונים עם פחות טוקנים.

הגדרת פרמטרים אופציונליים של המודל

לכל מודל יש קבוצה של פרמטרים אופציונליים שאפשר להגדיר. מידע נוסף מופיע במאמר פרמטרים ליצירת תוכן.

המרה של סרטונים לטוקנים

ב-Gemini 3, הטוקניזציה של הווידאו משתמשת באורך משתנה של רצף, שמחליף את שיטת ה-Pan and Scan ששימשה במודלים קודמים כדי לשפר את האיכות והזמן האחזור.

אתם יכולים לציין רזולוציה של מדיה לקלט של וידאו, שמשפיעה על האופן שבו הסרטונים עוברים טוקניזציה ועל מספר הטוקנים שמשמשים לכל סרטון. אפשר להגדיר את media_resolution ב-generationConfig כך שיחול על כל המדיה בבקשה, או להגדיר אותו לקטעי מדיה ספציפיים, שיעקפו את ההגדרה ברמה העליונה. הרזולוציה שמוגדרת כברירת מחדל לסרטונים היא 70 טוקנים לכל פריים.

במודלים של Gemini 3 אפשר לבחור את הרזולוציות הבאות:

  • ‫MEDIA_RESOLUTION_HIGH: ‏280 טוקנים לכל פריים
  • ‫MEDIA_RESOLUTION_MEDIUM: ‏70 טוקנים לכל פריים
  • ‫MEDIA_RESOLUTION_LOW: ‏70 טוקנים לכל פריים
  • ‫MEDIA_RESOLUTION_UNSPECIFIED: ‏70 טוקנים לכל פריים (ברירת מחדל)

במודלים שקדמו ל-Gemini 3, כל פריים מומר ל-258 טוקנים ברזולוציית ברירת המחדל, או ל-66 טוקנים ברזולוציה נמוכה.

דוגמת הקוד הבאה ממחישה איך להתאים את media_resolution:

GenerateContent API

from google import genai
from google.genai import types

client = genai.Client()

response = client.models.generate_content(
  model="gemini-3.1-pro-preview",
  contents=[
      types.Part(
          file_data=types.FileData(
              file_uri="gs://cloud-samples-data/generative-ai/image/a-man-and-a-dog.png",
              mime_type="image/jpeg",
          ),
          media_resolution=types.PartMediaResolution(
              level=types.PartMediaResolutionLevel.MEDIA_RESOLUTION_HIGH
          ),
      ),
      types.Part(
          file_data=types.FileData(
              file_uri="gs://cloud-samples-data/generative-ai/video/behind_the_scenes_pixel.mp4",
              mime_type="video/mp4",
          ),
          media_resolution=types.PartMediaResolution(
              level=types.PartMediaResolutionLevel.MEDIA_RESOLUTION_LOW
          ),
      ),
      "When does the image appear in the video? What is the context?",
  ],
)
print(response.text)

Interactions API

from google import genai

client = genai.Client(
    enterprise=True,
    project="PROJECT_ID",
    location="global",
)

interaction = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {
            "type": "image",
            "uri": "gs://cloud-samples-data/generative-ai/image/a-man-and-a-dog.png",
            "mime_type": "image/png",
            "resolution": "high",  # Options: "low", "medium", "high", "ultra_high"
        },
        {
            "type": "video",
            "uri": "gs://cloud-samples-data/generative-ai/video/behind_the_scenes_pixel.mp4",
            "mime_type": "video/mp4",
            "resolution": "low",  # Options: "low", "medium", "high", "ultra_high"
        },
        {
            "type": "text",
            "text": "When does the image appear in the video? What is the context?",
        },
    ],
)
print(interaction.output_text)

שיטות מומלצות

כדי להשיג את התוצאות הטובות ביותר, כדאי להשתמש בשיטות המומלצות הבאות:

  • אם ההנחיה מכילה סרטון אחד, צריך למקם את הסרטון לפני ההנחיה הטקסטואלית.
  • אם אתם צריכים לוקליזציה של חותמות זמן בסרטון עם אודיו, בקשו מהמודל ליצור חותמות זמן בפורמט שמתואר בקטע "פורמט של חותמת זמן".

במודלים של Gemini 3, כדאי גם להביא בחשבון את הדברים הבאים:

  • בסרטונים שדורשים ניתוח זמני מפורט, כמו הבנה של פעולות מהירות או מעקב תנועה במהירות גבוהה, כדאי להשתמש בתדירות דגימה גבוהה יותר של פריימים לשנייה (FPS).

מגבלות

למרות שהמודלים המולטי-מודאליים של Gemini יעילים בהרבה תרחישים לדוגמה, חשוב להבין את המגבלות שלהם:

  • ניהול תוכן: המודלים מסרבים לספק תשובות לגבי סרטונים שמפירים את מדיניות הבטיחות שלנו.
  • זיהוי צלילים שהם לא דיבור: המודלים שתומכים באודיו עלולים לטעות בזיהוי צלילים שהם לא דיבור.

פרטים טכניים על סרטונים

  • עיבוד באמצעות File API: כשמשתמשים ב-File API, הסרטונים נדגמים בקצב של פריים אחד לשנייה (FPS) והאודיו מעובד בקצב של 1Kbps (ערוץ יחיד). חותמות הזמן מתווספות בכל שנייה.

    • השיעורים האלה עשויים להשתנות בעתיד כדי לשפר את ההסקה.
  • פורמט חותמת הזמן: כשמתייחסים לרגעים ספציפיים בסרטון בהנחיה, פורמט חותמת הזמן תלוי בתדירות הדגימה של הפריימים לשנייה (FPS) בסרטון:

    • לתדירויות דגימה של פריים אחד לשנייה או פחות: משתמשים בפורמט MM:SS, שבו שתי הספרות הראשונות מייצגות דקות ושתי הספרות האחרונות מייצגות שניות. אם יש לכם הפרשים של יותר משעה, השתמשו בפורמט H:MM:SS.

    • לתדירויות דגימה של יותר מ-FPS אחד: משתמשים בפורמט MM:SS.sss, או אם יש היסטים של יותר משעה, משתמשים בפורמט H:MM:SS.sss, שמתואר בהמשך:

      • הספרה הראשונה מייצגת את השעה.
      • שתי הספרות הבאות מייצגות את הדקות.
      • שתי הספרות השלישיות מייצגות שניות.
      • שלוש הספרות האחרונות מייצגות חלקי שנייה.
  • שיטות מומלצות:

    • כדי לקבל תוצאות אופטימליות, מומלץ להשתמש רק בסרטון אחד בכל בקשה בהנחיה.

    • אם משלבים טקסט וסרטון אחד, מציבים את הנחיית הטקסט אחרי החלק של הסרטון במערך contents.

    • חשוב לזכור שרצפים של פעולות מהירות עלולים לאבד פרטים בגלל קצב הדגימה של פריים אחד לשנייה. במקרה הצורך, כדאי להאט את הקליפים האלה.

המאמרים הבאים