Editar vídeos

É possível usar os modelos do Gemini Omni para editar vídeos usando o console do Google Cloud ou a API Agent Platform.

Os seguintes modelos são compatíveis com a edição de vídeos:

Clique para abrir os modelos compatíveis

Para saber como escrever comandos de texto eficazes para geração de vídeo, consulte o Guia de comandos para geração de vídeo.

Teste o Gemini Omni no Colab

Antes de começar

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho sem custos financeiros.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  6. Configure a autenticação do ambiente.

    Selecione a guia para como planeja usar as amostras nesta página:

    Console

    Quando você usa o console do Google Cloud para acessar os serviços e as APIs do Google Cloud , não é necessário configurar a autenticação.

    REST

    Para usar as amostras da API REST desta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para a CLI gcloud.

      Instale a CLI do Google Cloud.

      Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

    Saiba mais em Autenticar para usar REST na documentação de autenticação do Google Cloud .

Editar vídeos usando o Gemini Omni

Para editar vídeos usando o Gemini Omni, forneça um vídeo de entrada junto com um comando de texto descrevendo as edições. A duração do vídeo de entrada precisa corresponder à duração do vídeo de saída (3 a 15 segundos para gemini-omni-1.2-flash ou 3 a 10 segundos para modelos de pré-lançamento, até uma duração máxima de 15 segundos). Com gemini-omni-1.2-flash, também é possível incluir até duas imagens de referência opcionais ("type": "image") na matriz input para orientar o vídeo editado, especificar generation_config.seed para resultados reproduzíveis e anexar rótulos de metadados personalizados (labels) para organizar solicitações e acompanhar os custos faturados.

REST

A geração de vídeo pode levar mais de um minuto para ser concluída. É possível escolher entre vários modos de interação, dependendo do seu fluxo de trabalho:

  • Síncrono: sem estado: defina store como false para gerar um vídeo em uma única solicitação sem manter o estado de interação no servidor.
  • Síncrono: com estado: defina store como true para persistir o estado da interação, o que permite recuperar o resultado mais tarde ou referenciar o ID da interação para edição de vídeo multiturno.
  • Síncrono: streaming com estado: defina store e stream como true para receber os pensamentos do modelo de forma incremental à medida que são gerados, seguidos pelo vídeo de saída em um único evento step.delta ("type": "video").
  • Assíncrono: defina background como true para executar a geração de vídeo em segundo plano e recuperar o resultado mais tarde usando o ID de interação.

As interações armazenadas e assíncronas são retidas por até 7 dias.

Ao configurar "delivery": "uri" em response_format, você também precisa especificar gcs_uri. Omitir gcs_uri quando "delivery" for "uri" retorna um erro 400 INVALID_ARGUMENT.

As respostas unárias retornam o URI do Cloud Storage em steps[].content[].uri, e as respostas de streaming o retornam em delta.uri. Para retornar bytes de vídeo inline na resposta, defina "delivery": "inline" e omita gcs_uri (gcs_uri não é compatível quando "delivery" é "inline"). Quando a entrega inline é usada, a saída de vídeo é retornada como uma string de bytes codificada em base64 ao lado de "mime_type": "video/mp4" em steps[].content[].data (POST e GET unários) ou delta.data (SSE step.delta). Ao contrário dos deltas de texto ou áudio, o vídeo inline não é dividido em vários eventos step.delta. Cada vídeo gerado é entregue como um único payload base64 completo em um evento step.delta.

Para vídeos grandes ou de alta resolução, use "delivery": "uri" com gcs_uri para evitar payloads de resposta HTTP grandes ou SSE de evento único.

Para mais informações sobre como usar os modelos Gemini Omni com a API Interactions, consulte API Interactions.

Síncrona: sem estado

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: uma string que representa o ID do projeto do Google Cloud .
  • MODEL_ID: uma string que representa o ID do modelo a ser usado. Os valores aceitos são:
    • "gemini-omni-1.2-flash"
    • "gemini-omni-1.1-flash-preview"
    • "gemini-omni-flash-preview"
  • TEXT_PROMPT: o comando de texto usado para orientar a geração de vídeo.
  • CLOUD_STORAGE_VIDEO_URI: uma string que representa o bucket do Cloud Storage que contém o vídeo de entrada. Por exemplo, "gs://video-bucket/input/".
  • VIDEO_MIME: uma string que representa um tipo MIME de vídeo. Os valores aceitos são:
    • video/3gpp
    • video/mp4
    • video/mpeg
    • video/quicktime
    • video/webm
    • video/x-flv
    • video/x-ms-wmv
  • OUTPUT_RESOLUTION:

    Opcional: uma string que representa a resolução de saída do vídeo. Se não for fornecido, a saída padrão será 720p.

    gemini-omni-1.2-flash e gemini-omni-1.1-flash-preview são compatíveis com os seguintes valores:

    • "360p"
    • "720p"
    • "1080p"
    • "4k"

    O gemini-omni-flash-preview só é compatível com "720p".

  • CLOUD_STORAGE_OUTPUT_URI: uma string que representa o bucket do Cloud Storage para armazenar os vídeos de saída (por exemplo, "gs://video-bucket/output/"). Obrigatório quando delivery é definido como "uri". Para retornar bytes de vídeo inline na resposta, defina "delivery": "inline" e omita gcs_uri de response_format.

Método HTTP e URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions

Corpo JSON da solicitação:

{
  "model": "MODEL_ID",
  "store": false,
  "input": [
    {
      "type": "text",
      "text": "TEXT_PROMPT"
    },
    {
      "type": "video",
      "uri": "CLOUD_STORAGE_VIDEO_URI",
      "mime_type": "VIDEO_MIME"
    }
  ],
  "response_format": [
    {
      "type": "video",
      "delivery": "uri",
      "resolution": "OUTPUT_RESOLUTION",
      "gcs_uri": "CLOUD_STORAGE_OUTPUT_URI"
    }
  ],
  "generation_config": {
    "video_config": {
      "task": "edit"
    }
  }
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

curl -X POST \
-H "Authorization: Bearer TOKEN" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
A resposta contém uma interação que inclui os pensamentos do modelo e um vídeo de saída.
{
  "id":"INTERACTION_ID",
  "model":"gemini-omni-1.2-flash",
  "status":"completed",
  "usage":{
    "total_tokens":479,
    "total_input_tokens":26,
    "input_tokens_by_modality":[
      {
        "modality":"text",
        "tokens":26
      },
      {
        "modality":"image",
        "tokens":124
      }
    ],
    "output_tokens_by_modality": [
      {
        "modality": "video",
        "tokens": 28832
      }
    ],
    "total_output_tokens":28832,
    "total_thought_tokens":453
  },
  "steps":[
    {
      "type":"thought",
      "summary":[
        {
          "type":"text",
          "text":"MODEL THOUGHTS"
        }
      ]
    },
    { 
      "type":"model_output",
      "content":[
        {
          "type":"video",
          "uri":"gs://some/output_path/123.mp4",
          "mime_type":"video/mp4" 
        }
      ]
    }
  ],
  "object":"interaction",
  "role":"model",
  "created":"2026-05-29T02:17:56Z",
  "updated":"2026-05-29T02:17:56Z"
}

Síncrona: com estado

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: uma string que representa o ID do projeto do Google Cloud .
  • MODEL_ID: uma string que representa o ID do modelo a ser usado. Os valores aceitos são:
    • "gemini-omni-1.2-flash"
    • "gemini-omni-1.1-flash-preview"
    • "gemini-omni-flash-preview"
  • TEXT_PROMPT: o comando de texto usado para orientar a geração de vídeo.
  • CLOUD_STORAGE_VIDEO_URI: uma string que representa o bucket do Cloud Storage que contém o vídeo de entrada. Por exemplo, "gs://video-bucket/input/".
  • VIDEO_MIME: uma string que representa um tipo MIME de vídeo. Os valores aceitos são:
    • video/3gpp
    • video/mp4
    • video/mpeg
    • video/quicktime
    • video/webm
    • video/x-flv
    • video/x-ms-wmv
  • OUTPUT_RESOLUTION:

    Opcional: uma string que representa a resolução de saída do vídeo. Se não for fornecido, a saída padrão será 720p.

    gemini-omni-1.2-flash e gemini-omni-1.1-flash-preview são compatíveis com os seguintes valores:

    • "360p"
    • "720p"
    • "1080p"
    • "4k"

    O gemini-omni-flash-preview só é compatível com "720p".

  • CLOUD_STORAGE_OUTPUT_URI: uma string que representa o bucket do Cloud Storage para armazenar os vídeos de saída (por exemplo, "gs://video-bucket/output/"). Obrigatório quando delivery é definido como "uri". Para retornar bytes de vídeo inline na resposta, defina "delivery": "inline" e omita gcs_uri de response_format.

Método HTTP e URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions

Corpo JSON da solicitação:

{
  "model": "MODEL_ID",
  "background": false,
  "store": true,
  "stream": false,
  "input": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "text",
          "text": "TEXT_PROMPT"
        },
        {
          "type": "video",
          "uri": "CLOUD_STORAGE_VIDEO_URI",
          "mime_type": "VIDEO_MIME"
        }
      ]
    }
  ],
  "response_format": [
    {
      "type": "video",
      "delivery": "uri",
      "resolution": "OUTPUT_RESOLUTION",
      "gcs_uri": "CLOUD_STORAGE_OUTPUT_URI"
    }
  ],
  "generation_config": {
    "video_config": {
      "task": "edit"
    }
  }
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

curl -X POST \
-H "Authorization: Bearer TOKEN" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
A resposta contém uma interação que inclui os pensamentos do modelo e um vídeo de saída.
{
  "id":"INTERACTION_ID",
  "model":"gemini-omni-1.2-flash",
  "status":"completed",
  "usage":{
    "total_tokens":479,
    "total_input_tokens":26,
    "input_tokens_by_modality":[
      {
        "modality":"text",
        "tokens":26
      },
      {
        "modality":"image",
        "tokens":124
      }
    ],
    "output_tokens_by_modality": [
      {
        "modality": "video",
        "tokens": 28832
      }
    ],
    "total_output_tokens":28832,
    "total_thought_tokens":453
  },
  "steps":[
    {
      "type":"thought",
      "summary":[
        {
          "type":"text",
          "text":"MODEL THOUGHTS"
        }
      ]
    },
    { 
      "type":"model_output",
      "content":[
        {
          "type":"video",
          "uri":"gs://some/output_path/123.mp4",
          "mime_type":"video/mp4" 
        }
      ]
    }
  ],
  "object":"interaction",
  "role":"model",
  "created":"2026-05-29T02:17:56Z",
  "updated":"2026-05-29T02:17:56Z"
}
Use o INTERACTION_ID para acessar o vídeo gerado:

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: uma string que representa o ID do projeto do Google Cloud .
  • INTERACTION_ID: o ID de interação da solicitação.

Método HTTP e URL:

GET https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID

Para enviar a solicitação, escolha uma destas opções:

curl

Execute o seguinte comando:

curl -X GET \
-H "Authorization: Bearer TOKEN" \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID"

PowerShell

Execute o seguinte comando:

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID" | Select-Object -Expand Content
A resposta está em um formato semelhante ao seguinte:
{
  "id":"INTERACTION_ID",
  "model":"gemini-omni-1.2-flash",
  "status":"completed",
  "usage":{
    "total_tokens":29435,
    "total_input_tokens":150,
    "input_tokens_by_modality":[
      {
        "modality":"text",
        "tokens":26
      },
      {
        "modality":"image",
        "tokens":124
      }
    ],
    "output_tokens_by_modality": [
      {
        "modality": "video",
        "tokens": 28832
      }
    ],
    "total_output_tokens":28832,
    "total_thought_tokens":453
  },
  "steps":[
    {
      "type": "user_input",
      "content": [
        {
          "type": "text",
          "text": "5 second, 9:16 video. Use the image as the first frame."
        },
        {
          "type": "image",
          "uri": "gs://some/path",
          "mime_type": "image/png"
        }
      ]
    },
    {
      "type":"thought",
      "summary":[
        {
          "type":"text",
          "text":"MODEL THOUGHTS"
        }
      ]
    },
    { 
      "type":"model_output",
      "content":[
        {
          "type":"video",
          "uri":"gs://some/output_path/123.mp4",
          "mime_type":"video/mp4" 
        }
      ]
    }
  ],
  "object":"interaction",
  "role":"model",
  "created":"2026-05-29T02:17:56Z",
  "updated":"2026-05-29T02:17:56Z"
}

Quando a entrega inline é usada ("delivery": "inline" com gcs_uri omitido), a etapa model_output retorna o vídeo completo como uma string de bytes codificada em base64 em steps[].content[].data com "mime_type": "video/mp4" em vez de uri:

{
  "type": "model_output",
  "content": [
    {
      "type": "video",
      "data": "BASE64_ENCODED_VIDEO",
      "mime_type": "video/mp4"
    }
  ]
}

Síncrono: streaming com estado

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: uma string que representa o ID do projeto do Google Cloud .
  • MODEL_ID: uma string que representa o ID do modelo a ser usado. Os valores aceitos são:
    • "gemini-omni-1.2-flash"
    • "gemini-omni-1.1-flash-preview"
    • "gemini-omni-flash-preview"
  • TEXT_PROMPT: o comando de texto usado para orientar a geração de vídeo.
  • CLOUD_STORAGE_VIDEO_URI: uma string que representa o bucket do Cloud Storage que contém o vídeo de entrada. Por exemplo, "gs://video-bucket/input/".
  • VIDEO_MIME: uma string que representa um tipo MIME de vídeo. Os valores aceitos são:
    • video/3gpp
    • video/mp4
    • video/mpeg
    • video/quicktime
    • video/webm
    • video/x-flv
    • video/x-ms-wmv
  • OUTPUT_RESOLUTION:

    Opcional: uma string que representa a resolução de saída do vídeo. Se não for fornecido, a saída padrão será 720p.

    gemini-omni-1.2-flash e gemini-omni-1.1-flash-preview são compatíveis com os seguintes valores:

    • "360p"
    • "720p"
    • "1080p"
    • "4k"

    O gemini-omni-flash-preview só é compatível com "720p".

  • CLOUD_STORAGE_OUTPUT_URI: uma string que representa o bucket do Cloud Storage para armazenar os vídeos de saída (por exemplo, "gs://video-bucket/output/"). Obrigatório quando delivery é definido como "uri". Para retornar bytes de vídeo inline na resposta, defina "delivery": "inline" e omita gcs_uri de response_format.

Método HTTP e URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions

Corpo JSON da solicitação:

{
  "model": "MODEL_ID",
  "background": false,
  "store": true,
  "stream": true,
  "input": [
    {
      "type": "user_input",
      "content": [
        {
          "type": "text",
          "text": "TEXT_PROMPT"
        },
        {
          "type": "video",
          "uri": "CLOUD_STORAGE_VIDEO_URI",
          "mime_type": "VIDEO_MIME"
        }
      ]
    }
  ],
  "response_format": [
    {
      "type": "video",
      "delivery": "uri",
      "resolution": "OUTPUT_RESOLUTION",
      "gcs_uri": "CLOUD_STORAGE_OUTPUT_URI"
    }
  ],
  "generation_config": {
    "video_config": {
      "task": "edit"
    }
  }
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

curl -X POST \
-H "Authorization: Bearer TOKEN" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
A resposta contém uma interação que inclui os pensamentos do modelo e um vídeo de saída.
event: interaction.created
data: {"interaction":{"id":"INTERACTION_ID","status":"in_progress","object":"interaction","model":"gemini-omni-1.2-flash"},"event_type":"interaction.created"}

event: interaction.status_update
data: {"interaction_id":"INTERACTION_ID","status":"in_progress","event_type":"interaction.status_update"}

event: step.start
data: {"index":0,"step":{"type":"thought"},"event_type":"step.start"}

event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.delta
data: {"index":0,"delta":{"signature":"...","type":"thought_signature"},"event_type":"step.delta"}

event: step.stop
data: {"index":0,"event_type":"step.stop"}

event: step.start
data: {"index":1,"step":{"type":"model_output"},"event_type":"step.start"}

event: step.delta
data: {"index":1,"delta":{"mime_type":"video/mp4","uri":"gs://some/output_path/123.mp4","type":"video"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.stop
data: {"index":1,"event_type":"step.stop"}

event: interaction.completed
data: {"interaction":{"id":"INTERACTION_ID","status":"completed","usage":{"total_tokens":17812,"total_input_tokens":21,"input_tokens_by_modality":[{"modality":"text","tokens":21}],"total_output_tokens":17376,"output_tokens_by_modality":[{"modality":"video","tokens":17376}],"total_thought_tokens":415},"created":"2026-08-12T21:26:20Z","updated":"2026-08-12T21:26:20Z","event_id":"EVENT_ID","object":"interaction","model":"gemini-omni-1.2-flash"},"event_id":"EVENT_ID","event_type":"interaction.completed"}

event: done
data: [DONE]

Quando a entrega inline é usada ("delivery": "inline" com gcs_uri omitido), o evento step.delta de vídeo retorna os bytes de vídeo em delta.data como uma string codificada em base64 ao lado de "mime_type": "video/mp4" em vez de delta.uri:

event: step.delta
data: {"index":1,"delta":{"mime_type":"video/mp4","data":"BASE64_ENCODED_VIDEO","type":"video"},"event_id":"EVENT_ID","event_type":"step.delta"}

Ao contrário das diferenças de texto ("type": "text") ou áudio ("type": "audio"), o vídeo inline não é dividido em vários eventos step.delta. Cada vídeo gerado é entregue como um payload único e completo codificado em base64 em um evento step.delta ("type": "video"). Não concatene delta.data em vários eventos step.delta de vídeo. Para vídeos grandes ou de alta resolução, use "delivery": "uri" com um bucket do Cloud Storage (gcs_uri) para evitar grandes payloads de SSE de evento único.

Use o INTERACTION_ID com `?stream=true` para transmitir a interação armazenada e o vídeo gerado:

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: uma string que representa o ID do projeto do Google Cloud .
  • INTERACTION_ID: o ID de interação da solicitação.

Método HTTP e URL:

GET https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID?stream=true

Para enviar a solicitação, escolha uma destas opções:

curl

Execute o seguinte comando:

curl -X GET \
-H "Authorization: Bearer TOKEN" \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID?stream=true"

PowerShell

Execute o seguinte comando:

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID?stream=true" | Select-Object -Expand Content
A resposta é um stream de eventos enviados pelo servidor (SSE) em um formato semelhante ao seguinte:
event: interaction.created
data: {"interaction":{"id":"INTERACTION_ID","status":"in_progress","object":"interaction","model":"gemini-omni-1.2-flash"},"event_type":"interaction.created"}

event: interaction.status_update
data: {"interaction_id":"INTERACTION_ID","status":"in_progress","event_type":"interaction.status_update"}

event: step.start
data: {"index":0,"step":{"type":"thought"},"event_type":"step.start"}

event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.delta
data: {"index":0,"delta":{"signature":"...","type":"thought_signature"},"event_type":"step.delta"}

event: step.stop
data: {"index":0,"event_type":"step.stop"}

event: step.start
data: {"index":1,"step":{"type":"model_output"},"event_type":"step.start"}

event: step.delta
data: {"index":1,"delta":{"mime_type":"video/mp4","uri":"gs://some/output_path/123.mp4","type":"video"},"event_id":"EVENT_ID","event_type":"step.delta"}

event: step.stop
data: {"index":1,"event_type":"step.stop"}

event: interaction.completed
data: {"interaction":{"id":"INTERACTION_ID","status":"completed","usage":{"total_tokens":17664,"total_input_tokens":21,"input_tokens_by_modality":[{"modality":"text","tokens":21}],"total_output_tokens":17376,"output_tokens_by_modality":[{"modality":"video","tokens":17376}],"total_thought_tokens":267},"created":"2026-08-12T21:33:08Z","updated":"2026-08-12T21:33:08Z","event_id":"EVENT_ID","object":"interaction","model":"gemini-omni-1.2-flash"},"event_id":"EVENT_ID","event_type":"interaction.completed"}

event: done
data: [DONE]

Quando a entrega inline é usada ("delivery": "inline" com gcs_uri omitido), o evento step.delta de vídeo retorna os bytes de vídeo em delta.data como uma string codificada em base64 ao lado de "mime_type": "video/mp4" em vez de delta.uri:

event: step.delta
data: {"index":1,"delta":{"mime_type":"video/mp4","data":"BASE64_ENCODED_VIDEO","type":"video"},"event_id":"EVENT_ID","event_type":"step.delta"}

Ao contrário das diferenças de texto ("type": "text") ou áudio ("type": "audio"), o vídeo inline não é dividido em vários eventos step.delta. Cada vídeo gerado é entregue como um payload único e completo codificado em base64 em um evento step.delta ("type": "video"). Não concatene delta.data em vários eventos step.delta de vídeo. Para vídeos grandes ou de alta resolução, use "delivery": "uri" com um bucket do Cloud Storage (gcs_uri) para evitar grandes payloads de SSE de evento único.

Assíncrono

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: uma string que representa o ID do projeto do Google Cloud .
  • MODEL_ID: uma string que representa o ID do modelo a ser usado. Os valores aceitos são:
    • "gemini-omni-1.2-flash"
    • "gemini-omni-1.1-flash-preview"
    • "gemini-omni-flash-preview"
  • TEXT_PROMPT: o comando de texto usado para orientar a geração de vídeo.
  • CLOUD_STORAGE_VIDEO_URI: uma string que representa o bucket do Cloud Storage que contém o vídeo de entrada. Por exemplo, "gs://video-bucket/input/".
  • VIDEO_MIME: uma string que representa um tipo MIME de vídeo. Os valores aceitos são:
    • video/3gpp
    • video/mp4
    • video/mpeg
    • video/quicktime
    • video/webm
    • video/x-flv
    • video/x-ms-wmv
  • OUTPUT_RESOLUTION:

    Opcional: uma string que representa a resolução de saída do vídeo. Se não for fornecido, a saída padrão será 720p.

    gemini-omni-1.2-flash e gemini-omni-1.1-flash-preview são compatíveis com os seguintes valores:

    • "360p"
    • "720p"
    • "1080p"
    • "4k"

    O gemini-omni-flash-preview só é compatível com "720p".

  • CLOUD_STORAGE_OUTPUT_URI: uma string que representa o bucket do Cloud Storage para armazenar os vídeos de saída (por exemplo, "gs://video-bucket/output/"). Obrigatório quando delivery é definido como "uri". Para retornar bytes de vídeo inline na resposta, defina "delivery": "inline" e omita gcs_uri de response_format.

Método HTTP e URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions

Corpo JSON da solicitação:

{
  "model": "MODEL_ID",
  "background": true,
  "input": [
    {
      "type": "text",
      "text": "TEXT_PROMPT"
    },
    {
      "type": "video",
      "uri": "CLOUD_STORAGE_VIDEO_URI",
      "mime_type": "VIDEO_MIME"
    }
  ],
  "response_format": [
    {
      "type": "video",
      "delivery": "uri",
      "resolution": "OUTPUT_RESOLUTION",
      "gcs_uri": "CLOUD_STORAGE_OUTPUT_URI"
    }
  ],
  "generation_config": {
    "video_config": {
      "task": "edit"
    }
  }
}

Para enviar a solicitação, escolha uma destas opções:

curl

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

curl -X POST \
-H "Authorization: Bearer TOKEN" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
A resposta contém um ID de interação, que você vai usar para acessar o vídeo gerado.
{
  "id":"INTERACTION_ID",
  "status":"in_progress",
  "object":"interaction"
}
Depois, use o INTERACTION_ID para acessar o vídeo gerado:

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

  • PROJECT_ID: uma string que representa o ID do projeto do Google Cloud .
  • INTERACTION_ID: o ID de interação da solicitação.

Método HTTP e URL:

GET https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID

Para enviar a solicitação, escolha uma destas opções:

curl

Execute o seguinte comando:

curl -X GET \
-H "Authorization: Bearer TOKEN" \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID"

PowerShell

Execute o seguinte comando:

$headers = @{ "Authorization" = "Bearer TOKEN" }

Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID" | Select-Object -Expand Content
A resposta está em um formato semelhante ao seguinte:
{
  "id":"INTERACTION_ID",
  "model":"gemini-omni-1.2-flash",
  "status":"completed",
  "usage":{
    "total_tokens":29435,
    "total_input_tokens":150,
    "input_tokens_by_modality":[
      {
        "modality":"text",
        "tokens":26
      },
      {
        "modality":"image",
        "tokens":124
      }
    ],
    "output_tokens_by_modality": [
      {
        "modality": "video",
        "tokens": 28832
      }
    ],
    "total_output_tokens":28832,
    "total_thought_tokens":453
  },
  "steps":[
    {
      "type": "user_input",
      "content": [
        {
          "type": "text",
          "text": "5 second, 9:16 video. Use the image as the first frame."
        },
        {
          "type": "image",
          "uri": "gs://some/path",
          "mime_type": "image/png"
        }
      ]
    },
    {
      "type":"thought",
      "summary":[
        {
          "type":"text",
          "text":"MODEL THOUGHTS"
        }
      ]
    },
    { 
      "type":"model_output",
      "content":[
        {
          "type":"video",
          "uri":"gs://some/output_path/123.mp4",
          "mime_type":"video/mp4" 
        }
      ]
    }
  ],
  "object":"interaction",
  "role":"model",
  "created":"2026-05-29T02:17:56Z",
  "updated":"2026-05-29T02:17:56Z"
}

Quando a entrega inline é usada ("delivery": "inline" com gcs_uri omitido), a etapa model_output retorna o vídeo completo como uma string de bytes codificada em base64 em steps[].content[].data com "mime_type": "video/mp4" em vez de uri:

{
  "type": "model_output",
  "content": [
    {
      "type": "video",
      "data": "BASE64_ENCODED_VIDEO",
      "mime_type": "video/mp4"
    }
  ]
}

A seguir