É possível usar os modelos do Gemini Omni para editar vídeos usando o console do Google Cloud ou a API Agent Platform.
Os seguintes modelos são compatíveis com a edição de vídeos:
Clique para abrir os modelos compatíveis
Para saber como escrever comandos de texto eficazes para geração de vídeo, consulte o Guia de comandos para geração de vídeo.
Antes de começar
- Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho sem custos financeiros.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Configure a autenticação do ambiente.
Selecione a guia para como planeja usar as amostras nesta página:
Console
Quando você usa o console do Google Cloud para acessar os serviços e as APIs do Google Cloud , não é necessário configurar a autenticação.
REST
Para usar as amostras da API REST desta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para a CLI gcloud.
Instale a CLI do Google Cloud.
Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.
Saiba mais em Autenticar para usar REST na documentação de autenticação do Google Cloud .
Editar vídeos usando o Gemini Omni
Para editar vídeos usando o Gemini Omni, forneça um vídeo de entrada junto com um
comando de texto descrevendo as edições. A duração do vídeo de entrada precisa corresponder à
duração do vídeo de saída (3 a 15 segundos para gemini-omni-1.2-flash
ou 3 a 10 segundos para modelos de pré-lançamento, até uma duração máxima de
15 segundos). Com gemini-omni-1.2-flash, também é possível incluir até
duas imagens de referência opcionais ("type": "image") na matriz input para
orientar o vídeo editado, especificar generation_config.seed para resultados
reproduzíveis e anexar rótulos de metadados personalizados
(labels) para organizar
solicitações e acompanhar os custos faturados.
REST
A geração de vídeo pode levar mais de um minuto para ser concluída. É possível escolher entre vários modos de interação, dependendo do seu fluxo de trabalho:
- Síncrono: sem estado: defina
storecomofalsepara gerar um vídeo em uma única solicitação sem manter o estado de interação no servidor. - Síncrono: com estado: defina
storecomotruepara persistir o estado da interação, o que permite recuperar o resultado mais tarde ou referenciar o ID da interação para edição de vídeo multiturno. - Síncrono: streaming com estado: defina
storeestreamcomotruepara receber os pensamentos do modelo de forma incremental à medida que são gerados, seguidos pelo vídeo de saída em um único eventostep.delta("type": "video"). - Assíncrono: defina
backgroundcomotruepara executar a geração de vídeo em segundo plano e recuperar o resultado mais tarde usando o ID de interação.
As interações armazenadas e assíncronas são retidas por até 7 dias.
Ao configurar "delivery": "uri" em response_format, você também precisa
especificar gcs_uri. Omitir gcs_uri quando "delivery" for "uri" retorna um erro 400 INVALID_ARGUMENT.
As respostas unárias retornam o URI do Cloud Storage
em steps[].content[].uri, e as respostas de streaming o retornam em delta.uri. Para
retornar bytes de vídeo inline na resposta, defina "delivery": "inline"
e omita gcs_uri (gcs_uri não é compatível quando "delivery" é
"inline"). Quando a entrega inline é usada, a saída de vídeo é
retornada como uma string de bytes codificada em base64 ao lado de "mime_type": "video/mp4" em
steps[].content[].data (POST e GET unários) ou delta.data (SSE
step.delta). Ao contrário dos deltas de texto ou áudio, o vídeo inline não é dividido em vários
eventos step.delta. Cada vídeo gerado é entregue como um único
payload base64 completo em um evento step.delta.
Para vídeos grandes ou de alta resolução, use "delivery": "uri" com gcs_uri para evitar payloads de resposta HTTP grandes ou SSE de evento único.
Para mais informações sobre como usar os modelos Gemini Omni com a API Interactions, consulte API Interactions.
Síncrona: sem estado
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
-
PROJECT_ID: uma string que representa o ID do projeto do Google Cloud . -
MODEL_ID: uma string que representa o ID do modelo a ser usado. Os valores aceitos são:"gemini-omni-1.2-flash""gemini-omni-1.1-flash-preview""gemini-omni-flash-preview"
-
TEXT_PROMPT: o comando de texto usado para orientar a geração de vídeo. -
CLOUD_STORAGE_VIDEO_URI: uma string que representa o bucket do Cloud Storage que contém o vídeo de entrada. Por exemplo,"gs://video-bucket/input/". -
VIDEO_MIME: uma string que representa um tipo MIME de vídeo. Os valores aceitos são:video/3gppvideo/mp4video/mpegvideo/quicktimevideo/webmvideo/x-flvvideo/x-ms-wmv
-
OUTPUT_RESOLUTION:Opcional: uma string que representa a resolução de saída do vídeo. Se não for fornecido, a saída padrão será 720p.
gemini-omni-1.2-flashegemini-omni-1.1-flash-previewsão compatíveis com os seguintes valores:"360p""720p""1080p""4k"
O
gemini-omni-flash-previewsó é compatível com"720p". -
CLOUD_STORAGE_OUTPUT_URI: uma string que representa o bucket do Cloud Storage para armazenar os vídeos de saída (por exemplo,"gs://video-bucket/output/"). Obrigatório quandodeliveryé definido como"uri". Para retornar bytes de vídeo inline na resposta, defina"delivery": "inline"e omitagcs_urideresponse_format.
Método HTTP e URL:
POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions
Corpo JSON da solicitação:
{
"model": "MODEL_ID",
"store": false,
"input": [
{
"type": "text",
"text": "TEXT_PROMPT"
},
{
"type": "video",
"uri": "CLOUD_STORAGE_VIDEO_URI",
"mime_type": "VIDEO_MIME"
}
],
"response_format": [
{
"type": "video",
"delivery": "uri",
"resolution": "OUTPUT_RESOLUTION",
"gcs_uri": "CLOUD_STORAGE_OUTPUT_URI"
}
],
"generation_config": {
"video_config": {
"task": "edit"
}
}
}
Para enviar a solicitação, escolha uma destas opções:
curl
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:
curl -X POST \
-H "Authorization: Bearer TOKEN" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"
PowerShell
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:
$headers = @{ "Authorization" = "Bearer TOKEN" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
{
"id":"INTERACTION_ID",
"model":"gemini-omni-1.2-flash",
"status":"completed",
"usage":{
"total_tokens":479,
"total_input_tokens":26,
"input_tokens_by_modality":[
{
"modality":"text",
"tokens":26
},
{
"modality":"image",
"tokens":124
}
],
"output_tokens_by_modality": [
{
"modality": "video",
"tokens": 28832
}
],
"total_output_tokens":28832,
"total_thought_tokens":453
},
"steps":[
{
"type":"thought",
"summary":[
{
"type":"text",
"text":"MODEL THOUGHTS"
}
]
},
{
"type":"model_output",
"content":[
{
"type":"video",
"uri":"gs://some/output_path/123.mp4",
"mime_type":"video/mp4"
}
]
}
],
"object":"interaction",
"role":"model",
"created":"2026-05-29T02:17:56Z",
"updated":"2026-05-29T02:17:56Z"
}
Síncrona: com estado
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
-
PROJECT_ID: uma string que representa o ID do projeto do Google Cloud . -
MODEL_ID: uma string que representa o ID do modelo a ser usado. Os valores aceitos são:"gemini-omni-1.2-flash""gemini-omni-1.1-flash-preview""gemini-omni-flash-preview"
-
TEXT_PROMPT: o comando de texto usado para orientar a geração de vídeo. -
CLOUD_STORAGE_VIDEO_URI: uma string que representa o bucket do Cloud Storage que contém o vídeo de entrada. Por exemplo,"gs://video-bucket/input/". -
VIDEO_MIME: uma string que representa um tipo MIME de vídeo. Os valores aceitos são:video/3gppvideo/mp4video/mpegvideo/quicktimevideo/webmvideo/x-flvvideo/x-ms-wmv
-
OUTPUT_RESOLUTION:Opcional: uma string que representa a resolução de saída do vídeo. Se não for fornecido, a saída padrão será 720p.
gemini-omni-1.2-flashegemini-omni-1.1-flash-previewsão compatíveis com os seguintes valores:"360p""720p""1080p""4k"
O
gemini-omni-flash-previewsó é compatível com"720p". -
CLOUD_STORAGE_OUTPUT_URI: uma string que representa o bucket do Cloud Storage para armazenar os vídeos de saída (por exemplo,"gs://video-bucket/output/"). Obrigatório quandodeliveryé definido como"uri". Para retornar bytes de vídeo inline na resposta, defina"delivery": "inline"e omitagcs_urideresponse_format.
Método HTTP e URL:
POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions
Corpo JSON da solicitação:
{
"model": "MODEL_ID",
"background": false,
"store": true,
"stream": false,
"input": [
{
"type": "user_input",
"content": [
{
"type": "text",
"text": "TEXT_PROMPT"
},
{
"type": "video",
"uri": "CLOUD_STORAGE_VIDEO_URI",
"mime_type": "VIDEO_MIME"
}
]
}
],
"response_format": [
{
"type": "video",
"delivery": "uri",
"resolution": "OUTPUT_RESOLUTION",
"gcs_uri": "CLOUD_STORAGE_OUTPUT_URI"
}
],
"generation_config": {
"video_config": {
"task": "edit"
}
}
}
Para enviar a solicitação, escolha uma destas opções:
curl
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:
curl -X POST \
-H "Authorization: Bearer TOKEN" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"
PowerShell
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:
$headers = @{ "Authorization" = "Bearer TOKEN" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
{
"id":"INTERACTION_ID",
"model":"gemini-omni-1.2-flash",
"status":"completed",
"usage":{
"total_tokens":479,
"total_input_tokens":26,
"input_tokens_by_modality":[
{
"modality":"text",
"tokens":26
},
{
"modality":"image",
"tokens":124
}
],
"output_tokens_by_modality": [
{
"modality": "video",
"tokens": 28832
}
],
"total_output_tokens":28832,
"total_thought_tokens":453
},
"steps":[
{
"type":"thought",
"summary":[
{
"type":"text",
"text":"MODEL THOUGHTS"
}
]
},
{
"type":"model_output",
"content":[
{
"type":"video",
"uri":"gs://some/output_path/123.mp4",
"mime_type":"video/mp4"
}
]
}
],
"object":"interaction",
"role":"model",
"created":"2026-05-29T02:17:56Z",
"updated":"2026-05-29T02:17:56Z"
}
INTERACTION_ID para acessar o vídeo gerado:
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
-
PROJECT_ID: uma string que representa o ID do projeto do Google Cloud . -
INTERACTION_ID: o ID de interação da solicitação.
Método HTTP e URL:
GET https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID
Para enviar a solicitação, escolha uma destas opções:
curl
Execute o seguinte comando:
curl -X GET \
-H "Authorization: Bearer TOKEN" \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID"
PowerShell
Execute o seguinte comando:
$headers = @{ "Authorization" = "Bearer TOKEN" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID" | Select-Object -Expand Content
{
"id":"INTERACTION_ID",
"model":"gemini-omni-1.2-flash",
"status":"completed",
"usage":{
"total_tokens":29435,
"total_input_tokens":150,
"input_tokens_by_modality":[
{
"modality":"text",
"tokens":26
},
{
"modality":"image",
"tokens":124
}
],
"output_tokens_by_modality": [
{
"modality": "video",
"tokens": 28832
}
],
"total_output_tokens":28832,
"total_thought_tokens":453
},
"steps":[
{
"type": "user_input",
"content": [
{
"type": "text",
"text": "5 second, 9:16 video. Use the image as the first frame."
},
{
"type": "image",
"uri": "gs://some/path",
"mime_type": "image/png"
}
]
},
{
"type":"thought",
"summary":[
{
"type":"text",
"text":"MODEL THOUGHTS"
}
]
},
{
"type":"model_output",
"content":[
{
"type":"video",
"uri":"gs://some/output_path/123.mp4",
"mime_type":"video/mp4"
}
]
}
],
"object":"interaction",
"role":"model",
"created":"2026-05-29T02:17:56Z",
"updated":"2026-05-29T02:17:56Z"
}
Quando a entrega inline é usada ("delivery": "inline" com
gcs_uri omitido), a etapa model_output retorna o
vídeo completo como uma string de bytes
codificada em base64 em steps[].content[].data com
"mime_type": "video/mp4" em vez de uri:
{
"type": "model_output",
"content": [
{
"type": "video",
"data": "BASE64_ENCODED_VIDEO",
"mime_type": "video/mp4"
}
]
}Síncrono: streaming com estado
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
-
PROJECT_ID: uma string que representa o ID do projeto do Google Cloud . -
MODEL_ID: uma string que representa o ID do modelo a ser usado. Os valores aceitos são:"gemini-omni-1.2-flash""gemini-omni-1.1-flash-preview""gemini-omni-flash-preview"
-
TEXT_PROMPT: o comando de texto usado para orientar a geração de vídeo. -
CLOUD_STORAGE_VIDEO_URI: uma string que representa o bucket do Cloud Storage que contém o vídeo de entrada. Por exemplo,"gs://video-bucket/input/". -
VIDEO_MIME: uma string que representa um tipo MIME de vídeo. Os valores aceitos são:video/3gppvideo/mp4video/mpegvideo/quicktimevideo/webmvideo/x-flvvideo/x-ms-wmv
-
OUTPUT_RESOLUTION:Opcional: uma string que representa a resolução de saída do vídeo. Se não for fornecido, a saída padrão será 720p.
gemini-omni-1.2-flashegemini-omni-1.1-flash-previewsão compatíveis com os seguintes valores:"360p""720p""1080p""4k"
O
gemini-omni-flash-previewsó é compatível com"720p". -
CLOUD_STORAGE_OUTPUT_URI: uma string que representa o bucket do Cloud Storage para armazenar os vídeos de saída (por exemplo,"gs://video-bucket/output/"). Obrigatório quandodeliveryé definido como"uri". Para retornar bytes de vídeo inline na resposta, defina"delivery": "inline"e omitagcs_urideresponse_format.
Método HTTP e URL:
POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions
Corpo JSON da solicitação:
{
"model": "MODEL_ID",
"background": false,
"store": true,
"stream": true,
"input": [
{
"type": "user_input",
"content": [
{
"type": "text",
"text": "TEXT_PROMPT"
},
{
"type": "video",
"uri": "CLOUD_STORAGE_VIDEO_URI",
"mime_type": "VIDEO_MIME"
}
]
}
],
"response_format": [
{
"type": "video",
"delivery": "uri",
"resolution": "OUTPUT_RESOLUTION",
"gcs_uri": "CLOUD_STORAGE_OUTPUT_URI"
}
],
"generation_config": {
"video_config": {
"task": "edit"
}
}
}
Para enviar a solicitação, escolha uma destas opções:
curl
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:
curl -X POST \
-H "Authorization: Bearer TOKEN" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"
PowerShell
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:
$headers = @{ "Authorization" = "Bearer TOKEN" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
event: interaction.created
data: {"interaction":{"id":"INTERACTION_ID","status":"in_progress","object":"interaction","model":"gemini-omni-1.2-flash"},"event_type":"interaction.created"}
event: interaction.status_update
data: {"interaction_id":"INTERACTION_ID","status":"in_progress","event_type":"interaction.status_update"}
event: step.start
data: {"index":0,"step":{"type":"thought"},"event_type":"step.start"}
event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}
event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}
event: step.delta
data: {"index":0,"delta":{"signature":"...","type":"thought_signature"},"event_type":"step.delta"}
event: step.stop
data: {"index":0,"event_type":"step.stop"}
event: step.start
data: {"index":1,"step":{"type":"model_output"},"event_type":"step.start"}
event: step.delta
data: {"index":1,"delta":{"mime_type":"video/mp4","uri":"gs://some/output_path/123.mp4","type":"video"},"event_id":"EVENT_ID","event_type":"step.delta"}
event: step.stop
data: {"index":1,"event_type":"step.stop"}
event: interaction.completed
data: {"interaction":{"id":"INTERACTION_ID","status":"completed","usage":{"total_tokens":17812,"total_input_tokens":21,"input_tokens_by_modality":[{"modality":"text","tokens":21}],"total_output_tokens":17376,"output_tokens_by_modality":[{"modality":"video","tokens":17376}],"total_thought_tokens":415},"created":"2026-08-12T21:26:20Z","updated":"2026-08-12T21:26:20Z","event_id":"EVENT_ID","object":"interaction","model":"gemini-omni-1.2-flash"},"event_id":"EVENT_ID","event_type":"interaction.completed"}
event: done
data: [DONE]
Quando a entrega inline é usada ("delivery": "inline" com
gcs_uri omitido), o evento step.delta de vídeo retorna
os bytes de vídeo em
delta.data como uma string codificada em base64 ao lado de
"mime_type": "video/mp4" em vez de delta.uri:
event: step.delta
data: {"index":1,"delta":{"mime_type":"video/mp4","data":"BASE64_ENCODED_VIDEO","type":"video"},"event_id":"EVENT_ID","event_type":"step.delta"}
Ao contrário das diferenças de texto ("type": "text") ou áudio
("type": "audio"), o vídeo inline não é dividido em vários
eventos step.delta. Cada vídeo gerado é entregue como
um payload único e completo codificado em base64 em um evento
step.delta ("type": "video"). Não concatene
delta.data em vários eventos step.delta de vídeo.
Para vídeos grandes ou de alta resolução, use "delivery": "uri" com
um bucket do Cloud Storage (gcs_uri) para evitar grandes
payloads de SSE de evento único.
INTERACTION_ID com `?stream=true` para transmitir a
interação armazenada e o vídeo gerado:
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
-
PROJECT_ID: uma string que representa o ID do projeto do Google Cloud . -
INTERACTION_ID: o ID de interação da solicitação.
Método HTTP e URL:
GET https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID?stream=true
Para enviar a solicitação, escolha uma destas opções:
curl
Execute o seguinte comando:
curl -X GET \
-H "Authorization: Bearer TOKEN" \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID?stream=true"
PowerShell
Execute o seguinte comando:
$headers = @{ "Authorization" = "Bearer TOKEN" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID?stream=true" | Select-Object -Expand Content
event: interaction.created
data: {"interaction":{"id":"INTERACTION_ID","status":"in_progress","object":"interaction","model":"gemini-omni-1.2-flash"},"event_type":"interaction.created"}
event: interaction.status_update
data: {"interaction_id":"INTERACTION_ID","status":"in_progress","event_type":"interaction.status_update"}
event: step.start
data: {"index":0,"step":{"type":"thought"},"event_type":"step.start"}
event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}
event: step.delta
data: {"index":0,"delta":{"content":{"text":"MODEL THOUGHTS","type":"text"},"type":"thought_summary"},"event_id":"EVENT_ID","event_type":"step.delta"}
event: step.delta
data: {"index":0,"delta":{"signature":"...","type":"thought_signature"},"event_type":"step.delta"}
event: step.stop
data: {"index":0,"event_type":"step.stop"}
event: step.start
data: {"index":1,"step":{"type":"model_output"},"event_type":"step.start"}
event: step.delta
data: {"index":1,"delta":{"mime_type":"video/mp4","uri":"gs://some/output_path/123.mp4","type":"video"},"event_id":"EVENT_ID","event_type":"step.delta"}
event: step.stop
data: {"index":1,"event_type":"step.stop"}
event: interaction.completed
data: {"interaction":{"id":"INTERACTION_ID","status":"completed","usage":{"total_tokens":17664,"total_input_tokens":21,"input_tokens_by_modality":[{"modality":"text","tokens":21}],"total_output_tokens":17376,"output_tokens_by_modality":[{"modality":"video","tokens":17376}],"total_thought_tokens":267},"created":"2026-08-12T21:33:08Z","updated":"2026-08-12T21:33:08Z","event_id":"EVENT_ID","object":"interaction","model":"gemini-omni-1.2-flash"},"event_id":"EVENT_ID","event_type":"interaction.completed"}
event: done
data: [DONE]
Quando a entrega inline é usada ("delivery": "inline" com
gcs_uri omitido), o evento step.delta de vídeo retorna
os bytes de vídeo em
delta.data como uma string codificada em base64 ao lado de
"mime_type": "video/mp4" em vez de delta.uri:
event: step.delta
data: {"index":1,"delta":{"mime_type":"video/mp4","data":"BASE64_ENCODED_VIDEO","type":"video"},"event_id":"EVENT_ID","event_type":"step.delta"}
Ao contrário das diferenças de texto ("type": "text") ou áudio
("type": "audio"), o vídeo inline não é dividido em vários
eventos step.delta. Cada vídeo gerado é entregue como
um payload único e completo codificado em base64 em um evento
step.delta ("type": "video"). Não concatene
delta.data em vários eventos step.delta de vídeo.
Para vídeos grandes ou de alta resolução, use "delivery": "uri" com
um bucket do Cloud Storage (gcs_uri) para evitar grandes
payloads de SSE de evento único.
Assíncrono
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
-
PROJECT_ID: uma string que representa o ID do projeto do Google Cloud . -
MODEL_ID: uma string que representa o ID do modelo a ser usado. Os valores aceitos são:"gemini-omni-1.2-flash""gemini-omni-1.1-flash-preview""gemini-omni-flash-preview"
-
TEXT_PROMPT: o comando de texto usado para orientar a geração de vídeo. -
CLOUD_STORAGE_VIDEO_URI: uma string que representa o bucket do Cloud Storage que contém o vídeo de entrada. Por exemplo,"gs://video-bucket/input/". -
VIDEO_MIME: uma string que representa um tipo MIME de vídeo. Os valores aceitos são:video/3gppvideo/mp4video/mpegvideo/quicktimevideo/webmvideo/x-flvvideo/x-ms-wmv
-
OUTPUT_RESOLUTION:Opcional: uma string que representa a resolução de saída do vídeo. Se não for fornecido, a saída padrão será 720p.
gemini-omni-1.2-flashegemini-omni-1.1-flash-previewsão compatíveis com os seguintes valores:"360p""720p""1080p""4k"
O
gemini-omni-flash-previewsó é compatível com"720p". -
CLOUD_STORAGE_OUTPUT_URI: uma string que representa o bucket do Cloud Storage para armazenar os vídeos de saída (por exemplo,"gs://video-bucket/output/"). Obrigatório quandodeliveryé definido como"uri". Para retornar bytes de vídeo inline na resposta, defina"delivery": "inline"e omitagcs_urideresponse_format.
Método HTTP e URL:
POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions
Corpo JSON da solicitação:
{
"model": "MODEL_ID",
"background": true,
"input": [
{
"type": "text",
"text": "TEXT_PROMPT"
},
{
"type": "video",
"uri": "CLOUD_STORAGE_VIDEO_URI",
"mime_type": "VIDEO_MIME"
}
],
"response_format": [
{
"type": "video",
"delivery": "uri",
"resolution": "OUTPUT_RESOLUTION",
"gcs_uri": "CLOUD_STORAGE_OUTPUT_URI"
}
],
"generation_config": {
"video_config": {
"task": "edit"
}
}
}
Para enviar a solicitação, escolha uma destas opções:
curl
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:
curl -X POST \
-H "Authorization: Bearer TOKEN" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"
PowerShell
Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando abaixo:
$headers = @{ "Authorization" = "Bearer TOKEN" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content
{
"id":"INTERACTION_ID",
"status":"in_progress",
"object":"interaction"
}
INTERACTION_ID para acessar o vídeo gerado:
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
-
PROJECT_ID: uma string que representa o ID do projeto do Google Cloud . -
INTERACTION_ID: o ID de interação da solicitação.
Método HTTP e URL:
GET https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID
Para enviar a solicitação, escolha uma destas opções:
curl
Execute o seguinte comando:
curl -X GET \
-H "Authorization: Bearer TOKEN" \
"https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID"
PowerShell
Execute o seguinte comando:
$headers = @{ "Authorization" = "Bearer TOKEN" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions/INTERACTION_ID" | Select-Object -Expand Content
{
"id":"INTERACTION_ID",
"model":"gemini-omni-1.2-flash",
"status":"completed",
"usage":{
"total_tokens":29435,
"total_input_tokens":150,
"input_tokens_by_modality":[
{
"modality":"text",
"tokens":26
},
{
"modality":"image",
"tokens":124
}
],
"output_tokens_by_modality": [
{
"modality": "video",
"tokens": 28832
}
],
"total_output_tokens":28832,
"total_thought_tokens":453
},
"steps":[
{
"type": "user_input",
"content": [
{
"type": "text",
"text": "5 second, 9:16 video. Use the image as the first frame."
},
{
"type": "image",
"uri": "gs://some/path",
"mime_type": "image/png"
}
]
},
{
"type":"thought",
"summary":[
{
"type":"text",
"text":"MODEL THOUGHTS"
}
]
},
{
"type":"model_output",
"content":[
{
"type":"video",
"uri":"gs://some/output_path/123.mp4",
"mime_type":"video/mp4"
}
]
}
],
"object":"interaction",
"role":"model",
"created":"2026-05-29T02:17:56Z",
"updated":"2026-05-29T02:17:56Z"
}
Quando a entrega inline é usada ("delivery": "inline" com
gcs_uri omitido), a etapa model_output retorna o
vídeo completo como uma string de bytes
codificada em base64 em steps[].content[].data com
"mime_type": "video/mp4" em vez de uri:
{
"type": "model_output",
"content": [
{
"type": "video",
"data": "BASE64_ENCODED_VIDEO",
"mime_type": "video/mp4"
}
]
}