Inserta objetos en videos de Veo

Vista previa

Este producto o función está sujeto a las "Condiciones de la Oferta de la Fase Previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Los productos y las funciones de la fase previa a la DG están disponibles "sin modificaciones" y pueden estar sujetos a asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Puedes usar Veo en Vertex AI para insertar objetos en videos. Para ello, proporciona una máscara y un objeto de imagen, y, luego, proporciona una instrucción al modelo que incluya una descripción del resultado que deseas.

Si deseas obtener más información para escribir instrucciones de texto eficaces para la generación de videos, consulta la guía de instrucciones de Veo.

Nota: La API de Vertex AI es compatible durante la versión preliminar. Las interfaces compatibles incluyen la consola de Google Cloud y la API de Vertex AI.

Probar Veo en Colab

Antes de comenzar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

1. Configura la autenticación para tu entorno.

   Select the tab for how you plan to use the samples on this page:

   Console

   When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

   Python

   Para usar las muestras de Python de esta página en un entorno de desarrollo local, instala e inicializa gcloud CLI y, luego, configura las credenciales predeterminadas de la aplicación con tus credenciales de usuario.

   Instala Google Cloud CLI.

   Si usas un proveedor de identidad externo (IdP), primero debes acceder a gcloud CLI con tu identidad federada.

   If you're using a local shell, then create local authentication credentials for your user account:

   gcloud auth application-default login

   You don't need to do this if you're using Cloud Shell.

   If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Para obtener más información, consulta Configura ADC para un entorno de desarrollo local en la documentación de autenticación de Google Cloud .

   REST

   Para usar las muestras de la API de REST en esta página en un entorno de desarrollo local, debes usar las credenciales que proporciones a gcloud CLI.

   Instala Google Cloud CLI.

   Si usas un proveedor de identidad externo (IdP), primero debes acceder a gcloud CLI con tu identidad federada.

   Para obtener más información, consulta Autentícate para usar REST en la documentación de autenticación de Google Cloud .

   Inserta un objeto en un video

   Console

   1. En la Google Cloud consola, ve a la página Vertex AI Studio > Generate Media.

      Media Studio

   2. Haz clic en Veo.

   3. Opcional: En el panel Configuración, establece los siguientes parámetros de configuración:

      • Modelo: Elige Veo 2 Preview.

      • Relación de aspecto: Elige 16:9 o 9:16.

      • Cantidad de resultados: Ajusta el control deslizante o ingresa un valor entre 1 y 4.

      • Duración del video: Selecciona la duración del video que quieras en el menú.

      • Directorio de salida: Haz clic en Explorar para crear o seleccionar un bucket de Cloud Storage en el que se almacenarán los archivos de salida.

   4. Opcional: En la sección Seguridad, selecciona uno de los siguientes parámetros de configuración de Generación de personas:

      • Permitir (solo para adultos): Es el valor predeterminado. Generar solo personas o rostros adultos No se deben generar imágenes de personas o rostros de jóvenes o niños.

      • No permitir: No genera personas ni rostros.

   5. Opcional: En la sección Opciones avanzadas, ingresa un valor de Semilla para aleatorizar la generación de video.

   6. Haz clic en subir una imagen o un video.

   7. Elige un video local para subir y haz clic en Seleccionar.

   8. Realiza una de las siguientes acciones:

      • Sube tu propia máscara:

        1. Crea una máscara en tu computadora.

        2. Haz clic en Subir máscara. En el diálogo que aparece, selecciona una máscara para subir.

      • Define tu máscara: En la barra de herramientas de edición, usa las herramientas de máscara (cuadro, pincel o herramienta invertida de masked_transitions) para especificar el área o las áreas a las que se agregará contenido.

   9. En el cuadro Escribe tu instrucción, escribe una instrucción que describa los elementos que deseas agregar a tu video y, luego, haz clic en Generar.

   Python

   Instalar

   pip install --upgrade google-genai

   Para obtener más información, consulta la documentación de referencia del SDK.

   Establece variables de entorno para usar el SDK de IA generativa con Vertex AI:

   # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
   # with appropriate values for your project.
   export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
   export GOOGLE_CLOUD_LOCATION=global
   export GOOGLE_GENAI_USE_VERTEXAI=True

   import time
   from google import genai
   from google.genai.types import GenerateVideosSource, GenerateVideosConfig, Image, Video, VideoGenerationMask, VideoGenerationMaskMode
   
   client = genai.Client()
   
   # TODO(developer): Update and un-comment below line
   # output_gcs_uri = "gs://your-bucket/your-prefix"
   
   operation = client.models.generate_videos(
       model="veo-2.0-generate-preview",
       source=GenerateVideosSource(
           prompt="a sheep",
           video=Video(uri="gs://cloud-samples-data/generative-ai/video/truck.mp4", mime_type="video/mp4")
       ),
       config=GenerateVideosConfig(
           mask=VideoGenerationMask(
               image=Image(
                   gcs_uri="gs://cloud-samples-data/generative-ai/image/truck-inpainting-dynamic-mask.png",
                   mime_type="image/png",
               ),
               mask_mode=VideoGenerationMaskMode.INSERT,
           ),
           output_gcs_uri=output_gcs_uri,
       ),
   )
   
   while not operation.done:
       time.sleep(15)
       operation = client.operations.get(operation)
       print(operation)
   
   if operation.response:
       print(operation.result.generated_videos[0].video.uri)
   
   # Example response:
   # gs://your-bucket/your-prefix

   REST

   Después de configurar tu entorno, puedes usar REST para probar una instrucción de texto. En el siguiente ejemplo, se envía una solicitud al extremo del modelo de publicador.

   Para obtener más información sobre la API de Veo, consulta la documentación de referencia de la API de Veo en Vertex AI.

   1. Usa el siguiente comando para enviar una solicitud de generación de video. Esta solicitud inicia una operación de larga duración y almacena el resultado en un bucket de Cloud Storage que especifiques.

      Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:

      • PROJECT_ID: Tu ID del proyecto de Google Cloud .
      • TEXT_PROMPT: Es la instrucción de texto que se usa para guiar la generación de video.
      • MASK_STORAGE_URI Es la ruta de acceso del URI del bucket de Cloud Storage al objeto de máscara.

      • MASK_MIME_TYPE: El tipo de MIME de la máscara de imagen. Solo una de las siguientes opciones:

        • image/png
        • image/jpeg
        • image/webp
      • VIDEO_INPUT_STORAGE_URI Es el URI de Cloud Storage de la ruta de acceso al objeto de entrada de video.

      • VIDEO_MIME_TYPE Es el tipo de MIME del objeto de video. Solo una de las siguientes opciones:

        • video/mov
        • video/mpeg
        • video/mp4
        • video/mpg
        • video/avi
        • video/wmv
        • video/mpegps
        • video/flv
      • OUTPUT_STORAGE_URI: Opcional: Es el bucket de Cloud Storage para almacenar los videos de salida. Si no se proporciona, se devuelve un video codificado en bytes Base64 en la respuesta. Por ejemplo: gs://video-bucket/output/.
      • RESPONSE_COUNT: Es la cantidad de archivos de video que deseas generar. Valores de números enteros aceptados: de 1 a 4.

      • Parámetros opcionales adicionales

        Usa las siguientes variables opcionales según tu caso de uso. Agrega algunos o todos los siguientes parámetros en el objeto "parameters": {}.

        "parameters": {
          "aspectRatio": "ASPECT_RATIO",
          "negativePrompt": "NEGATIVE_PROMPT",
          "personGeneration": "PERSON_SAFETY_SETTING",
          // "resolution": RESOLUTION, // Veo 3 models only
          "sampleCount": RESPONSE_COUNT,
          "seed": SEED_NUMBER
        }

        • ASPECT_RATIO: Opcional: Es un valor de cadena que describe la relación de aspecto de los videos generados. Puedes usar los siguientes valores:
          • "16:9" para horizontal
          • "9:16" para vertical

          El valor predeterminado es "16:9".

        • NEGATIVE_PROMPT: Opcional: Es un valor de cadena que describe el contenido que deseas evitar que genere el modelo.
        • PERSON_SAFETY_SETTING: Opcional: Es un valor de cadena que controla el parámetro de configuración de seguridad para generar personas o rostros. Puedes usar los siguientes valores:
          • "allow_adult": Solo permite la generación de personas y rostros adultos.
          • "disallow": No genera personas ni rostros.

          El valor predeterminado es "allow_adult".

        • RESOLUTION: Opcional: Es un valor de cadena que controla la resolución del video generado. Solo es compatible con los modelos de Veo 3. Puedes usar los siguientes valores:
          • "720p"
          • "1080p"

          El valor predeterminado es "720p".

        • RESPONSE_COUNT: Opcional. Es un valor entero que describe la cantidad de videos que se generarán. El rango de valores aceptado es de 1 a 4.
        • SEED_NUMBER: Opcional. Es un valor uint32 que el modelo usa para generar videos determinísticos. Especificar un número de origen con tu solicitud sin cambiar otros parámetros guía al modelo para que produzca los mismos videos. El rango de valores aceptado es de 0 a 4294967295.

      Método HTTP y URL:

      POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/veo-2.0-generate-preview:predictLongRunning

      Cuerpo JSON de la solicitud:

      {
        "instances": [
          {
            "prompt": "TEXT_PROMPT",
            // The following fields can be repeated for up to three total
            // images.
            "mask": {
              "gcsURI": "MASK_STORAGE_URI",
              "mimeType": "MASK_MIME_TYPE",
              "maskMode": "insert"
            },
            "video": {
              "gcsURI": "VIDEO_INPUT_STORAGE_URI",
              "mimeType": "VIDEO_MIME_TYPE"
            }
          }
        ],
        "parameters": {
          "storageUri": "OUTPUT_STORAGE_URI",
          "sampleCount": RESPONSE_COUNT,
        }
      }
      

      Para enviar tu solicitud, elige una de estas opciones:

      curl

      Nota: Con el siguiente comando, se supone que accediste a la CLI de gcloud con tu cuenta de usuario a través de la ejecución de gcloud init o gcloud auth login, o a través del uso de Cloud Shell, que accede de forma automática a la CLI de gcloud. Para comprobar la cuenta activa actual, ejecuta gcloud auth list.

      Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:

      curl -X POST \
           -H "Authorization: Bearer $(gcloud auth print-access-token)" \
           -H "Content-Type: application/json; charset=utf-8" \
           -d @request.json \
           "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/veo-2.0-generate-preview:predictLongRunning"

      PowerShell

      Nota: En el siguiente comando, se supone que accediste a la CLI de gcloud con tu cuenta de usuario a través de la ejecución de gcloud init o gcloud auth login . Para comprobar la cuenta activa actual, ejecuta gcloud auth list.

      Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:

      $cred = gcloud auth print-access-token
      $headers = @{ "Authorization" = "Bearer $cred" }
      
      Invoke-WebRequest `
          -Method POST `
          -Headers $headers `
          -ContentType: "application/json; charset=utf-8" `
          -InFile request.json `
          -Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/veo-2.0-generate-preview:predictLongRunning" | Select-Object -Expand Content

      Esta solicitud devuelve un nombre de operación completo con un ID de operación único. Usa este nombre de operación completo para sondear el estado de la solicitud de generación de video.
      {
        "name": "projects/PROJECT_ID/locations/us-central1/publishers/google/models/veo-2.0-generate-001/operations/a1b07c8e-7b5a-4aba-bb34-3e1ccb8afcc8"
      }
      

   2. Opcional: Verifica el estado de la operación de larga duración de generación de video.

      Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:

      • PROJECT_ID: El Google Cloud ID del proyecto.
      • MODEL_ID: ID del modelo que se usará.
      • OPERATION_ID: Es el ID de operación único que se devolvió en la solicitud original de generación de video.

      Método HTTP y URL:

      POST https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:fetchPredictOperation

      Cuerpo JSON de la solicitud:

      {
        "operationName": "projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID/operations/OPERATION_ID"
      }
      

      Para enviar tu solicitud, elige una de estas opciones:

      curl

      Nota: Con el siguiente comando, se supone que accediste a la CLI de gcloud con tu cuenta de usuario a través de la ejecución de gcloud init o gcloud auth login, o a través del uso de Cloud Shell, que accede de forma automática a la CLI de gcloud. Para comprobar la cuenta activa actual, ejecuta gcloud auth list.

      Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:

      curl -X POST \
           -H "Authorization: Bearer $(gcloud auth print-access-token)" \
           -H "Content-Type: application/json; charset=utf-8" \
           -d @request.json \
           "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:fetchPredictOperation"

      PowerShell

      Nota: En el siguiente comando, se supone que accediste a la CLI de gcloud con tu cuenta de usuario a través de la ejecución de gcloud init o gcloud auth login . Para comprobar la cuenta activa actual, ejecuta gcloud auth list.

      Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:

      $cred = gcloud auth print-access-token
      $headers = @{ "Authorization" = "Bearer $cred" }
      
      Invoke-WebRequest `
          -Method POST `
          -Headers $headers `
          -ContentType: "application/json; charset=utf-8" `
          -InFile request.json `
          -Uri "https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:fetchPredictOperation" | Select-Object -Expand Content

      Esta solicitud devuelve información sobre la operación, incluido si la operación aún se está ejecutando o si ya finalizó.

      Respuesta

      {
        "name": "projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID/operations/OPERATION_ID",
        "done": true,
        "response": {
          "raiMediaFilteredCount": 0,
          "@type": "type.googleapis.com/cloud.ai.large_models.vision.GenerateVideoResponse",
          "videos": [
            {
              "gcsUri":"gs://BUCKET_NAME/TIMESTAMPED_FOLDER/sample_0.mp4",
              "mimeType": "video/mp4"
            }
          ]
        }
      }
      

   ¿Qué sigue?

   • Genera videos a partir de texto
   • Más información sobre las instrucciones
   • Comprende la IA responsable y los lineamientos de uso de Veo en Vertex AI
   Enviar comentarios