Cómo quitar objetos de una imagen con la función de retoque

En esta página, se describe cómo quitar objetos de una imagen con un área de máscara, un proceso también conocido como restauración. Puedes proporcionar tu propia máscara o dejar que Imagen genere una por ti.

Ejemplo de eliminación de contenido

Para ver un ejemplo de edición con Imagen 3, ejecuta el notebook “Edición de imágenes con Imagen 3” en uno de los siguientes entornos:

Abrir en Colab | Abrir en Colab Enterprise | Abrir en Vertex AI Workbench | Ver en GitHub

En el siguiente ejemplo, se usa el relleno y una máscara de imagen para quitar contenido de una imagen existente:

Entradas

Imagen base^* para editar	Área de la máscara especificada con las herramientas de la consola de Google Cloud	Instrucción de texto
		Instrucción: Quita los objetos seleccionados de la imagen.

^{* Crédito de la imagen: Inside Weather en Unsplash.}

Resultado después de especificar un área de la máscara en la consola de Google Cloud

Consulta la tarjeta del modelo de Imagen for Editing and Customization

Antes de comenzar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

1. Configura la autenticación para tu entorno.

   Select the tab for how you plan to use the samples on this page:

   Console

   When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

   Python

   Para usar las muestras de Python de esta página en un entorno de desarrollo local, instala e inicializa gcloud CLI y, luego, configura las credenciales predeterminadas de la aplicación con tus credenciales de usuario.

   Instala Google Cloud CLI.

   Si usas un proveedor de identidad (IdP) externo, primero debes Acceder a gcloud CLI con tu identidad federada.

   If you're using a local shell, then create local authentication credentials for your user account:

   gcloud auth application-default login

   You don't need to do this if you're using Cloud Shell.

   If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Para obtener más información, consulta Configura ADC para un entorno de desarrollo local en la documentación de autenticación de Google Cloud .

   REST

   Para usar las muestras de la API de REST en esta página en un entorno de desarrollo local, debes usar las credenciales que proporciones a gcloud CLI.

   Instala Google Cloud CLI.

   Si usas un proveedor de identidad (IdP) externo, primero debes Acceder a gcloud CLI con tu identidad federada.

   Para obtener más información, consulta Autentícate para usar REST en la documentación de autenticación de Google Cloud .

   Cómo quitar con un área de máscara definida

   Usa los siguientes ejemplos a la hora de especificar el relleno para quitar contenido. En estas muestras, especifica una imagen base, una instrucción de texto y un área de máscara para modificar la imagen base.

   Console

   1. En la consola de Google Cloud , ve a la página Vertex AI > Media Studio.

   <a href="https://console.cloud.google.com/vertex-ai/studio/media/generate;tab=image" class="button button-primary"
   target="console" track-name="consoleLink" track-type="task">Go to Media
   Studio</a>
   

   1. Haz clic en Subir. En el diálogo de archivo que se muestra, selecciona un archivo para subir.

   2. Haz clic en Inpaint.

   3. En el panel Parámetros, haz clic en Inpaint (Remove).

   4. Realiza una de las siguientes acciones:

      • Sube tu propia máscara:

        1. Crea una máscara en tu computadora.

        2. Haz clic en Subir máscara. En el diálogo que se muestra, selecciona una máscara para subir.

      • Define tu propia máscara: En la barra de herramientas de edición, usa las herramientas de máscara (cuadro, pincel o herramienta invertida de masked_transitions) para especificar el área o áreas a las que se agregará contenido.

   5. Opcional: En el panel Parámetros, ajusta las siguientes opciones:

      • Modelo: Es el modelo de Imagen que se usará.

      • Cantidad de resultados: Es la cantidad de resultados que se generarán.

      • Instrucción negativa: Elementos que se deben evitar generar

   6. En el campo de mensaje, ingresa un mensaje para modificar la imagen.

   7. Haz clic en Generar .

   Python

   Instalar

   pip install --upgrade google-genai

   Para obtener más información, consulta la documentación de referencia del SDK.

   Establece variables de entorno para usar el SDK de IA generativa con Vertex AI:

   # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
   # with appropriate values for your project.
   export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
   export GOOGLE_CLOUD_LOCATION=us-central1
   export GOOGLE_GENAI_USE_VERTEXAI=True

   from google import genai
   from google.genai.types import (
       RawReferenceImage,
       MaskReferenceImage,
       MaskReferenceConfig,
       EditImageConfig,
   )
   
   client = genai.Client()
   
   # TODO(developer): Update and un-comment below line
   # output_file = "output-image.png"
   
   raw_ref = RawReferenceImage(
       reference_image=Image.from_file(location="test_resources/fruit.png"),
       reference_id=0,
   )
   mask_ref = MaskReferenceImage(
       reference_id=1,
       reference_image=Image.from_file(location="test_resources/fruit_mask.png"),
       config=MaskReferenceConfig(
           mask_mode="MASK_MODE_USER_PROVIDED",
           mask_dilation=0.01,
       ),
   )
   
   image = client.models.edit_image(
       model="imagen-3.0-capability-001",
       prompt="",
       reference_images=[raw_ref, mask_ref],
       config=EditImageConfig(
           edit_mode="EDIT_MODE_INPAINT_REMOVAL",
       ),
   )
   
   image.generated_images[0].image.save(output_file)
   
   print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
   # Example response:
   # Created output image using 1234567 bytes
   

   REST

   Antes de usar cualquiera de los datos de solicitud a continuación, haz los siguientes reemplazos:

   • PROJECT_ID: Tu Google Cloud ID del proyecto.
   • LOCATION: La región del proyecto. Por ejemplo, us-central1, europe-west2 o asia-northeast3. Para obtener una lista de las regiones disponibles, consulta IA generativa en ubicaciones de Vertex AI.
   • prompt: En el caso del relleno de imágenes, puedes proporcionar una cadena vacía para crear las imágenes editadas. Si decides proporcionar una instrucción, usa una descripción del área enmascarada para obtener mejores resultados. Por ejemplo, "un cielo azul" en lugar de "inserta un cielo azul".
   • referenceType: Una ReferenceImage es una imagen que proporciona contexto adicional para la edición de imágenes. Se requiere una imagen de referencia sin procesar RGB normal (REFERENCE_TYPE_RAW) para los casos de uso de edición. En una solicitud, puede haber como máximo una imagen de referencia sin procesar. La imagen de salida tiene la misma altura y el mismo ancho que la imagen de referencia sin procesar. Se requiere una imagen de referencia de la máscara (REFERENCE_TYPE_MASK) para los casos de uso de edición enmascarada. Si hay una imagen de referencia sin procesar, la imagen de la máscara debe tener la misma altura y el mismo ancho que la imagen de referencia sin procesar. Si la imagen de referencia de la máscara está vacía y maskMode no está configurado como MASK_MODE_USER_PROVIDED, la máscara se calcula en función de la imagen de referencia sin procesar.
   • B64_BASE_IMAGE: La imagen base que se editará o mejorará. La imagen debe especificarse como una cadena de bytes codificada en base64. Límite de tamaño: 10 MB.
   • B64_OUTPAINTING_MASK: La imagen en blanco y negro que deseas usar como capa de máscara para editar la imagen original. La máscara debe tener la misma resolución que la imagen de entrada. La imagen de salida tendrá la misma resolución que la imagen de entrada. Esta imagen de máscara debe especificarse como una cadena de bytes codificada en base64. Límite de tamaño: 10 MB.
   • MASK_DILATION: Número de punto flotante. Es el porcentaje del ancho de la imagen según el cual se dilatará esta máscara. Se recomienda un valor de 0.03 para el expansión. Establecer "dilation": 0.0 podría generar bordes evidentes en el punto de extensión o causar un efecto de borde blanco.
   • EDIT_STEPS: Es un número entero. Es la cantidad de pasos de muestreo para el modelo base. Para el expansión de pintura, comienza con 35 pasos. Aumenta los pasos si la calidad no cumple con tus requisitos.
   • EDIT_IMAGE_COUNT: La cantidad de imágenes editadas. Valores de números enteros aceptados: de 1 a 4. Valor predeterminado: 4.

   Método HTTP y URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

   Cuerpo JSON de la solicitud:

   {
     "instances": [
       {
         "prompt": "",
         "referenceImages": [
           {
             "referenceType": "REFERENCE_TYPE_RAW",
             "referenceId": 1,
             "referenceImage": {
               "bytesBase64Encoded": "B64_BASE_IMAGE"
             }
           },
           {
             "referenceType": "REFERENCE_TYPE_MASK",
             "referenceId": 2,
             "referenceImage": {
               "bytesBase64Encoded": "B64_OUTPAINTING_MASK"
             },
             "maskImageConfig": {
               "maskMode": "MASK_MODE_USER_PROVIDED",
               "dilation": MASK_DILATION
             }
           }
         ]
       }
     ],
     "parameters": {
       "editConfig": {
         "baseSteps": EDIT_STEPS
       },
       "editMode": "EDIT_MODE_OUTPAINT",
       "sampleCount": EDIT_IMAGE_COUNT
     }
   }
   

   Para enviar tu solicitud, elige una de estas opciones:

   curl

   Nota: Con el siguiente comando, se supone que accediste a la CLI de gcloud con tu cuenta de usuario a través de la ejecución de gcloud init o gcloud auth login, o a través del uso de Cloud Shell, que accede de forma automática a la CLI de gcloud. Para comprobar la cuenta activa actual, ejecuta gcloud auth list.

   Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

   PowerShell

   Nota: En el siguiente comando, se supone que accediste a la CLI de gcloud con tu cuenta de usuario a través de la ejecución de gcloud init o gcloud auth login . Para comprobar la cuenta activa actual, ejecuta gcloud auth list.

   Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content

   La siguiente respuesta de muestra es para una solicitud con "sampleCount": 2. La respuesta muestra dos objetos de predicción, con los bytes de imagen generados codificados en base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       }
     ]
   }
   

   Cómo quitar elementos con la detección automática de máscaras

   Usa los siguientes ejemplos a la hora de especificar el relleno para quitar contenido. En estas muestras, especifica una imagen base y una instrucción de texto. Imagen detecta y crea de automáticamente un área de máscara para modificar la imagen base.

   Console

   1. En la consola de Google Cloud , ve a la página Vertex AI > Media Studio.

   <a href="https://console.cloud.google.com/vertex-ai/studio/media/generate;tab=image" class="button button-primary"
   target="console" track-name="consoleLink" track-type="task">Go to Media
   Studio</a>
   

   1. Haz clic en Subir. En el diálogo de archivo que se muestra, selecciona un archivo para subir.

   2. Haz clic en Inpaint.

   3. En el panel Parámetros, haz clic en Inpaint (Remove).

   4. En la barra de herramientas de edición, haz clic en background_replaceExtraer.

      Elige una de las siguientes opciones de extracción de máscaras:

      • Elementos en segundo plano: Detecta los elementos en segundo plano y crea una máscara a su alrededor.

      • Elementos en primer plano: Detecta los objetos en primer plano y crea una máscara alrededor de ellos.

      • background_replacePersonas: Detecta personas y crea una máscara a su alrededor.

   5. Opcional: En el panel Parámetros, ajusta las siguientes opciones:

      • Modelo: Es el modelo de Imagen que se usará.

      • Cantidad de resultados: Es la cantidad de resultados que se generarán.

      • Instrucción negativa: Elementos que se deben evitar generar

   6. En el campo de mensaje, ingresa un mensaje nuevo para modificar la imagen.

   7. Haz clic en EnviarGenerar.

   Python

   Instalar

   pip install --upgrade google-genai

   Para obtener más información, consulta la documentación de referencia del SDK.

   Establece variables de entorno para usar el SDK de IA generativa con Vertex AI:

   # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
   # with appropriate values for your project.
   export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
   export GOOGLE_CLOUD_LOCATION=us-central1
   export GOOGLE_GENAI_USE_VERTEXAI=True

   from google import genai
   from google.genai.types import (
       RawReferenceImage,
       MaskReferenceImage,
       MaskReferenceConfig,
       EditImageConfig,
   )
   
   client = genai.Client()
   
   # TODO(developer): Update and un-comment below line
   # output_file = "output-image.png"
   
   raw_ref = RawReferenceImage(
       reference_image=Image.from_file(location="test_resources/fruit.png"),
       reference_id=0,
   )
   mask_ref = MaskReferenceImage(
       reference_id=1,
       reference_image=None,
       config=MaskReferenceConfig(
           mask_mode="MASK_MODE_FOREGROUND",
       ),
   )
   
   image = client.models.edit_image(
       model="imagen-3.0-capability-001",
       prompt="",
       reference_images=[raw_ref, mask_ref],
       config=EditImageConfig(
           edit_mode="EDIT_MODE_INPAINT_REMOVAL",
       ),
   )
   
   image.generated_images[0].image.save(output_file)
   
   print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
   # Example response:
   # Created output image using 1234567 bytes
   

   REST

   Antes de usar cualquiera de los datos de solicitud a continuación, haz los siguientes reemplazos:

   • PROJECT_ID: Tu Google Cloud ID del proyecto.
   • LOCATION: La región del proyecto. Por ejemplo, us-central1, europe-west2 o asia-northeast3. Para obtener una lista de las regiones disponibles, consulta IA generativa en ubicaciones de Vertex AI.
   • prompt: Para obtener mejores resultados, omite una instrucción y negativePrompt cuando uses la función de reparación con pintura para quitar elementos.
   • B64_BASE_IMAGE: La imagen base que se editará o mejorará. La imagen debe especificarse como una cadena de bytes codificada en base64. Límite de tamaño: 10 MB.
   • MASK_MODE: Es una cadena que establece el tipo de creación automática de máscaras que usa el modelo. Valores disponibles:
     • MASK_MODE_BACKGROUND: Genera automáticamente una máscara con la segmentación de fondo. Usa este parámetro de configuración para modificar el contenido de fondo.
     • MASK_MODE_FOREGROUND: Genera automáticamente una máscara con la segmentación del primer plano. Usa este parámetro de configuración para modificar el contenido en primer plano, como quitar estos objetos en primer plano (eliminación con restauración).
     • MASK_MODE_SEMANTIC: Genera automáticamente una máscara con la segmentación semántica en función de las clases de segmentación que especifiques en el array maskImageConfig.maskClasses. Por ejemplo:

                 "maskImageConfig": {
                   "maskMode": "MASK_MODE_SEMANTIC",
                   "maskClasses": [175, 176], // bicycle, car
                   "dilation": 0.01
                 }
               

   • MASK_DILATION: Número de punto flotante. Es el porcentaje del ancho de la imagen según el cual se dilatará esta máscara. Se recomienda un valor de 0.01 para compensar las máscaras de entrada imperfectas.
   • EDIT_STEPS: Es un número entero. Es la cantidad de pasos de muestreo para el modelo base. Para la eliminación de la expansión, comienza con 12 pasos. Aumenta los pasos hasta el límite superior de 75 si la calidad no cumple con tus requisitos. Aumentar los pasos también incrementa la latencia de la solicitud.
   • EDIT_IMAGE_COUNT: La cantidad de imágenes editadas. Valores de números enteros aceptados: de 1 a 4. Valor predeterminado: 4.

   Método HTTP y URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

   Cuerpo JSON de la solicitud:

   {
     "instances": [
       {
         "prompt": "",
         "referenceImages": [
           {
             "referenceType": "REFERENCE_TYPE_RAW",
             "referenceId": 1,
             "referenceImage": {
               "bytesBase64Encoded": "B64_BASE_IMAGE"
             }
           },
           {
             "referenceType": "REFERENCE_TYPE_MASK",
             "referenceId": 2,
             "maskImageConfig": {
               "maskMode": "MASK_MODE",
               "dilation": MASK_DILATION
             }
           }
         ]
       }
     ],
     "parameters": {
       "editConfig": {
         "baseSteps": EDIT_STEPS
       },
       "editMode": "EDIT_MODE_INPAINT_REMOVAL",
       "sampleCount": EDIT_IMAGE_COUNT
     }
   }
   

   Para enviar tu solicitud, elige una de estas opciones:

   curl

   Nota: Con el siguiente comando, se supone que accediste a la CLI de gcloud con tu cuenta de usuario a través de la ejecución de gcloud init o gcloud auth login, o a través del uso de Cloud Shell, que accede de forma automática a la CLI de gcloud. Para comprobar la cuenta activa actual, ejecuta gcloud auth list.

   Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

   PowerShell

   Nota: En el siguiente comando, se supone que accediste a la CLI de gcloud con tu cuenta de usuario a través de la ejecución de gcloud init o gcloud auth login . Para comprobar la cuenta activa actual, ejecuta gcloud auth list.

   Guarda el cuerpo de la solicitud en un archivo llamado request.json y ejecuta el siguiente comando:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content

   La siguiente respuesta de muestra es para una solicitud con "sampleCount": 2. La respuesta muestra dos objetos de predicción, con los bytes de imagen generados codificados en base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       }
     ]
   }
   

   Limitaciones

   En las siguientes secciones, se explican las limitaciones de la función de eliminación de objetos de Imagen.

   Píxeles modificados

   Los píxeles que genera el modelo y que no están en la máscara se generan con la resolución del modelo (por ejemplo, 1024 x 1024) y no se garantiza que sean idénticos a la entrada. Esto podría provocar cambios menores en la imagen generada.

   Para conservar la imagen a la perfección, recomendamos combinar la imagen generada con la imagen de entrada usando la máscara. Por lo general, se requiere la combinación si la resolución de la imagen de entrada es de 2K o superior.

   Limitación de eliminación

   También es posible que se quiten los objetos pequeños adyacentes a la máscara. Para obtener mejores resultados, haz que la máscara sea lo más precisa posible.

   Quitar grandes áreas del cielo en imágenes exteriores puede generar artefactos no deseados. Para obtener mejores resultados, te recomendamos que proporciones una instrucción.

   ¿Qué sigue?

   Lee artículos sobre Imagen y otros productos de IA generativa en Vertex AI:

   • Guía para desarrolladores para comenzar a usar Imagen 3 en Vertex AI
   • Nuevos modelos y herramientas de medios generativos creados con y para los creadores
   • Novedades de Gemini: Gemas personalizadas y generación de imágenes mejorada con Imagen 3
   • Google DeepMind: Imagen 3: nuestro modelo de texto a imagen de mayor calidad
   Enviar comentarios