更換圖片背景

注意：下表說明已淘汰的圖片生成端點及其替代方案。建議您在 2026 年 6 月 30 日前更新模型端點，以免服務中斷。

已停用的端點	建議的端點遷移方式
imagegeneration@002	gemini-2.5-flash-image
imagegeneration@003	gemini-2.5-flash-image
imagegeneration@004	gemini-2.5-flash-image
imagegeneration@005	gemini-2.5-flash-image
imagegeneration@006	gemini-2.5-flash-image
imagetext@001	gemini-2.5-flash-image
imagen-3.0-capability-001	gemini-2.5-flash-image
imagen-3.0-capability-002	gemini-2.5-flash-image
imagen-3.0-fast-generate-001	gemini-2.5-flash-image
imagen-3.0-generate-001	gemini-2.5-flash-image
imagen-3.0-generate-002	gemini-2.5-flash-image
imagen-4.0-fast-generate-001	gemini-2.5-flash-image
imagen-4.0-generate-001	gemini-2.5-flash-image
imagen-4.0-ultra-generate-001	gemini-2.5-flash-image

本頁說明如何更換圖片背景。透過 Vertex AI 的 Imagen，您可以使用自動物件區隔功能保留該內容，同時修改其他圖片內容。使用 Imagen 3 時，你也可以提供自己的遮罩區域，進一步控制編輯作業。

下列機型支援更換圖片背景：

• imagen-3.0-capability-001

查看「Imagen for Editing and Customization」模型資訊卡

產品圖片編輯範例

如要查看 Imagen 3 編輯功能的範例，請在下列其中一個環境中執行「Imagen 3 Image Editing」筆記本：

在 Colab 中開啟 | 在 Colab Enterprise 中開啟 | 在 Vertex AI Workbench 中開啟 | 在 GitHub 上查看

以下用例著重於修改圖片背景，但保留圖片中產品的外觀，藉此提升產品圖片品質。

使用 Imagen 產品圖片編輯功能，根據提示詞生成的圖片： 精品店桌上的產品。原始圖片來源： Irene Kredenets 發表於 Unsplash。

事前準備

登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

1. 為環境設定驗證機制。

   選取這個頁面上的分頁，瞭解如何使用範例：

   控制台

   使用 Google Cloud 控制台存取 Google Cloud 服務和 API 時，無須設定驗證。

   Python

   如要在本機開發環境中使用本頁的 Python 範例，請安裝並初始化 gcloud CLI，然後使用您的使用者憑證設定應用程式預設憑證。

   1. 安裝 Google Cloud CLI。

   2. 若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

   3. 如果您使用本機殼層，請為使用者帳戶建立本機驗證憑證：

      gcloud auth application-default login

      如果您使用 Cloud Shell，則不需要執行這項操作。

      如果系統傳回驗證錯誤，且您使用外部識別資訊提供者 (IdP)，請確認您已 使用聯合身分登入 gcloud CLI。

   詳情請參閱 Google Cloud 驗證說明文件中的「 為本機開發環境設定 ADC」。

   REST

   如要在本機開發環境中使用本頁的 REST API 範例，請使用您提供給 gcloud CLI 的憑證。

   安裝 Google Cloud CLI。

   若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

   詳情請參閱 Google Cloud 驗證說明文件中的「使用 REST 進行驗證」。

使用自動偵測到的背景遮罩編輯

請按照下列操作說明啟用產品圖片編輯功能，並使用自動背景偵測功能。

控制台

1. 在 Google Cloud 控制台中，依序前往「Vertex AI」>「Vertex AI Studio」 頁面。

   前往 Vertex AI Studio

2. 按一下「生成媒體」。

3. 按一下「圖片」。

4. 在「工作」清單中，選取「Product-background-editing」。

5. 從「模型」清單中選取要使用的 Imagen 模型。

6. 在「輸入圖片」中，按一下「新增」，然後選取要上傳的編輯圖片。

7. 在「提示」方塊中輸入提示，說明如何編輯圖片。

8. 選取下列其中一個遮罩擷取選項：

   • 背景元素：偵測背景元素，並在周圍建立遮罩。
   • 前景元素：偵測前景物件，並在周圍建立遮罩。
   • background_replace People： 偵測人物並建立周圍的遮罩。

9. 按一下「執行」。

Python

安裝

pip install --upgrade google-genai

詳情請參閱 SDK 參考文件。

設定環境變數，透過 Vertex AI 使用 Gen AI SDK：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=us-central1
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import (
    RawReferenceImage,
    MaskReferenceImage,
    MaskReferenceConfig,
    EditImageConfig,
)

client = genai.Client()

# TODO(developer): Update and un-comment below line
# output_file = "output-image.png"

raw_ref = RawReferenceImage(
    reference_image=Image.from_file(location="test_resources/suitcase.png"),
    reference_id=0,
)
mask_ref = MaskReferenceImage(
    reference_id=1,
    reference_image=None,
    config=MaskReferenceConfig(
        mask_mode="MASK_MODE_BACKGROUND",
    ),
)

image = client.models.edit_image(
    model="imagen-3.0-capability-001",
    prompt="A light blue suitcase in front of a window in an airport",
    reference_images=[raw_ref, mask_ref],
    config=EditImageConfig(
        edit_mode="EDIT_MODE_BGSWAP",
    ),
)

image.generated_images[0].image.save(output_file)

print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
# Example response:
# Created output image using 1234567 bytes

REST

詳情請參閱編輯圖片 API 參考資料。

使用任何要求資料之前，請先修改下列項目的值：

• PROJECT_ID：您的 Google Cloud 專案 ID。
• LOCATION：專案的區域。例如 us-central1、europe-west2 或 asia-northeast3。如需可用區域的清單，請參閱「Vertex AI 生成式 AI 服務地區」。使用地區 API 端點時，系統會根據端點網址中的區域，決定要求處理位置，並忽略資源路徑中發生衝突的 LOCATION。
• TEXT_PROMPT：文字提示詞，引導模型生成圖片。生成和編輯時都必須填寫這個欄位。
• referenceType：ReferenceImage 是提供圖片編輯額外背景資訊的圖片。編輯用途需要使用正常的 RGB 原始參考圖像 (REFERENCE_TYPE_RAW)。一個要求最多只能有一個原始參考圖像。輸出圖片的高度和寬度與原始參考圖像相同。如要使用遮罩編輯，必須提供遮罩參考圖像 (REFERENCE_TYPE_MASK)。
• referenceId：參考圖像的整數 ID。在這個範例中，兩個參考圖像物件的類型不同，因此具有不同的 referenceId 值 (1 和 2)。
• B64_BASE_IMAGE：要編輯或放大畫質的基本圖片。圖片必須指定為 base64 編碼的位元組字串。大小限制：10 MB。
• maskImageConfig.maskMode：遮罩編輯的遮罩模式。MASK_MODE_BACKGROUND 可自動遮蓋背景，不需使用者提供遮罩。
• MASK_DILATION - float。這個遮罩要擴張的圖片寬度百分比。建議使用 0.00 值，避免延長前景產品。最小值：0，最大值：1。 預設值：0.03。
• EDIT_STEPS - 整數。基礎模型的取樣步驟數。如要編輯產品圖片，請從75步驟開始。
• EDIT_IMAGE_COUNT - 編輯過的圖片數量。接受的整數值：1 到 4。 預設值：4。

HTTP 方法和網址：

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

JSON 要求內文：

{
  "instances": [
    {
      "prompt": "TEXT_PROMPT",
      "referenceImages": [
        {
          "referenceType": "REFERENCE_TYPE_RAW",
          "referenceId": 1,
          "referenceImage": {
            "bytesBase64Encoded": "B64_BASE_IMAGE"
          }
        },
        {
          "referenceType": "REFERENCE_TYPE_MASK",
          "referenceId": 2,
          "maskImageConfig": {
            "maskMode": "MASK_MODE_BACKGROUND",
            "dilation": MASK_DILATION
          }
        }
      ]
    }
  ],
  "parameters": {
    "editConfig": {
      "baseSteps": EDIT_STEPS
    },
    "editMode": "EDIT_MODE_BGSWAP",
    "sampleCount": EDIT_IMAGE_COUNT
  }
}

如要傳送要求，請選擇以下其中一個選項：

curl

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login 透過使用者帳戶登入 gcloud CLI，或是使用 Cloud Shell 自動登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

將要求主體儲存在名為 request.json 的檔案中，然後執行下列指令：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

PowerShell

注意：下列指令假設您已執行 gcloud init 或 gcloud auth login，透過使用者帳戶登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

將要求主體儲存在名為 request.json 的檔案中，然後執行下列指令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content

以下是產品背景編輯要求的範例回應。回應會傳回四個預測物件，其中包含以 base64 編碼產生的圖片位元組。

{
  "predictions": [
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "mimeType": "image/png",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    },
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    },
    {
      "bytesBase64Encoded": "BASE64_IMG_BYTES",
      "mimeType": "image/png"
    }
  ]
}

使用定義的遮罩區域編輯

您可以選擇遮蓋要替換的區域，而不是讓 Imagen 自動偵測遮罩。

控制台

1. 在 Google Cloud 控制台中，依序前往「Vertex AI」>「Vertex AI Studio」 頁面。

   前往 Vertex AI Studio

2. 按一下「生成媒體」。

3. 按一下「圖片」。

4. 在「工作」清單中，選取「Product-background-editing」。

5. 從「模型」清單中選取要使用的 Imagen 模型。

6. 在「輸入圖片」中，按一下「新增」，然後選取要上傳的編輯圖片。

7. 在「提示」方塊中輸入提示，說明如何編輯圖片。

8. 執行下列任一操作來指定遮罩：

   • 上傳自己的遮罩：
     1. 在電腦上建立遮罩。
     2. 按一下「上傳」 匯入遮罩，然後選取要上傳的遮罩。
   • 定義遮罩：在編輯工具列中，使用遮罩工具 (方塊、筆刷、masked_transitions、反轉工具) 指定要新增內容的區域。

9. 按一下「執行」。

Python

安裝

pip install --upgrade google-genai

詳情請參閱 SDK 參考文件。

設定環境變數，透過 Vertex AI 使用 Gen AI SDK：

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=us-central1
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import (
    RawReferenceImage,
    MaskReferenceImage,
    MaskReferenceConfig,
    EditImageConfig,
)

client = genai.Client()

# TODO(developer): Update and un-comment below line
# output_file = "output-image.png"

raw_ref = RawReferenceImage(
    reference_image=Image.from_file(location="test_resources/suitcase.png"),
    reference_id=0,
)
mask_ref = MaskReferenceImage(
    reference_id=1,
    reference_image=Image.from_file(location="test_resources/suitcase_mask.png"),
    config=MaskReferenceConfig(
        mask_mode="MASK_MODE_USER_PROVIDED",
        mask_dilation=0.0,
    ),
)

image = client.models.edit_image(
    model="imagen-3.0-capability-001",
    prompt="A light blue suitcase in an airport",
    reference_images=[raw_ref, mask_ref],
    config=EditImageConfig(
        edit_mode="EDIT_MODE_BGSWAP",
    ),
)

image.generated_images[0].image.save(output_file)

print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
# Example response:
# Created output image using 1234567 bytes

REST

如要進一步瞭解 Imagen API，請參閱下列內容：

• 方法： endpoints.predict
• VisionGenerativeModelInstance
• VisionGenerativeModelParams

• VisionGenerativeModelResult

  使用任何要求資料之前，請先修改下列項目的值：

  • PROJECT_ID：您的 Google Cloud 專案 ID。
  • LOCATION：專案的區域。例如 us-central1、europe-west2 或 asia-northeast3。如需可用區域的清單，請參閱「Vertex AI 生成式 AI 服務地區」。使用地區 API 端點時，系統會根據端點網址中的區域，決定要求處理位置，並忽略資源路徑中發生衝突的 LOCATION。
  • TEXT_PROMPT：文字提示詞，引導模型生成圖片。生成和編輯時都必須填寫這個欄位。
  • referenceId：參考圖像的整數 ID。在這個範例中，兩個參考圖像物件的類型不同，因此具有不同的 referenceId 值 (1 和 2)。
  • B64_BASE_IMAGE：要編輯或放大畫質的基本圖片。圖片必須指定為 base64 編碼的位元組字串。大小限制：10 MB。
  • B64_MASK_IMAGE：要用做遮罩圖層的黑白圖片，可編輯原始圖片。圖片必須指定為 base64 編碼的位元組字串。大小限制：10 MB。
  • MASK_DILATION - float。這個遮罩要擴張的圖片寬度百分比。建議使用 0.00 值，避免延長前景產品。最小值：0，最大值：1。 預設值：0.03。
  • EDIT_STEPS - 整數。基礎模型的取樣步驟數。如要編輯產品圖片，請從75步驟開始。
  • EDIT_IMAGE_COUNT - 編輯過的圖片數量。接受的整數值：1 到 4。 預設值：4。

  HTTP 方法和網址：

  POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

  JSON 要求內文：

  {
    "instances": [
      {
        "prompt": "TEXT_PROMPT": [
          {
            "referenceType": "REFERENCE_TYPE_RAW",
            "referenceId": 1,
            "referenceImage": {
              "bytesBase64Encoded": "B64_BASE_IMAGE"
            }
          },
          {
            "referenceType": "REFERENCE_TYPE_MASK",
            "referenceId": 2,
            "referenceImage": {
              "bytesBase64Encoded": "B64_MASK_IMAGE"
            },
            "maskImageConfig": {
              "maskMode": "MASK_MODE_USER_PROVIDED",
              "dilation": MASK_DILATION
            }
          }
        ]
      }
    ],
    "parameters": {
      "editConfig": {
        "baseSteps": EDIT_STEPS
      },
      "editMode": "EDIT_MODE_BGSWAP",
      "sampleCount": EDIT_IMAGE_COUNT
    }
  }
  

  如要傳送要求，請選擇以下其中一個選項：

  curl

  注意：下列指令假設您已執行 gcloud init 或 gcloud auth login 透過使用者帳戶登入 gcloud CLI，或是使用 Cloud Shell 自動登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

  將要求主體儲存在名為 request.json 的檔案中，然後執行下列指令：

  curl -X POST \
       -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       -H "Content-Type: application/json; charset=utf-8" \
       -d @request.json \
       "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

  PowerShell

  注意：下列指令假設您已執行 gcloud init 或 gcloud auth login，透過使用者帳戶登入 gcloud CLI。您可以執行 gcloud auth list，查看目前使用的帳戶。

  將要求主體儲存在名為 request.json 的檔案中，然後執行下列指令：

  $cred = gcloud auth print-access-token
  $headers = @{ "Authorization" = "Bearer $cred" }
  
  Invoke-WebRequest `
      -Method POST `
      -Headers $headers `
      -ContentType: "application/json; charset=utf-8" `
      -InFile request.json `
      -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content

  以下是產品背景編輯要求的範例回應。
  {
    "predictions": [
      {
        "bytesBase64Encoded": "BASE64_IMG_BYTES",
        "mimeType": "image/png"
      },
      {
        "mimeType": "image/png",
        "bytesBase64Encoded": "BASE64_IMG_BYTES"
      },
      {
        "bytesBase64Encoded": "BASE64_IMG_BYTES",
        "mimeType": "image/png"
      },
      {
        "bytesBase64Encoded": "BASE64_IMG_BYTES",
        "mimeType": "image/png"
      }
    ]
  }
  

限制

由於遮罩有時不完整，因此模型可能會嘗試完成前景物件，即使邊界只缺少極小的部分。在罕見的副作用中，如果前景物件已完成，模型可能會建立輕微的擴展。

解決方法是將模型輸出內容分段，然後混合。以下是 Python 程式碼片段範例，說明如何解決這個問題：

blended = Image.composite(out_images[0].resize(image_expanded.size), image_expanded, mask_expanded)

後續步驟

閱讀有關 Imagen 和其他 Vertex AI 生成式 AI 產品的文章：

• 開發人員指南：開始在 Vertex AI 使用 Imagen 3
• 專為創作者打造的全新生成式媒體模型和工具
• Gemini 新功能：自訂 Gem 和 Imagen 3 強化圖像生成功能
• Google DeepMind：Imagen 3 - 品質最高的文字轉圖像模型