Mengganti latar belakang gambar

Halaman ini menjelaskan cara mengganti latar belakang gambar. Imagen di Vertex AI memungkinkan Anda menggunakan segmentasi objek otomatis untuk mempertahankan konten tersebut sekaligus mengubah konten gambar lainnya. Dengan Imagen 3, Anda juga dapat menyediakan area mask Anda sendiri untuk kontrol yang lebih baik saat mengedit.

Melihat kartu model Imagen untuk Pengeditan dan Penyesuaian

Contoh pengeditan gambar produk

Untuk melihat contoh Pengeditan Imagen 3, jalankan notebook "Imagen 3 Image Editing" di salah satu lingkungan berikut:

Buka di Colab | Buka di Colab Enterprise | Buka di Vertex AI Workbench | Lihat di GitHub

Kasus penggunaan berikut menyoroti peningkatan kualitas gambar produk dengan memodifikasi latar belakang gambar, tetapi tetap mempertahankan tampilan produk dalam gambar.

Gambar yang dihasilkan dengan fitur pengeditan gambar produk Imagen dari perintah: di atas meja di toko butik. Sumber gambar asli: Irene Kredenets di Unsplash.

Sebelum memulai

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

1. Siapkan autentikasi untuk lingkungan Anda.

   Select the tab for how you plan to use the samples on this page:

   Console

   When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

   Python

   Untuk menggunakan contoh Python di halaman ini dalam lingkungan pengembangan lokal, instal dan lakukan inisialisasi gcloud CLI, lalu siapkan Kredensial Default Aplikasi dengan kredensial pengguna Anda.

   Instal Google Cloud CLI.

   Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

   If you're using a local shell, then create local authentication credentials for your user account:

   gcloud auth application-default login

   You don't need to do this if you're using Cloud Shell.

   If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

   Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal dalam dokumentasi autentikasi Google Cloud .

   REST

   Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

   Instal Google Cloud CLI.

   Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

   Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

   Mengedit dengan mask latar belakang yang terdeteksi secara otomatis

   Gunakan petunjuk berikut untuk mengaktifkan dan menggunakan pengeditan gambar produk dengan deteksi latar belakang otomatis.

   Konsol

   1. Di konsol Google Cloud , buka halaman Vertex AI > Vertex AI Studio .

      Buka Vertex AI Studio

   2. Klik Buat media.

   3. Klik Gambar.

   4. Dari daftar Tugas, pilih Product-background-editing.

   5. Dari daftar Model, pilih model Imagen yang akan digunakan.

   6. Di Gambar input, klik Tambahkan, lalu pilih gambar yang sedang Anda edit untuk diupload.

   7. Di kotak Perintah, masukkan perintah yang menjelaskan cara mengedit gambar.

   8. Pilih salah satu opsi ekstraksi masker berikut:

      • Elemen latar belakang: mendeteksi elemen latar belakang dan membuat mask di sekitarnya.
      • Elemen latar depan: mendeteksi objek latar depan dan membuat mask di sekitarnya.
      • background_replace Orang: mendeteksi orang dan membuat mask di sekelilingnya.

   9. Klik Run.

   Python

   Instal

   pip install --upgrade google-genai

   Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

   Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI:

   # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
   # with appropriate values for your project.
   export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
   export GOOGLE_CLOUD_LOCATION=us-central1
   export GOOGLE_GENAI_USE_VERTEXAI=True

   from google import genai
   from google.genai.types import (
       RawReferenceImage,
       MaskReferenceImage,
       MaskReferenceConfig,
       EditImageConfig,
   )
   
   client = genai.Client()
   
   # TODO(developer): Update and un-comment below line
   # output_file = "output-image.png"
   
   raw_ref = RawReferenceImage(
       reference_image=Image.from_file(location="test_resources/suitcase.png"),
       reference_id=0,
   )
   mask_ref = MaskReferenceImage(
       reference_id=1,
       reference_image=None,
       config=MaskReferenceConfig(
           mask_mode="MASK_MODE_BACKGROUND",
       ),
   )
   
   image = client.models.edit_image(
       model="imagen-3.0-capability-001",
       prompt="A light blue suitcase in front of a window in an airport",
       reference_images=[raw_ref, mask_ref],
       config=EditImageConfig(
           edit_mode="EDIT_MODE_BGSWAP",
       ),
   )
   
   image.generated_images[0].image.save(output_file)
   
   print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
   # Example response:
   # Created output image using 1234567 bytes
   

   REST

   Untuk mengetahui informasi selengkapnya, lihat referensi API Edit gambar.

   Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

   • PROJECT_ID: Project ID Anda. Google Cloud
   • LOCATION: Region project Anda. Misalnya, us-central1, europe-west2, atau asia-northeast3. Untuk mengetahui daftar region yang tersedia, lihat Lokasi AI Generatif di Vertex AI.
   • TEXT_PROMPT: Perintah teks yang memandu gambar yang dihasilkan model. Kolom ini wajib diisi untuk pembuatan dan pengeditan.
   • referenceType: ReferenceImage adalah gambar yang memberikan konteks tambahan untuk pengeditan gambar. Gambar referensi mentah RGB normal (REFERENCE_TYPE_RAW) diperlukan untuk kasus penggunaan pengeditan. Maksimal satu gambar referensi mentah dapat ada dalam satu permintaan. Gambar output memiliki tinggi dan lebar yang sama dengan gambar referensi mentah. Gambar referensi mask (REFERENCE_TYPE_MASK) diperlukan untuk kasus penggunaan pengeditan dengan mask.
   • referenceId: ID bilangan bulat dari gambar referensi. Dalam contoh ini, dua objek gambar referensi memiliki jenis yang berbeda, sehingga memiliki nilai referenceId yang berbeda (1 dan 2).
   • B64_BASE_IMAGE: Gambar dasar yang akan diedit atau di-upscale. Gambar harus ditentukan sebagai string byte berenkode base64. Batas ukuran: 10 MB.
   • maskImageConfig.maskMode: Mode mask untuk pengeditan mask. MASK_MODE_BACKGROUND digunakan untuk secara otomatis menutupi latar belakang tanpa mask yang disediakan pengguna.
   • MASK_DILATION - float. Persentase lebar gambar untuk memperluas masker ini. Nilai 0.00 direkomendasikan untuk menghindari perluasan produk latar depan. Minimum: 0, maksimum: 1. Default: 0,03.
   • EDIT_STEPS - bilangan bulat. Jumlah langkah pengambilan sampel untuk model dasar. Untuk pengeditan gambar produk, mulai dari 75 langkah.
   • EDIT_IMAGE_COUNT - Jumlah gambar yang diedit. Nilai bilangan bulat yang diterima: 1-4. Nilai default: 4.

   Metode HTTP dan URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

   Meminta isi JSON:

   {
     "instances": [
       {
         "prompt": "TEXT_PROMPT",
         "referenceImages": [
           {
             "referenceType": "REFERENCE_TYPE_RAW",
             "referenceId": 1,
             "referenceImage": {
               "bytesBase64Encoded": "B64_BASE_IMAGE"
             }
           },
           {
             "referenceType": "REFERENCE_TYPE_MASK",
             "referenceId": 2,
             "maskImageConfig": {
               "maskMode": "MASK_MODE_BACKGROUND",
               "dilation": MASK_DILATION
             }
           }
         ]
       }
     ],
     "parameters": {
       "editConfig": {
         "baseSteps": EDIT_STEPS
       },
       "editMode": "EDIT_MODE_BGSWAP",
       "sampleCount": EDIT_IMAGE_COUNT
     }
   }
   

   Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

   curl

   Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

   Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

   PowerShell

   Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

   Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content

   Contoh respons berikut ditujukan untuk permintaan pengeditan latar belakang produk. Responsnya menampilkan empat objek prediksi, dengan byte gambar yang dihasilkan berenkode base64.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       },
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       }
     ]
   }
   

   Mengedit dengan area mask yang ditentukan

   Anda dapat memilih untuk menutupi area yang diganti, daripada membiarkan Imagen mendeteksi mask secara otomatis.

   Konsol

   1. Di konsol Google Cloud , buka halaman Vertex AI > Vertex AI Studio .

      Buka Vertex AI Studio

   2. Klik Buat media.

   3. Klik Gambar.

   4. Dari daftar Tugas, pilih Product-background-editing.

   5. Dari daftar Model, pilih model Imagen yang akan digunakan.

   6. Di Gambar input, klik Tambahkan, lalu pilih gambar yang sedang Anda edit untuk diupload.

   7. Di kotak Perintah, masukkan perintah yang menjelaskan cara mengedit gambar.

   8. Lakukan salah satu hal berikut untuk menentukan mask:

      • Mengupload masker Anda sendiri:
        1. Buat masker di komputer Anda.
        2. Klik upload Impor mask, lalu pilih mask yang akan diupload.
      • Tentukan mask Anda: di toolbar pengeditan, gunakan alat mask (kotak, kuas, atau masked_transitions invert) untuk menentukan area yang akan ditambahi konten.

   9. Klik Run.

   Python

   Instal

   pip install --upgrade google-genai

   Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

   Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI:

   # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
   # with appropriate values for your project.
   export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
   export GOOGLE_CLOUD_LOCATION=us-central1
   export GOOGLE_GENAI_USE_VERTEXAI=True

   from google import genai
   from google.genai.types import (
       RawReferenceImage,
       MaskReferenceImage,
       MaskReferenceConfig,
       EditImageConfig,
   )
   
   client = genai.Client()
   
   # TODO(developer): Update and un-comment below line
   # output_file = "output-image.png"
   
   raw_ref = RawReferenceImage(
       reference_image=Image.from_file(location="test_resources/suitcase.png"),
       reference_id=0,
   )
   mask_ref = MaskReferenceImage(
       reference_id=1,
       reference_image=Image.from_file(location="test_resources/suitcase_mask.png"),
       config=MaskReferenceConfig(
           mask_mode="MASK_MODE_USER_PROVIDED",
           mask_dilation=0.0,
       ),
   )
   
   image = client.models.edit_image(
       model="imagen-3.0-capability-001",
       prompt="A light blue suitcase in an airport",
       reference_images=[raw_ref, mask_ref],
       config=EditImageConfig(
           edit_mode="EDIT_MODE_BGSWAP",
       ),
   )
   
   image.generated_images[0].image.save(output_file)
   
   print(f"Created output image using {len(image.generated_images[0].image.image_bytes)} bytes")
   # Example response:
   # Created output image using 1234567 bytes
   

   REST

   Untuk mengetahui informasi selengkapnya, lihat referensi API Edit gambar.

   Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

   • PROJECT_ID: Project ID Anda. Google Cloud
   • LOCATION: Region project Anda. Misalnya, us-central1, europe-west2, atau asia-northeast3. Untuk mengetahui daftar region yang tersedia, lihat Lokasi AI Generatif di Vertex AI.
   • TEXT_PROMPT: Perintah teks yang memandu gambar yang dihasilkan model. Kolom ini wajib diisi untuk pembuatan dan pengeditan.
   • referenceId: ID bilangan bulat dari gambar referensi. Dalam contoh ini, dua objek gambar referensi memiliki jenis yang berbeda, sehingga memiliki nilai referenceId yang berbeda (1 dan 2).
   • B64_BASE_IMAGE: Gambar dasar yang akan diedit atau di-upscale. Gambar harus ditentukan sebagai string byte berenkode base64. Batas ukuran: 10 MB.
   • B64_MASK_IMAGE: Gambar hitam putih yang ingin Anda gunakan sebagai lapisan mask untuk mengedit gambar asli. Gambar harus ditentukan sebagai string byte berenkode base64. Batas ukuran: 10 MB.
   • MASK_DILATION - float. Persentase lebar gambar untuk memperluas masker ini. Nilai 0.00 direkomendasikan untuk menghindari perluasan produk latar depan. Minimum: 0, maksimum: 1. Default: 0,03.
   • EDIT_STEPS - bilangan bulat. Jumlah langkah pengambilan sampel untuk model dasar. Untuk pengeditan gambar produk, mulai dari 75 langkah.
   • EDIT_IMAGE_COUNT - Jumlah gambar yang diedit. Nilai bilangan bulat yang diterima: 1-4. Nilai default: 4.

   Metode HTTP dan URL:

   POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict

   Meminta isi JSON:

   {
     "instances": [
       {
         "prompt": "TEXT_PROMPT": [
           {
             "referenceType": "REFERENCE_TYPE_RAW",
             "referenceId": 1,
             "referenceImage": {
               "bytesBase64Encoded": "B64_BASE_IMAGE"
             }
           },
           {
             "referenceType": "REFERENCE_TYPE_MASK",
             "referenceId": 2,
             "referenceImage": {
               "bytesBase64Encoded": "B64_MASK_IMAGE"
             },
             "maskImageConfig": {
               "maskMode": "MASK_MODE_USER_PROVIDED",
               "dilation": MASK_DILATION
             }
           }
         ]
       }
     ],
     "parameters": {
       "editConfig": {
         "baseSteps": EDIT_STEPS
       },
       "editMode": "EDIT_MODE_BGSWAP",
       "sampleCount": EDIT_IMAGE_COUNT
     }
   }
   

   Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

   curl

   Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

   Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

   curl -X POST \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        -H "Content-Type: application/json; charset=utf-8" \
        -d @request.json \
        "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict"

   PowerShell

   Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

   Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method POST `
       -Headers $headers `
       -ContentType: "application/json; charset=utf-8" `
       -InFile request.json `
       -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/imagen-3.0-capability-001:predict" | Select-Object -Expand Content

   Contoh respons berikut ditujukan untuk permintaan pengeditan latar belakang produk.

   {
     "predictions": [
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "mimeType": "image/png",
         "bytesBase64Encoded": "BASE64_IMG_BYTES"
       },
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       },
       {
         "bytesBase64Encoded": "BASE64_IMG_BYTES",
         "mimeType": "image/png"
       }
     ]
   }
   

   Batasan

   Karena terkadang mask tidak lengkap, model dapat mencoba melengkapi objek latar depan jika ada bagian yang sangat kecil yang hilang di batas. Sebagai efek samping yang jarang terjadi, saat objek latar depan sudah selesai, model dapat membuat sedikit ekstensi.

   Solusinya adalah menyegmentasikan output model, lalu menggabungkan. Berikut adalah contoh cuplikan python yang menunjukkan solusi:

   blended = Image.composite(out_images[0].resize(image_expanded.size), image_expanded, mask_expanded)
   

   Langkah berikutnya

   Baca artikel tentang Imagen dan produk AI Generatif lainnya di Vertex AI:

   • Panduan developer untuk mulai menggunakan Imagen 3 di Vertex AI
   • Model dan alat media generatif baru, dibuat dengan dan untuk kreator
   • Baru di Gemini: Gem kustom dan peningkatan pembuatan gambar dengan Imagen 3
   • Google DeepMind: Imagen 3 - Model text-to-image berkualitas tertinggi kami
   Kirim masukan