Mendesain prompt multimodal

Gemini API memungkinkan Anda menyertakan input multimodal seperti teks, gambar, dan video sebagai bagian dari perintah Anda ke model Gemini. Halaman ini memberikan praktik terbaik untuk mendesain perintah multimodal dan cara memecahkan masalah jika perintah Anda tidak berfungsi seperti yang diharapkan. Untuk panduan umum tentang desain perintah, lihat strategi desain perintah yang kami rekomendasikan, atau lihat daftar praktik terbaik khusus multimodal berikut.

Dasar-dasar desain perintah

Bagian berikut menjelaskan praktik terbaik dasar untuk mendesain perintah multimodal yang efektif.

Menggunakan petunjuk khusus

Perintah yang jelas dan mendetail memberikan hasil terbaik. Jika Anda memiliki output tertentu, sertakan persyaratan tersebut dalam perintah untuk meningkatkan kemungkinan Anda mendapatkan output yang benar.

Meskipun perintah tampak jelas bagi orang yang menulisnya, perintah tersebut mungkin kurang spesifik. Untuk menyesuaikan perilaku model, pertimbangkan bagaimana perintah Anda dapat ditafsirkan dan pastikan petunjuk yang Anda berikan spesifik dan jelas.

Jika Anda menyertakan gambar papan bandara ini sebagai bagian dari perintah, meminta model untuk sekadar "mendeskripsikan gambar ini" dapat menghasilkan deskripsi umum. Jika Anda memerlukan model untuk mengurai waktu dan kota dari gambar, sertakan permintaan tersebut langsung dalam perintah Anda.

Perintah Respons model
Papan jadwal bandara dengan waktu dan kota.

Jelaskan gambar ini.

Gambar menampilkan papan kedatangan dan keberangkatan bandara.

Perintah yang diperbarui Respons yang lebih baik
Papan jadwal bandara dengan waktu dan kota.

Parse the time and city from the airport board shown in this image into a list.

  • 10.50 Moskow
  • 11.05 Edinburgh
  • 11.05 London
  • 11.10 Bukares
  • 11.30 Kiev
  • 11.35 Dublin
  • 11.45 East Midlands
  • 12.15 Sofia
  • 12.30 London
  • 12.30 Newcastle
  • 12.40 St Petersburg
  • 12.40 London
  • 12.45 Manchester

Tambahkan contoh

Model ini dapat menerima beberapa input untuk digunakan sebagai contoh guna memahami output yang Anda inginkan. Menambahkan contoh ini dapat membantu model mengidentifikasi pola dan menerapkan hubungan antara gambar dan respons yang diberikan ke contoh baru. Hal ini disebut pembelajaran "few-shot".

Dalam contoh berikut, output awal adalah kalimat lengkap yang juga berisi negara (Brasil). Jika output yang diinginkan hanya kota, bukan negara, menambahkan contoh few-shot ke prompt dapat memandu model untuk merespons dalam format tersebut.

Perintah Respons model
Patung Kristus Penebus di Rio de Janeiro, Brasil.

Tentukan kota beserta tempat terkenalnya.

Tempat terkenal ini adalah patung Kristus Penebus di Rio de Janeiro, Brasil.

Perintah yang diperbarui Respons yang lebih baik

Tentukan kota beserta tempat terkenalnya.

Colosseum di Roma, Italia.

kota: Roma, tempat terkenal: Colosseum.

Kota Terlarang di Beijing, China.

kota: Beijing, bangunan terkenal: Kota Terlarang

Patung Kristus Penebus di Rio de Janeiro, Brasil.

kota: Rio de Janeiro, tempat terkenal: Patung Kristus Penebus

Membagi tugas kompleks menjadi tugas yang lebih kecil

Untuk tugas kompleks seperti tugas yang memerlukan pemahaman visual dan penalaran, bagi tugas menjadi langkah-langkah yang lebih kecil dan lebih mudah atau langsung minta model untuk berpikir langkah demi langkah dalam perintah.

Perintah Respons model
Gambar tiga rol tisu toilet.

Kapan tisu toilet saya akan habis?

Segera, Anda hanya memiliki sisa 3 rol.

Perintah yang diperbarui Respons yang lebih baik
Gambar tiga rol tisu toilet.
  1. Pertama, hitung berapa banyak tisu toilet dalam gambar ini.
  2. Kemudian, tentukan berapa banyak tisu toilet yang digunakan orang pada umumnya per hari.
  3. Hitung berapa lama tisu toilet ini akan bertahan.
  1. Ada 3 gulungan tisu toilet dalam gambar ini.
  2. Rata-rata orang menggunakan sekitar 20 lembar tisu toilet per hari.
  3. Jika setiap rol berisi 200 lembar, maka setiap rol akan bertahan selama sekitar 10 hari. Oleh karena itu, 3 rol akan bertahan selama sekitar satu bulan.

Soal matematika atau jenis soal cerita lainnya juga dapat dipecah menjadi tugas-tugas yang lebih kecil.

Perintah Respons
Gambar deret matematika b. b(1) = 15, dan b(n) = b(n-1) * (-3).

Berapa suku ke-4 dalam deret tersebut?

-135

Respons dari model salah. Coba minta model untuk menguraikan masalah sebelum menjawab perintah.

Perintah Respons
Gambar deret matematika b. b(1) = 15, dan b(n) = b(n-1) * (-3).

Uraikan formula dalam gambar terlebih dahulu.

Kemudian, berdasarkan rumus tersebut, jawab "apa suku ke-4 dalam deret tersebut?".

Klik untuk meluaskan hasil $$b(n) = b(n-1) * (-3)$$ $$b(1) = 15$$
  1. Masukkan n = 4 ke dalam rumus:

    $$b(4) = b(4-1) * (-3)$$

    $$b(4) = b(3) * (-3)$$

  2. Kita tidak tahu nilai b(3), jadi substitusikan n = 3 ke dalam rumus:

    $$b(3) = b(3-1) * (-3)$$

    $$b(3) = b(2) * (-3)$$

  3. Kita tidak tahu nilai b(2), jadi substitusikan n = 2 ke dalam rumus:

    $$b(2) = b(2-1) * (-3)$$

    $$b(2) = b(1) * (-3)$$

  4. Kita tahu nilai b(1) adalah 15, jadi masukkan ke dalam rumus:

    $$b(2) = 15 * (-3)$$

    $$b(2) = -45$$

  5. Setelah mengetahui nilai b(2), substitusikan ke dalam formula untuk b(3):

    $$b(3) = b(2) * (-3)$$

    $$b(3) = -45 * (-3)$$

    $$b(3) = 135$$

  6. Setelah kita mengetahui nilai b(3), substitusikan ke dalam rumus untuk b(4):

    $$b(4) = b(3) * (-3)$$

    $$b(4) = 135 * (-3)$$

    $$b(4) = -405$$

Oleh karena itu, suku ke-4 dalam deret ini adalah -405.

Agar responsnya lebih efisien, Anda dapat meminta model untuk memikirkan perintah langkah demi langkah.

Perintah yang diperbarui Respons yang lebih baik
Gambar deret matematika b. b(1) = 15, dan b(n) = b(n-1) * (-3).

Berapa suku ke-4 dalam barisan tersebut? Berpikirlah secara berurutan.

Suku pertama adalah 15.

Suku kedua adalah b(1) * (-3) = 15 * (-3) = -45.

Suku ketiga adalah b(2) * (-3) = -45 * (-3) = 135.

Suku keempat adalah b(3) * (-3) = 135 * (-3) = -405.

Menentukan format output

Jika format tertentu diperlukan, Anda dapat menginstruksikan model untuk menggunakan format tersebut untuk output-nya.

Perintah Respons model
Gambar spreadsheet di Excel.

Uraikan tabel dalam gambar ini ke dalam format Markdown

| Subject   | Status      | Time    | Start date | Due on     |
|-----------|-------------|---------|------------|------------|
| Math      | Done        | 1.5 hrs | 11/29/2023 | 12/1/2023  |
| Geography | Done        | 30 min  | 12/2/2023  | 12/4/2023  |
| Physics   | In progress | 2 hrs   | 12/3/2023  | 12/5/2023  |
| Biology   | Not started | 6 hrs   | 11/2/2016  | 12/6/2023  |
        
Perintah Respons model
Gambar hidangan dengan udang, kerang, dan bahan lainnya.

Berikan daftar semua atribut berikut:

bahan, jenis masakan, vegetarian atau tidak, dalam format JSON


        {
          "ingredients": [
            "rice",
            "shrimp",
            "clams",
            "mussels",
            "peas",
            "tomatoes",
            "onions",
            "garlic",
            "olive oil",
            "paprika",
            "salt",
            "pepper"
          ],
          "type of cuisine": "Spanish",
          "vegetarian": false
        }
        

Memecahkan masalah perintah multimodal

Pemecahan masalah perintah dapat mencakup peningkatan bahasa perintah, mengarahkan fokus perintah, atau menyesuaikan parameter. Pendekatan yang berbeda ini dapat memberikan hasil yang lebih baik, terutama setelah menentukan akar masalahnya.

Fokus pada bagian gambar yang relevan

Untuk meningkatkan kualitas respons, tunjukkan bagian gambar yang paling relevan dengan perintah.

Perintah Respons model
Foto sisi kotak popok; angka 198 tertulis di kotak.

Berapa hari popok ini akan bertahan untuk bayi?

Popok akan bertahan selama 198 hari sebelum habis.

Perintah yang diperbarui Respons yang lebih baik
Foto sisi kotak popok; angka 198 tertulis di kotak.

Berapa lama popok ini akan bertahan sebelum habis?

Gunakan berat yang ditampilkan pada kotak untuk menentukan usia anak, dan gunakan jumlah total popok dalam kotak.

Bagi jumlah total dengan jumlah popok yang digunakan anak per hari.

Kotak berisi 198 popok. Kotak tersebut menyatakan bahwa popok tersebut ditujukan untuk anak dengan berat 10-17 kg.

Anak-anak dengan rentang berat ini kemungkinan berusia antara 1 dan 2 tahun.

Anak berusia 2 tahun biasanya menggunakan 6 popok per hari, sehingga popok akan bertahan sekitar 33 hari (198/6).

Menyesuaikan respons model dengan input

Minta model untuk mendeskripsikan gambar sebelum melakukan tugas dalam perintah.

Perintah Respons model
Gambar seseorang sedang mengemas koper. Gambar lorong kosong di pusat perbelanjaan. Gambar tiga rol tisu toilet. Gambar awan gelap yang pecah di atas laut.

Apa kesamaan di antara gambar-gambar ini?

Keempat gambar tersebut adalah contoh fotografi lanskap.

Perintah yang diperbarui Respons yang lebih baik
Gambar seseorang sedang mengemas koper. Gambar lorong kosong di pusat perbelanjaan. Gambar tiga rol tisu toilet. Gambar awan gelap yang pecah di atas laut.

Pertama, jelaskan isi setiap gambar secara mendetail. Apa kesamaan di antara gambar-gambar ini?

Gambar pertama menunjukkan seseorang sedang mengemas koper. Gambar kedua menampilkan lorong kosong di pusat perbelanjaan. Gambar ketiga menampilkan gulungan tisu toilet. Gambar keempat menunjukkan laut yang gelap dan berbadai.

Kesamaan di antara gambar-gambar ini adalah semuanya merupakan contoh ruang liminal. Ruang liminal adalah tempat atau situasi yang berada di antara dua tempat atau situasi lainnya. Masalah ini sering kali ditandai dengan rasa ketidakpastian atau ambiguitas.

Gambar pertama menunjukkan orang tersebut berada di antara rumah dan perjalanan. Gambar kedua menunjukkan lorong di antara dua toko. Gambar ketiga adalah tisu toilet, yang dapat mewakili kamar mandi. Kamar mandi adalah ruang transisi antara ranah pribadi dan publik. Ini adalah tempat kita mempersiapkan diri untuk memasuki atau meninggalkan dunia luar.

Gambar keempat menunjukkan laut yang berada di antara kondisi tenang dan badai.

Ruang liminal bisa terasa menarik sekaligus meresahkan. Stasiun bisa menjadi tempat awal yang baru atau tempat akhir. Mereka bisa menjadi tempat refleksi atau tempat tindakan.

Anda dapat secara eksplisit meminta model untuk merujuk pada hal yang ada dalam gambar.

Perintah yang diperbarui Respons yang lebih baik
Gambar seseorang sedang mengemas koper. Gambar lorong kosong di pusat perbelanjaan. Gambar tiga rol tisu toilet. Gambar awan gelap yang pecah di atas laut.

Apa kesamaan di antara gambar-gambar ini? Refer to what's in the images in your response.

Semua gambar terkait dengan perjalanan. Gambar pertama menunjukkan seseorang sedang mengemas koper, gambar kedua menunjukkan lorong kosong di pusat perbelanjaan, gambar ketiga menunjukkan tumpukan tisu toilet, dan gambar keempat menunjukkan laut yang gelap dan berbadai.

Semua gambar ini terkait dengan perjalanan karena semuanya adalah hal yang dibutuhkan atau digunakan orang saat bepergian. Gambar pertama menunjukkan seseorang sedang mengemas koper, yang merupakan hal yang dilakukan orang saat akan melakukan perjalanan. Gambar kedua menunjukkan lorong kosong di pusat perbelanjaan, yang merupakan tempat orang sering pergi untuk membeli barang untuk perjalanan mereka. Gambar ketiga menunjukkan tumpukan tisu toilet, yang sering digunakan orang saat bepergian. Gambar keempat menunjukkan laut yang gelap dan berbadai, yang sering ditemui orang saat bepergian.

Tips yang sama berlaku untuk output kreatif. Minta model secara eksplisit untuk menyertakan aspek dari gambar; hal ini dapat meningkatkan kualitas output.

Perintah Respons model
Gambar kelinci cokelat.

Dapatkah Anda menulis puisi tentang gambar ini?

Little bunny, so soft and brown,
        Hopping through the field, up and down.
        Your ears so long, your tail so small,
        You're the cutest creature of them all.
You nibble on the grass, so green and sweet,
        And hop away when you see me.
        But I'll always be your friend,
        Little bunny, until the very end.
Perintah yang diperbarui Respons yang lebih baik
Gambar kelinci cokelat.

Bisakah Anda menulis puisi deskriptif dan dramatis tentang gambar ini dan menyertakan lokasinya?

Little bunny on the green,
        Ears so long, so keen.
        What do you see out there,
        In the distance, where you stare?
Is it the ocean blue,
        Sparkling in the sun's hue?
        Or the waves that crash and roar,
        A rhythm that you adore?
Little bunny, tell me true,
        What captures your attention so?
        Is it the salty breeze,
        Or the seagulls' cries that please?
Perhaps it's the vastness of it all,
        A world so big and small.
        A place where dreams can roam,
        And adventures can be sown.
Little bunny, I wonder what you dream,
        As you sit on the grass, so serene.
        Do you yearn to explore the deep,
        Or stay on land, where you can leap?
Whatever it may be, little bunny,
        Keep that spark of wonder burning brightly.
        For in your dreams and aspirations,
        Lies a world waiting for your creation.

Menentukan penyebab kegagalan perintah

Perintah dapat gagal karena model tidak memahami gambar sama sekali, atau karena model tidak melakukan langkah-langkah penalaran yang benar setelahnya. Untuk menghilangkan ambiguitas di antara alasan tersebut, minta model untuk mendeskripsikan apa yang ada dalam gambar.

Dalam contoh ini, jika model merespons dengan camilan yang tampak mengejutkan saat dipasangkan dengan teh (seperti popcorn), pertama-tama tentukan apakah model mengenali bahwa gambar tersebut berisi teh.

Perintah Perintah untuk pemecahan masalah
Gambar satu set teh.

Apa camilan yang bisa saya buat dalam 1 menit yang cocok dengan ini?

Gambar satu set teh.

Jelaskan apa yang ada dalam gambar ini.

Meminta model untuk menjelaskan penalarannya dapat membantu mempersempit bagian penalaran yang rusak, jika ada.

Perintah Perintah untuk pemecahan masalah
Gambar satu set teh.

Apa camilan yang bisa saya buat dalam 1 menit yang cocok dengan ini?

Gambar satu set teh.

Apa camilan yang bisa saya buat dalam 1 menit yang cocok dengan ini? Harap jelaskan alasannya.

Memecahkan masalah akses dan izin Cloud Storage

Cara Agent Platform mengautentikasi dan membatasi URI Cloud Storage (gs://) bergantung pada endpoint API:

  • generateContent dan Agent Studio: Agent Platform mengakses objek gs:// menggunakan Agen Layanan Agent Platform (service-PROJECT_NUMBER@gcp-sa-aiplatform.iam.gserviceaccount.com) project panggilan, bukan kredensial pengguna pribadi Anda, dan mendukung URI gs:// hingga batas item model per modalitas (gabungan 3.000 gambar dan PDF, 1.000 file audio, 10 video, dan hingga 6.500 file multimodal gabungan jika menyertakan file teks biasa, hingga 2 GiB dikurangi 500 KiB per file).
  • Interactions API: Permintaan interaksi model memeriksa izin storage.objects.get menggunakan kredensial pemanggil sebagai langkah preflight sebelum Agen Layanan Agent Platform dari project pemanggil mengambil objek dari Cloud Storage. Untuk bucket Cloud Storage lintas project atau bucket Cloud Storage dengan kebijakan IAM kustom, pemanggil yang diautentikasi dan agen layanan memerlukan akses baca. Permintaan mendukung hingga 100 URI gs:// yang berbeda di seluruh giliran saat ini dan histori previous_interaction_id yang ditautkan. Untuk penyiapan dan penanganan error Interactions API, lihat Mengakses file Cloud Storage yang diupload.

Jika permintaan gagal dengan error izin saat mengakses file input Cloud Storage (HTTP 403), periksa hal berikut:

  1. Berikan peran Storage Object Viewer di bucket Cloud Storage: Pastikan Agen Layanan Agent Platform dari project panggilan memiliki peran Storage Object Viewer (roles/storage.objectViewer) di bucket Cloud Storage yang berisi file (dan untuk permintaan Interactions API, berikan juga roles/storage.objectViewer ke akun utama panggilan yang diautentikasi):

    gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \
      --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-aiplatform.iam.gserviceaccount.com" \
      --role="roles/storage.objectViewer"
    
  2. Akses bucket Cloud Storage lintas project: Jika bucket Cloud Storage berada di project Google Cloud yang berbeda dari project Agent Platform Anda, berikan roles/storage.objectViewer kepada agen layanan project tempat permintaan Agent Platform dimulai (dan kepada akun utama yang memanggil saat memanggil Interactions API).

  3. Kompatibilitas alat dan grounding: Pastikan Grounding dengan Google Penelusuran dinonaktifkan di panel konfigurasi saat memproses input media Cloud Storage, atau verifikasi kompatibilitas alat dengan versi model yang Anda pilih.

Menyesuaikan parameter sampling

Dalam setiap permintaan, Anda tidak hanya mengirimkan perintah multimodal, tetapi juga serangkaian parameter sampling ke model. Model ini dapat memberikan hasil yang berbeda untuk parameter value yang berbeda. Bereksperimenlah dengan berbagai parameter untuk mendapatkan nilai terbaik untuk tugas tersebut. Parameter yang paling sering disesuaikan adalah sebagai berikut:

Temperatur

Suhu digunakan untuk pengambilan sampel selama pembuatan respons, yang terjadi saat top-P dan top-K diterapkan. Suhu mengontrol tingkat keacakan dalam pemilihan token. Suhu yang lebih rendah cocok untuk perintah yang memerlukan respons yang lebih deterministik dan kurang terbuka atau kreatif, sedangkan suhu yang lebih tinggi dapat memberikan hasil yang lebih beragam atau kreatif. Suhu 0 bersifat deterministik, yang berarti bahwa respons probabilitas tertinggi kemungkinan besar akan dipilih.

Untuk sebagian besar kasus penggunaan, mulailah dengan suhu 0,4. Jika Anda memerlukan hasil yang lebih kreatif, naikkan suhu. Jika Anda mengamati halusinasi yang jelas, kurangi suhu.

Top-P

Top-P mengubah cara model memilih token untuk output. Token dipilih dari yang paling mungkin hingga yang paling tidak mungkin sampai jumlah probabilitasnya sama dengan nilai top-P. Misalnya, jika token A, B, dan C memiliki probabilitas 0,6, 0,3, 0,1 dengan nilai top-P 0,9, model akan memilih A atau B sebagai token berikutnya dengan menggunakan suhu dan mengecualikan C sebagai kandidat.

Tentukan nilai yang lebih rendah untuk respons acak yang lebih sedikit dan nilai yang lebih tinggi untuk respons acak yang lebih banyak. Nilai default top-P adalah 1,0.

Langkah berikutnya