Fitur Compare memungkinkan Anda melihat pengaruh perintah, model, atau setelan parameter yang berbeda terhadap output model. Anda dapat melihat setiap perintah dan responsnya secara berdampingan untuk membandingkan dan menganalisis dengan cara berikut:
- Dengan perintah baru.
- Dengan perintah tersimpan lainnya.
- Dengan kebenaran nyata.
Sebelum memulai
Untuk mengakses fitur Bandingkan, ikuti langkah-langkah berikut:
Di konsol Google Cloud , buka halaman Create prompt.
Pilih Bandingkan. Halaman Compare akan muncul.
Membuat perintah di fitur Bandingkan
Di halaman Compare, Anda dapat membuat perintah sebelum memilih perintah lain untuk membandingkan hasil.
Untuk membuat perintah, ikuti langkah-langkah berikut:
Di kolom New Prompt, masukkan perintah Anda.
Klik Submit prompts. Respons model akan muncul di bawah teks perintah yang Anda masukkan.
Klik Simpan sebagai baru. Dialog Save prompt akan muncul.
Masukkan nama perintah baru Anda di kolom Nama perintah.
Pilih region Anda di kolom Region, atau biarkan sebagai region default.
Jika Kunci enkripsi yang dikelola pelanggan (CMEK) berlaku, lakukan hal berikut:
- Centang kotak Customer-managed encryption key (CMEK).
- Pilih kunci dari kolom Select a Cloud Key Management Service key.
Klik Save, yang akan menyimpan perintah Anda dalam daftar perintah untuk digunakan di halaman Compare saved prompt.
Klik Submit prompts untuk membandingkan perintah dan responsnya.
Anda dapat memperbarui perintah, dan menyimpan versi yang diperbarui sebagai perintah baru.
Bandingkan dengan perintah baru
Untuk membandingkan perintah tersimpan dengan perintah baru, ikuti langkah-langkah berikut:
- Klik Bandingkan perintah baru. Panel Bandingkan akan muncul.
- Opsional: Klik Switch model untuk menggunakan model yang berbeda dari model default.
- Opsional: Luaskan Outputs.
- Opsional: Jika Anda ingin model menghasilkan output dalam format tertentu seperti JSON, klik tombol Structured output. Setelah Anda memilih Structured output, opsi Grounding akan dinonaktifkan, karena grounding tidak didukung dengan output terstruktur.
- Opsional: Ubah Thinking budget ke salah satu opsi berikut:
- Otomatis: Model hanya berpikir saat diperlukan. Model ini menyesuaikan seberapa banyak ia berpikir atau menganalisis situasi berdasarkan apa yang diperlukan pada saat itu.
- Manual: Anda dapat menyesuaikan token anggaran penalaran.
- Nonaktif: Tidak ada penalaran atau anggaran yang digunakan.
Output:
- Opsional: Luaskan Tools.
- Pilih salah satu opsi berikut:
- Grounding: Google: Grounding dengan Google Penelusuran atau Google Maps.
- Grounding: Your data: Grounding dengan RAG Engine di Gemini Enterprise Agent Platform, Agent Search di Gemini Enterprise Agent Platform, atau Elasticsearch.
- Jika Anda memilih Grounding: Your data, pilih sumber data yang ingin Anda gunakan.
Alat:
- Opsional: Luaskan Advanced:
- Pilih Region.
- Pilih Setelan Filter Keamanan. Dialog akan muncul. Pertahankan setelan default Nonaktif, atau Anda dapat menentukan Blokir sedikit, Blokir beberapa, atau Blokir sebagian besar untuk setiap opsi berikut:
- Ujaran kebencian: Komentar negatif atau berbahaya yang menargetkan atribut identitas atau yang dilindungi.
- Konten berbahaya: Mempromosikan atau memungkinkan akses ke barang, layanan, dan aktivitas berbahaya.
- Konten seksual vulgar: Berisi referensi ke tindakan seksual atau konten cabul lainnya.
- Konten yang melecehkan: Komentar berbahaya, mengintimidasi, menindas, atau melecehkan yang menargetkan individu lain.
- Klik Save untuk menyimpan setelan dan menutup dialog.
- Pilih suhu dari kolom Suhu. Suhu mengontrol keacakan dalam pemilihan token. Temperatur yang lebih rendah akan efektif jika Anda mengharapkan respons yang benar atau tepat. Suhu yang lebih tinggi dapat menyebabkan hasil yang beragam atau tidak terduga.
- Pilih batas token output dari kolom Output token limit. Batas token output menentukan jumlah maksimal output teks dari satu perintah. Token terdiri atas sekitar empat karakter.
- Pilih respons maksimum dari kolom Respons maks. Jumlah maksimum respons model yang dihasilkan per perintah. Karena filter keamanan atau kebijakan lainnya, respons masih dapat diblokir.
- Pilih nilai dari kolom Top-P. Top-p mengubah cara model memilih token untuk output.
- Klik tombol di kolom Stream model responses. Jika dipilih, respons akan dicetak saat dibuat.
- Masukkan urutan perhentian di kolom Tambahkan urutan perhentian. Tekan Enter setelah setiap urutan.
Lanjutan:
- Klik Simpan untuk menyimpan perubahan pada setelan Anda.
- Klik Terapkan.
- Klik Submit prompts untuk membandingkan perintah dan responsnya.
Untuk mengetahui informasi selengkapnya tentang batas token untuk setiap model, lihat Mengontrol anggaran penalaran.
Bandingkan dengan perintah tersimpan lainnya
Untuk membandingkan perintah tersimpan Anda dengan perintah tersimpan lainnya, ikuti langkah-langkah berikut:
- Klik Compare saved prompt. Panel Existing Prompt akan muncul.
Pilih hingga dua perintah yang ada untuk dibandingkan.
- Pilih Nama perintah. Jika Anda memiliki banyak perintah dalam daftar, klik di kolom Filter, lalu pilih properti yang ingin Anda gunakan untuk memfilter. Masukkan nilai, lalu tekan Enter.
- Klik Terapkan. Halaman Compare menampilkan perintah yang telah Anda pilih bersama dengan perintah lain yang telah Anda buat atau pilih untuk perbandingan.
Klik Submit prompts untuk membandingkan perintah dan responsnya.
Membandingkan dengan kebenaran nyata
Kebenaran nyata adalah jawaban yang Anda pilih atas perintah. Semua respons model lainnya dievaluasi terhadap jawaban kebenaran nyata.
Untuk membandingkan perintah tersimpan dengan kebenaran nyata, ikuti langkah-langkah berikut:
- Klik Ground truth. Panel Ground truth akan muncul.
- Masukkan kebenaran nyata Anda untuk membuat metrik evaluasi tambahan.
- Klik Save untuk menyimpan kebenaran nyata.
- Klik Submit prompts untuk membandingkan perintah dan responsnya.
Metrik evaluasi yang dihasilkan saat Anda membandingkan perintah dengan kebenaran nyata tidak dipengaruhi oleh region yang Anda pilih.
Langkah berikutnya
- Untuk mengetahui informasi selengkapnya tentang cara mengevaluasi model, lihat Ringkasan layanan evaluasi AI generatif.