Tutorial: Melakukan evaluasi menggunakan konsol

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Pelajari cara memulai layanan evaluasi AI Generatif menggunakan Google Google Cloud console.

Sebelum memulai

Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

Mengevaluasi model Anda

Untuk mengevaluasi model Anda:

1. Di Google Cloud console, buka halaman Evaluasi AI Generatif.

   Buka Evaluasi

2. Klik Evaluasi baru untuk membuka halaman evaluasi.

3. Pilih sumber untuk memuat set data untuk evaluasi:

   • Untuk mengupload file CSV atau JSONL lokal, pilih Upload file. Set data harus berisi perintah atau rekaman untuk digunakan dalam template perintah dan, secara opsional, respons model. Maksimum 200 baris.

   • Untuk membuat perintah dari template perintah, pilih Buat data. Layanan evaluasi AI Generatif membuat dan mengisi variabel yang Anda tentukan dalam template perintah saat membuat set data. Untuk mengetahui informasi selengkapnya tentang cara membuat template perintah, lihat Menggunakan template perintah.

     1. Masukkan template perintah dengan variabel Anda di kolom Template perintah.

     2. Untuk menambahkan deskripsi untuk setiap variabel atau menentukan jumlah sampel yang akan dibuat, luaskan Tentukan variabel dan ukuran sampel.

     3. Klik Buat set data untuk membuat perintah.

4. Buat dan evaluasi respons berdasarkan perintah Anda:

   1. Di bagian Kandidat evaluasi, klik Tambahkan kandidasi evaluasi, atau jika kandidat sudah ada, klik Edit untuk menentukan perintah dan respons yang akan dievaluasi. Misalnya, Anda dapat menentukan perintah atau respons dari file yang diupload atau dari data yang dibuat.

   2. Untuk membandingkan beberapa kandidat, klik Tambahkan kandidat perbandingan.

   3. Di bagian Metrik, tambahkan setidaknya satu metrik untuk memberi skor pada kualitas respons kandidat Anda. Untuk mengetahui informasi selengkapnya tentang jenis metrik, lihat bagian Metrik evaluasi di halaman ringkasan layanan evaluasi AI Generatif.

   Untuk beberapa rubrik adaptif, Anda dapat mengarahkan rubrik yang dibuat dari setiap perintah dengan meluaskan Lanjutan dan memberikan petunjuk kustom, seperti Evaluate the dataset on cultural sensitivity.

   1. Di bagian Konfigurasi nama dan penyimpanan, tentukan nama untuk evaluasi Anda dan bucket Cloud Storage tempat hasil evaluasi Anda disimpan.

5. Klik Evaluasi.

Melihat hasil evaluasi

Untuk melihat hasil evaluasi:

1. Di Google Cloud console, buka halaman Evaluasi AI Generatif.

   Buka Evaluasi

2. Klik nama evaluasi.

   Untuk setiap perintah dalam set data evaluasi, respons akan ditampilkan bersama dengan hasil evaluasi.

Mengevaluasi model partner

Anda dapat menggunakan layanan evaluasi AI Generatif untuk mengevaluasi model partner berikut:

• Anthropic
• Llama

Model partner didukung melalui Model Garden Gemini Enterprise Agent Platform. Anda harus mengaktifkan model partner di Model Garden sebelum memilihnya untuk evaluasi. Untuk mengevaluasi model partner, pilih model tersebut di menu pemilihan model selama penyiapan evaluasi.

Harga

Harga untuk mengevaluasi model pihak ketiga didasarkan pada biaya yang dikeluarkan untuk inferensi model di Model Garden Gemini Enterprise Agent Platform. Lihat halaman Harga untuk AI Generatif di Platform Agen.

Langkah berikutnya

• Tentukan metrik evaluasi Anda.