Tutorial: Melakukan evaluasi menggunakan konsol

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Pelajari cara mulai menggunakan layanan evaluasi AI generatif menggunakan konsol Google. Google Cloud

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

Mengevaluasi model Anda

Untuk mengevaluasi model Anda:

1. Di konsol Google Cloud , buka halaman Evaluasi Gen AI.

   Buka Evaluasi

2. Klik Evaluasi baru untuk membuka halaman evaluasi.

3. Pilih sumber untuk memuat set data untuk evaluasi:

   • Untuk mengupload file CSV atau JSONL lokal, pilih Upload file. Set data harus berisi perintah atau rekaman untuk digunakan dalam template perintah dan, secara opsional, respons model. Jumlah maksimumnya adalah 200 baris.

   • Untuk membuat perintah dari template perintah, pilih Buat data. Layanan evaluasi AI generatif membuat dan mengisi variabel yang Anda tentukan dalam template perintah saat membuat set data. Untuk mengetahui informasi selengkapnya tentang cara membuat template perintah, lihat Menggunakan template perintah.

     1. Masukkan template perintah dengan variabel Anda di kolom Prompt template.

     2. Untuk menambahkan deskripsi untuk setiap variabel atau menentukan jumlah sampel yang akan dibuat, luaskan Tentukan variabel dan ukuran sampel.

     3. Klik Buat set data untuk membuat perintah.

4. Membuat dan mengevaluasi respons berdasarkan perintah Anda:

   1. Di bagian Kandidat evaluasi, klik Tambahkan kandidat evaluasi, atau jika kandidat sudah ada, klik Edit untuk menentukan perintah dan respons yang akan dievaluasi. Misalnya, Anda dapat menentukan perintah atau respons dari file yang Anda upload atau dari data yang dihasilkan.

   2. Untuk membandingkan beberapa kandidat, klik Tambahkan kandidat perbandingan.

   3. Di bagian Metrik, tambahkan setidaknya satu metrik untuk memberi skor kualitas respons kandidat Anda. Untuk mengetahui informasi selengkapnya tentang jenis metrik, lihat bagian Metrik evaluasi di halaman ringkasan layanan evaluasi AI generatif.

   Untuk beberapa rubrik adaptif, Anda dapat mengarahkan rubrik yang dihasilkan dari setiap perintah dengan meluaskan Lanjutan dan memberikan petunjuk kustom, seperti Evaluate the dataset on cultural sensitivity.

   1. Di bagian Name and storage configuration, tentukan nama untuk evaluasi Anda dan bucket Cloud Storage tempat hasil evaluasi Anda disimpan.

5. Klik Evaluasi.

Melihat hasil evaluasi Anda

Untuk melihat hasil evaluasi:

1. Di konsol Google Cloud , buka halaman Evaluasi GenAI.

   Buka Evaluasi

2. Klik nama evaluasi.

   Untuk setiap perintah dalam set data evaluasi Anda, respons ditampilkan bersama dengan hasil evaluasi.

Mengevaluasi model partner

Anda dapat menggunakan layanan evaluasi AI generatif untuk mengevaluasi model partner berikut:

• Anthropic
• Llama

Model partner didukung melalui Vertex AI Model Garden. Anda harus mengaktifkan model partner di Model Garden sebelum memilihnya untuk evaluasi. Untuk mengevaluasi model partner, pilih model tersebut di menu pemilihan model selama penyiapan evaluasi.

Harga

Harga untuk mengevaluasi model pihak ketiga didasarkan pada biaya yang dikeluarkan untuk inferensi model di Vertex AI Model Garden. Lihat halaman Harga untuk AI Generatif di Vertex AI.

Langkah berikutnya

• Tentukan metrik evaluasi Anda.