Mengevaluasi model menggunakan Platform Agen

Halaman ini menjelaskan cara mengevaluasi model menggunakan Platform Agen Gemini Enterprise. Untuk mengetahui ringkasannya, lihat evaluasi model di Platform Agen.

Prasyarat

1. Ikuti langkah-langkah di Menyiapkan project dan lingkungan pengembangan. Selain itu, aktifkan layanan berikut:

   • Compute Engine API
   • Dataflow API

2. Platform Agen dapat mengevaluasi model yang dilatih melalui AutoML atau pelatihan kustom. Untuk mengetahui panduan Google Cloud konsol, Anda harus memiliki model terlatih yang diimpor ke Model Registry Platform Agen Gemini Enterprise.

3. Upload set data pengujian Anda ke BigQuery atau Cloud Storage. Set data pengujian harus berisi kebenaran dasar, yang merupakan hasil sebenarnya yang diharapkan untuk sebuah inferensi. Dapatkan link ke file atau ID set data.

4. Memiliki output inferensi batch dalam bentuk tabel BigQuery atau Cloud Storage URI.

5. Pastikan akun layanan Compute Engine default Anda memiliki izin IAM berikut:

   • Administrator Platform Agen (aiplatform.admin)
   • Agen Layanan Platform Agen (aiplatform.serviceAgent)
   • Storage Object Admin (storage.objectAdmin)
   • Dataflow Worker (dataflow.worker)
   • BigQuery Data Editor (bigquery.dataEditor) (hanya diperlukan jika Anda memberikan data dalam bentuk tabel BigQuery)

Membuat evaluasi

Konsol

1. Di Google Cloud konsol, buka halaman Model Platform Agen Gemini Enterprise.

   Buka halaman Model

2. Klik nama model yang ingin dievaluasi.

3. Klik nomor versi untuk model tersebut.

4. Di tab Evaluasi, klik Buat Evaluasi.

5. Masukkan Nama evaluasi.

6. Pilih Tujuan, seperti klasifikasi atau regresi.

7. Masukkan Nama kolom target evaluasi, yang merupakan kolom dari data pelatihan yang dilatih untuk diprediksi oleh model.

8. Untuk Pilih sumber, pilih sumber untuk set data pengujian Anda.

   1. Untuk Tabel BigQuery, masukkan jalur BigQuery.

   2. Untuk File di Cloud Storage, masukkan jalur Cloud Storage.

9. Untuk Output prediksi batch, pilih format output.

   1. Masukkan jalur BigQuery atau Cloud Storage URI.

10. Klik Mulai Evaluasi.

Python

Untuk melihat alur kerja evaluasi model Agent Platform API di Gemini Enterprise Agent Platform Pipelines, lihat contoh notebook untuk jenis model berikut:

• Klasifikasi tabular AutoML

• Regresi tabular AutoML

• Klasifikasi tabular kustom

• Regresi tabular kustom

Python SDK

SDK untuk mengevaluasi model dengan Agent Platform masih dalam versi Eksperimental. Untuk mendaftar ke versi Eksperimental, isi formulir aktivasi.

Platform Agen otomatis mengirim notifikasi email ketika tugas evaluasi model telah selesai.

Melihat metrik evaluasi

Catatan: Untuk model BigQuery ML yang terdaftar ke Model Registry, Platform Agen Gemini Enterprise hanya menampilkan metrik evaluasi untuk model regresi dan klasifikasi biner.

Konsol

1. Di Google Cloud konsol, buka halaman Model Platform Agen Gemini Enterprise.

   Buka halaman Model

2. Buka versi model.

3. Lihat metrik di tab Evaluasi.

Python

Untuk melihat alur kerja evaluasi model Agent Platform API di Gemini Enterprise Agent Platform Pipelines, lihat contoh notebook untuk jenis model berikut:

• Klasifikasi tabular AutoML

• Regresi tabular AutoML

• Klasifikasi tabular kustom

• Regresi tabular kustom

Python SDK

SDK untuk mengevaluasi model dengan Agent Platform masih dalam versi Eksperimental. Untuk mendaftar ke versi Eksperimental, isi formulir aktivasi.

Membandingkan metrik evaluasi

Anda dapat membandingkan hasil evaluasi antara berbagai model, versi model, dan tugas evaluasi. Untuk mengetahui informasi selengkapnya tentang pembuatan versi model, lihat Pembuatan versi di Model Registry.

Anda hanya dapat membandingkan model dari jenis yang sama, seperti klasifikasi, regresi, atau perkiraan. Saat membandingkan model yang berbeda, semua versi model harus berjenis sama.

Anda hanya dapat membandingkan 5 evaluasi atau kurang dari jumlah itu sekaligus.

1. Buka Model Registry Platform Agen Gemini Enterprise di Google Cloud konsol:

   Buka halaman Model

2. Buka model atau versi model Anda:

   • Untuk membandingkan berbagai model di halaman Model, centang kotak di samping nama model yang ingin Anda bandingkan.

   • Untuk membandingkan berbagai versi model:

     1. Klik nama model Anda di halaman Model untuk membuka daftar versi model.

     2. Pilih kotak centang di samping versi yang ingin dibandingkan.

   • Untuk membandingkan berbagai tugas evaluasi untuk versi model yang sama:

     1. Klik nama model Anda di halaman Model untuk membuka daftar versi model.

     2. Klik nomor versi.

     3. Pilih kotak centang di samping tugas evaluasi yang ingin dibandingkan.

3. Klik Bandingkan.

Langkah berikutnya

• Pelajari cara melakukan iterasi pada model.