Menguji kemampuan model di Model Garden

Model Garden menyediakan beberapa opsi untuk melihat dan menguji kemampuan model dengan cepat. Untuk model yang didukung, Anda dapat mencoba playground demo atau meluncurkan aplikasi demo yang disebut Model Garden Spaces yang dapat Anda bagikan kepada orang lain untuk menampilkan kemampuan model.

Playground didukung oleh endpoint prediksi online Vertex AI yang telah di-deploy sebelumnya dan tidak dikenai biaya. Saat membuka kartu model untuk model yang didukung, Anda dapat menggunakan panel Try out untuk menguji kemampuan model dengan cepat dengan mengirim perintah teks. Anda juga dapat menetapkan beberapa parameter yang paling umum seperti suhu dan jumlah token output. Playground hanya terbatas pada input dan output teks.

Saat meluncurkan Spaces, Anda memiliki aplikasi web yang berfungsi dan siap digunakan dengan upaya manual yang jauh lebih sedikit daripada men-deploy model dan membuat aplikasi untuk menggunakan endpoint model. Model Garden men-deploy model yang Anda pilih di Vertex AI dan men-deploy aplikasi contoh di instance Cloud Run yang menggunakan endpoint model yang di-deploy. Aplikasi ini juga dapat menggunakan endpoint yang ada, atau endpoint MaaS.

Sebelum memulai

Tutorial ini mengharuskan Anda menyiapkan Google Cloud project dan mengaktifkan Vertex AI API.

Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. Jika ingin mencoba Model Garden Spaces, maka pastikan akun layanan default Compute Engine memiliki izin yang diperlukan untuk meluncurkan Spaces.

Peran yang diperlukan

Untuk menguji kemampuan model di Model Garden, pastikan Anda dan akun layanan default Compute Engine memiliki peran IAM yang diperlukan.

Peran yang diperlukan untuk pengguna

Untuk mendapatkan izin yang Anda perlukan untuk menguji kemampuan model di Model Garden, minta administrator Anda untuk memberi Anda peran IAM berikut di Google Cloud project Anda:

• Service Usage Admin (roles/serviceusage.serviceUsageAdmin)
• Artifact Registry Administrator (roles/artifactregistry.admin)
• Cloud Run Admin (roles/run.admin)
• Storage Admin (roles/storage.admin)
• Vertex AI User (roles/aiplatform.user)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Peran yang diperlukan untuk akun layanan default Compute Engine

Akun layanan default Compute Engine digunakan untuk meluncurkan Spaces.

Untuk memastikan akun layanan default Compute Engine memiliki izin yang diperlukan untuk meluncurkan Spaces, minta administrator Anda untuk memberikan peran IAM berikut ke akun layanan default Compute Engine di project Anda: Google Cloud

Penting: Anda harus memberikan peran ini ke akun layanan default Compute Engine, bukan ke akun pengguna Anda. Kegagalan memberikan peran ke principal yang benar dapat menyebabkan error izin.

• Vertex AI Service Agent (roles/aiplatform.serviceAgent)
• Cloud Build Service Account (roles/cloudbuild.builds.builder)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan default Compute Engine melalui peran khusus atau peran bawaan lainnya.

Mencoba Playground

1. Di Google Cloud konsol, buka kartu model model yang didukung, seperti kartu model Gemma 2.

   Buka Gemma 2

2. Di panel Try out:

   1. Untuk Region, terima nilai default atau pilih region Anda.
   2. Untuk Endpoint, pilih Demo playground.
   3. Di kotak Prompt, masukkan Why is the sky blue?.
   4. Luaskan bagian Advanced options dan lihat parameter default.

   

3. Klik Submit. Output akan muncul di bawah tombol Kirim.

Mencoba Spaces

Catatan: Spaces hanya tersedia untuk project yang tidak memiliki organisasi induk. Untuk mempelajari cara membuat project tanpa organisasi, lihat Membuat project.

Untuk meluncurkan model, buka kartu model untuk model yang didukung, dan di panel Try out Spaces, klik Space untuk meluncurkannya. Anda akan dikenai biaya untuk mesin yang digunakan untuk deployment dan untuk instance Cloud Run yang menghosting aplikasi.

Anda dapat meluncurkan Spaces dengan model seperti Gemini, Gemma, Llama, dan Stable Diffusion.

Meluncurkan Spaces

Luncurkan Spaces untuk menguji dan bereksperimen dengan model dari aplikasi Gradio contoh.

1. Di Google Cloud konsol, buka Model Garden untuk melihat kartu model model.

   Buka Model Garden

2. Pilih model yang akan digunakan. Model yang didukung memiliki panel Try out Spaces, seperti kartu model Gemma 3.

   Buka Gemma 3

3. Klik rocket_launch Run untuk meluncurkan Space.

   1. Anda dapat memilih untuk Require authentication (melalui Identity Aware Proxy) atau Allow public access. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan API untuk deployment pertama dan memberikan izin.
   Penting: Saat menggunakan aplikasi, jangan sertakan informasi sensitif atau informasi identitas pribadi dalam perintah Anda.
   1. Klik Create new service untuk memulai deployment. Anda dapat memantau status deployment dari kartu model.

4. Setelah status Spaces berubah menjadi Ready, klik untuk melihat detail tentang deployment.

   Untuk perlindungan dasar, aplikasi web memerlukan kunci rahasia yang harus ditambahkan ke URL saat mengirimkan perintah. Kunci rahasia ini disediakan di kolom Secret key.

   1. Klik Open untuk mulai menggunakan aplikasi. Anda dapat mengirim perintah ke model dan melihat responsnya dari dalam aplikasi.

   Anda dapat membagikan URL sehingga orang lain juga dapat mencoba aplikasi ini.

   1. Untuk menutup akses ke aplikasi, klik Edit di kolom Access control.

   Di tab Security untuk aplikasi Cloud Run, pilih Require authentication , lalu klik Save. Aplikasi tidak lagi tersedia melalui URL. Kunjungan ke URL akan menghasilkan error 403 (dilarang).

Pembersihan

Agar akun Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut. Google Cloud

Menghapus Spaces

Untuk membersihkan Spaces, Anda harus menghapus resource model dan resource aplikasi contoh di Cloud Run.

Menghapus resource model

Dari dalam aplikasi Gradio, Anda dapat menghapus endpoint model untuk membersihkan resource Vertex AI. Kemudian, Anda harus menghapus layanan Cloud Run untuk menghentikan dan menghapus aplikasi Gradio.

Untuk menghapus resource Vertex AI secara manual, lihat Membatalkan deployment model dan menghapus resource.

Menghapus layanan Cloud Run

Hapus resource yang terkait dengan layanan, termasuk semua revisi layanan. Menghapus layanan tidak mencakup item seperti image container dari Artifact Registry. Untuk mengetahui informasi selengkapnya, lihat Mengelola layanan dalam dokumentasi Cloud Run.

1. Di Google Cloud konsol, lihat daftar layanan Cloud Run:

   Buka Cloud Run

2. Temukan layanan yang akan dihapus, lalu pilih.

3. Klik delete Delete. Tindakan ini akan menghapus semua revisi layanan.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Google Cloud konsol, buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya

Lihat ringkasan Model Garden.