Ray adalah framework open source untuk menskalakan aplikasi AI dan Python. Ray menyediakan infrastruktur untuk melakukan komputasi terdistribusi dan pemrosesan paralel untuk alur kerja machine learning (ML) Anda.
Jika sudah menggunakan Ray, Anda dapat menggunakan kode Ray open source yang sama untuk menulis program dan mengembangkan aplikasi di Platform Agen Gemini Enterprise dengan sedikit perubahan. Selanjutnya, Anda dapat menggunakan integrasi Platform Agen Gemini Enterprise dengan layanan Google Cloud lainnya seperti Inferensi Vertex AI dan BigQuery sebagai bagian dari alur kerja machine learning Anda.
Jika sudah menggunakan Gemini Enterprise Agent Platform dan membutuhkan cara yang lebih sederhana untuk mengelola resource komputasi, Anda dapat menggunakan kode Ray untuk menskalakan pelatihan.
Alur kerja untuk menggunakan Ray di Agent Platform
Gunakan Colab Enterprise dan Agent Platform SDK untuk Python guna terhubung ke Cluster Ray.
| Langkah | Deskripsi |
|---|---|
| 1. Melakukan penyiapan untuk Ray on Agent Platform | Siapkan project Google Anda, instal versi Agent Platform SDK untuk Python yang menyertakan fungsi Ray Client, dan siapkan jaringan peering VPC, yang bersifat opsional. |
| 2. Membuat cluster Ray di Gemini Enterprise Agent Platform | Buat cluster Ray di Gemini Enterprise Agent Platform. Diperlukan peran Administrator Gemini Enterprise Agent Platform. |
| 3. Mengembangkan aplikasi Ray di Gemini Enterprise Agent Platform | Terhubung ke cluster Ray di Gemini Enterprise Agent Platform dan kembangkan aplikasi. Peran pengguna Gemini Enterprise Agent Platform diperlukan. |
| 4. (Opsional) Menggunakan Ray di Agent Platform dengan BigQuery | Membaca, menulis, dan mengubah data dengan BigQuery. |
| 5. (Opsional) Men-deploy model di Gemini Enterprise Agent Platform dan mendapatkan inferensi | Men-deploy model ke endpoint online Gemini Enterprise Agent Platform dan mendapatkan inferensi. |
| 6. Memantau cluster Ray di Gemini Enterprise Agent Platform | Pantau log yang dibuat di Cloud Logging dan metrik di Cloud Monitoring. |
| 7. Menghapus cluster Ray di Gemini Enterprise Agent Platform | Menghapus cluster Ray di Gemini Enterprise Agent Platform untuk menghindari penagihan yang tidak perlu. |
Ringkasan
Cluster Ray dibuat untuk memastikan ketersediaan kapasitas untuk workload ML penting atau selama musim puncak. Tidak seperti tugas kustom, yang mengharuskan layanan pelatihan merilis resource setelah tugas selesai, cluster Ray akan tetap tersedia hingga dihapus.
Catatan: Gunakan cluster Ray yang berjalan lama dalam skenario berikut:
- Jika mengirimkan tugas Ray yang sama beberapa kali, Anda dapat memanfaatkan cache data dan gambar dengan menjalankan tugas di cluster Ray yang sama dan berjalan lama.
- Jika Anda menjalankan banyak tugas Ray berjangka pendek yang waktu pemrosesannya lebih singkat daripada waktu startup tugas, sebaiknya gunakan cluster yang berjalan lama.
Cluster Ray di Gemini Enterprise Agent Platform dapat disiapkan dengan konektivitas publik atau pribadi. Diagram berikut menunjukkan arsitektur dan alur kerja untuk Ray di Agent Platform. Lihat Konektivitas publik atau pribadi untuk mengetahui informasi selengkapnya.
Arsitektur dengan konektivitas publik
Buat cluster Ray di Gemini Enterprise Agent Platform menggunakan opsi berikut:
a. Gunakan konsol Google Cloud untuk membuat cluster Ray di Gemini Enterprise Agent Platform.
b. Buat cluster Ray di Gemini Enterprise Agent Platform menggunakan Agent Platform SDK untuk Python.
Hubungkan ke cluster Ray di Gemini Enterprise Agent Platform untuk pengembangan interaktif menggunakan opsi berikut:
a. Gunakan Colab Enterprise di konsol Google Cloud untuk koneksi yang lancar.
b. Gunakan lingkungan Python apa pun yang dapat diakses oleh internet publik.
Kembangkan aplikasi Anda dan latih model Anda di cluster Ray di Gemini Enterprise Agent Platform:
Gunakan Agent Platform SDK untuk Python di lingkungan pilihan Anda (Colab Enterprise atau notebook Python apa pun).
Tulis skrip Python menggunakan lingkungan pilihan Anda.
Kirimkan Ray Job ke cluster Ray di Gemini Enterprise Agent Platform menggunakan Agent Platform SDK untuk Python, Ray Job CLI, atau Ray Job Submission API.
Men-deploy model terlatih ke endpoint Gemini Enterprise Agent Platform online untuk inferensi langsung.
Gunakan BigQuery untuk mengelola data Anda.
Arsitektur dengan VPC
Diagram berikut menunjukkan arsitektur dan alur kerja untuk Ray di Agent Platform setelah Anda menyiapkan project dan Jaringan VPC, yang bersifat opsional: Google Cloud
Siapkan (a) project Google dan (b) jaringan VPC Anda.
Buat cluster Ray di Gemini Enterprise Agent Platform menggunakan opsi berikut:
a. Gunakan konsol Google Cloud untuk membuat cluster Ray di Gemini Enterprise Agent Platform.
b. Buat cluster Ray di Gemini Enterprise Agent Platform menggunakan Agent Platform SDK untuk Python.
Hubungkan ke cluster Ray di Gemini Enterprise Agent Platform melalui jaringan yang di-peering VPC menggunakan opsi berikut:
Gunakan Colab Enterprise di konsol Google Cloud .
Gunakan notebook Gemini Enterprise Agent Platform Workbench.
Kembangkan aplikasi Anda dan latih model Anda di cluster Ray di Gemini Enterprise Agent Platform menggunakan opsi berikut:
Gunakan Agent Platform SDK untuk Python di lingkungan pilihan Anda (notebook Colab Enterprise atau Agent Platform Workbench).
Tulis skrip Python menggunakan lingkungan pilihan Anda. Kirimkan Ray Job ke cluster Ray di Gemini Enterprise Agent Platform menggunakan Agent Platform SDK untuk Python, Ray Job CLI, atau dasbor Ray.
Men-deploy model terlatih ke endpoint Gemini Enterprise Agent Platform online untuk inferensi.
Gunakan BigQuery untuk mengelola data Anda.
Terminologi
Untuk mengetahui daftar lengkap istilah, lihat Glosarium Agent Platform untuk AI prediktif.
-
autoscaling
- Penskalaan otomatis adalah kemampuan resource komputasi, seperti kumpulan pekerja cluster Ray, untuk menyesuaikan jumlah node secara otomatis berdasarkan permintaan workload, sehingga mengoptimalkan penggunaan resource dan biaya. Untuk mengetahui informasi selengkapnya, lihat Menskalakan cluster Ray di Vertex AI: Penskalaan otomatis.
-
inferensi batch
- Inferensi batch mengambil sekumpulan permintaan inferensi dan mengeluarkan hasilnya dalam satu file. Untuk mengetahui informasi selengkapnya, lihat Ringkasan cara mendapatkan inferensi di Vertex AI.
-
BigQuery
- BigQuery adalah data warehouse perusahaan yang terkelola sepenuhnya, serverless, dan sangat skalabel yang disediakan oleh Google Cloud, yang dirancang untuk menganalisis set data besar menggunakan kueri SQL dengan kecepatan yang sangat tinggi. BigQuery memungkinkan business intelligence dan analisis yang canggih tanpa mengharuskan pengguna mengelola infrastruktur apa pun. Untuk mengetahui informasi selengkapnya, lihat Dari data warehouse hingga platform AI dan data otonom.
-
Cloud Logging
- Cloud Logging adalah layanan logging real-time yang terkelola sepenuhnya dan disediakan oleh Google Cloud. Layanan ini memungkinkan Anda mengumpulkan, menyimpan, menganalisis, dan memantau log dari semua resource Google Cloud, aplikasi lokal, dan bahkan sumber kustom. Cloud Logging memusatkan pengelolaan log, sehingga memudahkan pemecahan masalah, audit, serta pemahaman tentang perilaku dan kesehatan aplikasi serta infrastruktur Anda. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Cloud Logging.
-
Colab Enterprise
- Colab Enterprise adalah lingkungan notebook Jupyter kolaboratif yang terkelola, yang menghadirkan pengalaman pengguna Google Colab yang populer ke Google Cloud, serta menawarkan kemampuan keamanan dan kepatuhan tingkat perusahaan. Colab Enterprise memberikan pengalaman tanpa konfigurasi dan berfokus pada notebook, dengan resource komputasi yang dikelola oleh Vertex AI, dan terintegrasi dengan layanan Google Cloud lainnya seperti BigQuery. Untuk mengetahui informasi selengkapnya, lihat Pengantar Colab Enterprise.
-
image container kustom
- Image container kustom adalah paket yang dapat dieksekusi dan mandiri yang mencakup kode aplikasi pengguna, runtime, library, dependensi, dan konfigurasi lingkungannya. Dalam konteks Google Cloud, khususnya Vertex AI, image ini memungkinkan pengguna mengemas kode pelatihan machine learning atau aplikasi penayangan dengan dependensi yang tepat, sehingga memastikan reproduksibilitas dan memungkinkan pengguna menjalankan beban kerja di layanan terkelola menggunakan versi software tertentu atau konfigurasi unik yang tidak disediakan oleh lingkungan standar. Untuk mengetahui informasi selengkapnya, lihat Persyaratan container kustom untuk inferensi.
-
endpoint
- Resource tempat Anda dapat men-deploy model terlatih untuk menayangkan inferensi. Untuk mengetahui informasi selengkapnya, lihat Memilih jenis endpoint.
-
Izin Identity and Access Management (IAM)
- Izin Identity and Access Management (IAM) adalah kemampuan terperinci tertentu yang menentukan siapa yang dapat melakukan tindakan apa pada resource Google Cloud tertentu. Peran ini ditetapkan ke pokok keamanan (seperti pengguna, grup, atau akun layanan) melalui peran, sehingga memungkinkan kontrol yang tepat atas akses ke layanan dan data dalam project atau organisasi Google Cloud. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses dengan IAM.
-
inferensi
- Dalam konteks platform Vertex AI, inferensi mengacu pada proses menjalankan titik data melalui model machine learning untuk menghitung output, seperti satu skor numerik. Proses ini juga dikenal sebagai "mengoperasikan model machine learning" atau "memasukkan model machine learning ke dalam produksi". Inferensi adalah langkah penting dalam alur kerja machine learning, karena memungkinkan model digunakan untuk membuat inferensi pada data baru. Di Vertex AI, inferensi dapat dilakukan dengan berbagai cara, termasuk inferensi batch dan inferensi online. Inferensi batch melibatkan menjalankan sekelompok permintaan inferensi dan menghasilkan hasilnya dalam satu file, sedangkan inferensi online memungkinkan inferensi real-time pada setiap titik data.
-
Network File System (NFS)
- Sistem klien/server yang memungkinkan pengguna mengakses file di seluruh jaringan dan memperlakukannya seolah-olah berada di direktori file lokal. Untuk mengetahui informasi selengkapnya, lihat Memasang berbagi Network File System.
-
Inferensi online
- Mendapatkan inferensi pada setiap instance secara sinkron. Untuk mengetahui informasi selengkapnya, lihat Inferensi online.
-
resource persisten
- Jenis resource komputasi Vertex AI, seperti cluster Ray, yang tetap dialokasikan dan tersedia hingga dihapus secara eksplisit, yang bermanfaat untuk pengembangan iteratif dan mengurangi overhead startup antar-tugas. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan informasi resource persisten.
-
pipeline
- Pipeline ML adalah alur kerja ML portabel dan skalabel yang didasarkan pada container. Untuk mengetahui informasi selengkapnya, lihat Pengantar Vertex AI Pipelines.
-
Container bawaan
- Image container yang disediakan oleh Vertex AI yang telah diinstal sebelumnya dengan framework dan dependensi ML umum, sehingga menyederhanakan penyiapan untuk tugas pelatihan dan inferensi. Untuk mengetahui informasi selengkapnya, lihat Container bawaan untuk pelatihan serverless .
-
Private Service Connect (PSC)
- Private Service Connect adalah teknologi yang memungkinkan pelanggan Compute Engine memetakan IP pribadi di jaringan mereka ke jaringan VPC lain atau ke Google API. Untuk mengetahui informasi selengkapnya, lihat Private Service Connect.
-
Cluster Ray di Vertex AI
- Cluster Ray di Vertex AI adalah cluster node komputasi terkelola yang dapat digunakan untuk menjalankan aplikasi machine learning (ML) dan Python terdistribusi. Ray menyediakan infrastruktur untuk melakukan komputasi terdistribusi dan pemrosesan paralel untuk alur kerja ML Anda. Cluster Ray dibangun ke dalam Vertex AI untuk memastikan ketersediaan kapasitas untuk workload ML penting atau selama musim puncak. Tidak seperti tugas kustom, yang mengharuskan layanan pelatihan untuk merilis resource setelah tugas selesai, cluster Ray akan tetap tersedia hingga dihapus. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Ray di Vertex AI.
-
Ray di Vertex AI (RoV)
- Ray on Vertex AI dirancang agar Anda dapat menggunakan kode Ray open source yang sama untuk menulis program dan mengembangkan aplikasi di Vertex AI dengan sedikit perubahan. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Ray di Vertex AI.
-
Ray on Vertex AI SDK for Python
- Ray on Vertex AI SDK untuk Python adalah versi Vertex AI SDK untuk Python yang menyertakan fungsi Ray Client, konektor Ray BigQuery, pengelolaan cluster Ray di Vertex AI, dan inferensi di Vertex AI. Untuk mengetahui informasi selengkapnya, lihat Pengantar Vertex AI SDK untuk Python.
-
Ray on Vertex AI SDK for Python
- Ray on Vertex AI SDK untuk Python adalah versi Vertex AI SDK untuk Python yang menyertakan fungsi Ray Client, konektor Ray BigQuery, pengelolaan cluster Ray di Vertex AI, dan inferensi di Vertex AI. Untuk mengetahui informasi selengkapnya, lihat Pengantar Vertex AI SDK untuk Python.
-
akun layanan
- Akun layanan adalah akun Google Cloud khusus yang digunakan oleh aplikasi atau virtual machine untuk melakukan panggilan API yang diotorisasi ke layanan Google Cloud. Tidak seperti akun pengguna, akun layanan tidak terikat dengan manusia, tetapi bertindak sebagai identitas untuk kode Anda, sehingga memungkinkan akses yang aman dan terprogram ke resource tanpa memerlukan kredensial manusia. Untuk mengetahui informasi selengkapnya, lihat Ringkasan akun layanan.
-
Vertex AI Workbench
- Vertex AI Workbench adalah lingkungan pengembangan terpadu berbasis notebook Jupyter yang mendukung seluruh alur kerja data science, mulai dari eksplorasi dan analisis data hingga pengembangan, pelatihan, dan deployment model. Vertex AI Workbench menyediakan infrastruktur terkelola dan skalabel dengan integrasi bawaan ke layanan Google Cloud lainnya seperti BigQuery dan Cloud Storage, sehingga memungkinkan ilmuwan data melakukan tugas machine learning secara efisien tanpa mengelola infrastruktur yang mendasarinya. Untuk mengetahui informasi selengkapnya, lihat Pengantar Vertex AI Workbench.
-
worker node
- Worker node mengacu pada mesin atau instance komputasi individual dalam cluster yang bertanggung jawab untuk menjalankan tugas atau melakukan pekerjaan. Dalam sistem seperti cluster Kubernetes atau Ray, node adalah unit komputasi mendasar. Untuk mengetahui informasi selengkapnya, lihat Apa itu komputasi berperforma tinggi (HPC)?.
-
kumpulan pekerja
- Komponen cluster Ray yang menjalankan tugas terdistribusi. Kumpulan worker dapat dikonfigurasi dengan jenis mesin tertentu dan mendukung penskalaan otomatis dan penskalaan manual. Untuk mengetahui informasi selengkapnya, lihat Struktur cluster pelatihan.
Harga
Harga untuk Ray on Agent Platform dihitung sebagai berikut:
Resource komputasi yang Anda gunakan akan ditagih berdasarkan konfigurasi mesin yang Anda pilih saat membuat cluster Ray di Gemini Enterprise Agent Platform. Untuk mengetahui harga Ray di Agent Platform, lihat halaman harga.
Untuk cluster Ray, Anda hanya akan ditagih selama status RUNNING dan UPDATING. Tidak ada negara bagian lain yang dikenai biaya. Jumlah yang ditagih didasarkan pada ukuran cluster sebenarnya saat ini.
Saat Anda melakukan tugas menggunakan cluster Ray di Gemini Enterprise Agent Platform, log akan otomatis dibuat dan ditagih berdasarkan harga Cloud Logging.
Jika Anda men-deploy model ke endpoint untuk inferensi online, lihat bagian "Prediksi dan penjelasan" di halaman harga Gemini Enterprise Agent Platform.
Jika Anda menggunakan BigQuery dengan Ray di Agent Platform, lihat harga BigQuery.