Tentang Ray di GKE

Halaman ini memberikan ringkasan tentang Operator Ray dan resource kustom yang relevan untuk men-deploy dan mengelola cluster Ray dan aplikasi di Google Kubernetes Engine (GKE).

Ray adalah framework komputasi terpadu open source untuk menskalakan aplikasi AI/ML dan Python. Ray menyediakan serangkaian library untuk mendistribusikan runtime komputasi untuk AI/ML di beberapa node komputasi.

Untuk mempelajari cara mengaktifkan operator Ray di GKE, lihat Mengaktifkan operator Ray di GKE.

Alasan menggunakan Operator Ray di GKE

Operator Ray adalah cara yang direkomendasikan untuk men-deploy dan mengelola cluster Ray di GKE. Saat menjalankan Operator Ray di GKE, Anda akan mendapatkan manfaat dari dukungan Ray untuk Python dan keandalan, portabilitas, serta skalabilitas tingkat perusahaan GKE.

Operator Ray di GKE didasarkan pada KubeRay, yang menyediakan API Kubernetes deklaratif yang dirancang khusus untuk mengelola cluster Ray. Artinya, Anda dapat menyediakan, menskalakan, dan mengelola Deployment Ray dengan workload dalam container lainnya di GKE.

Cara kerja Operator Ray di GKE

Saat Anda mengaktifkan Operator Ray di cluster GKE, GKE akan otomatis menginstal dan menghosting operator KubeRay.

KubeRay menyediakan resource kustom Kubernetes untuk mengelola Deployment Ray di Kubernetes, termasuk:

Resource kustom RayCluster

Resource kustom RayCluster memungkinkan Anda menentukan cluster Ray yang di-deploy GKE sebagai Pod Kubernetes. Cluster Ray biasanya terdiri dari satu head Pod dan beberapa worker Pod.

Resource kustom RayJob

Resource kustom RayJob memungkinkan Anda menjalankan satu tugas Ray. KubeRay membuat RayCluster untuk menyediakan resource komputasi bagi tugas, lalu membuat Tugas Kubernetes yang mengirimkan tugas Ray ke head Pod RayCluster.

Untuk pengelolaan resource yang efisien, Anda dapat mengonfigurasi KubeRay agar otomatis membersihkan RayCluster setelah tugas Anda berhasil diselesaikan.

Resource kustom RayService

Resource kustom RayService memungkinkan Anda mengonfigurasi aplikasi Ray Serve, seperti aplikasi untuk inferensi dan penyajian model. KubeRay membuat RayCluster untuk menyediakan resource komputasi, lalu men-deploy aplikasi Ray Serve seperti yang ditentukan oleh konfigurasi Ray Serve.

Tanggung jawab bersama Ray di GKE

Jika Anda memilih untuk menjalankan workload Ray di GKE dengan operator Ray, penting untuk memahami bagaimana tanggung jawab dibagi antara Google Cloud dan Anda, pelanggan:

Tanggung jawab Google

  • Mempertahankan keandalan dan waktu aktif operator KubeRay.
  • Mengelola upgrade versi untuk operator KubeRay.
  • Kemampuan khusus untuk KubeRay dalam mengelola resource kustom RayCluster, RayJob, dan RayService.

Tanggung jawab pelanggan

  • Mempertahankan image container yang digunakan untuk Pod head Ray dan worker Ray.
  • Mempertahankan pembuatan versi dan upgrade untuk Pod head Ray dan worker Ray.
  • Mengonfigurasi persyaratan resource (CPU, GPU, TPU, memori, dll.) untuk cluster Ray Anda.
  • Mengikuti praktik terbaik untuk mengamankan cluster Ray.
  • Keandalan dan pemantauan untuk aplikasi Ray Anda.

Lihat Tanggung jawab bersama GKE untuk mempelajari lebih lanjut.

Langkah berikutnya