Cluster dan workload GKE Inferensi yang telah Dilatih AI

Template inferensi terlatih AI di Application Design Center memungkinkan Anda menyediakan infrastruktur Google Kubernetes Engine (GKE) dan men-deploy workload penyajian model. Anda dapat menggunakan template cluster GKE Inferensi AI yang Telah Dilatih Sebelumnya untuk menyiapkan cluster GKE pribadi yang aman untuk inferensi berperforma tinggi. Kemudian, Anda dapat menggunakan template workload GKE Inferensi Terlatih AI (Pratinjau) untuk men-deploy model Gemma terlatih dengan diagram Helm dan mesin inferensi vLLM. Workload mengonfigurasi permintaan resource GPU dan Horizontal Pod Autoscaler (HPA) yang diskalakan berdasarkan pemakaian CPU.

Misalnya, Anda dapat men-deploy template cluster dan workload untuk memenuhi kebutuhan bisnis berikut:

Contoh	Kebutuhan bisnis	Penerapan
Analisis video real-time	Sebuah perusahaan keamanan perlu memproses streaming video dari ratusan kamera untuk mendeteksi anomali atau objek tertentu secara real-time.	Men-deploy model pemrosesan video di node pool yang mendukung GPU. GPU dapat memproses permintaan throughput tinggi dan latensi rendah dari streaming video serentak.
Pemrosesan dokumen khusus	Sebuah perusahaan asuransi perlu mengekstrak informasi secara otomatis dari ribuan formulir klaim harian, yang berisi beragam tata letak dan tulisan tangan.	Gunakan cluster GKE untuk menghosting model kustom, dan pastikan data tidak pernah keluar dari lingkungan yang aman selama pemrosesan.
Mesin pemberi saran bervolume tinggi	Platform e-commerce perlu menyajikan rekomendasi produk yang dipersonalisasi kepada pengguna selama acara belanja musim liburan yang ramai.	Gunakan Google Kubernetes Engine Gateway API untuk mengarahkan traffic pengguna dalam jumlah besar ke model rekomendasi. Gateway API dapat menangani lonjakan traffic yang tiba-tiba tanpa penurunan latensi.

Arsitektur

Gambar berikut menunjukkan komponen dan koneksi dalam template:

Berikut ini penjelasan konfigurasi komponen dalam template ini:

• Cluster GKE Standard: cluster yang aman dan pribadi tempat workload AI Anda berjalan.

  Tabel berikut menjelaskan konfigurasi cluster dalam template ini:

  Konfigurasi	Tujuan
  node_locations disetel ke ["us-central1-a", "us-central1-b", "us-central1-c"].	Memastikan ketersediaan tinggi dan ketahanan dengan menyebarkan node cluster di tiga zona di region us-central1.
  enable_intranode_visibility disetel ke true.	Mengaktifkan visibilitas untuk traffic pod-ke-pod di node yang sama di Log Aliran VPC. Visibilitas ini diperlukan untuk pemantauan jaringan, pemecahan masalah, dan analisis keamanan.
  gateway_api_config diaktifkan menggunakan {"channel":"CHANNEL_STANDARD"}.	GKE Inference Gateway API membantu Anda mengelola traffic masuk ke layanan Kubernetes. API ini membantu Anda mengonfigurasi perutean terperinci, load balancing lanjutan, dan lampiran kebijakan terpusat.
  private_cluster_config.enable_private_endpoint disetel ke false. private_cluster_config.enable_private_nodes adalah true. control_plane_endpoints_config.dns_endpoint_config.allow_external_traffic disetel ke true.	Memastikan bahwa worker node tempat model AI Anda berjalan memiliki alamat IP pribadi. Tindakan ini akan mengisolasi node Anda dari internet publik. Bidang kontrol GKE dikonfigurasi agar dapat diakses secara publik sehingga Anda dapat mengelola cluster di luar jaringan Virtual Private Cloud (VPC).
  release_channel disetel ke {"channel":"REGULAR"}.	Memastikan cluster GKE Anda menerima update yang stabil dan dapat diprediksi, sehingga memberikan keseimbangan antara fitur baru dan keandalan.

• Node pool GKE: sekelompok worker node yang menjalankan container aplikasi.

  Tabel berikut menjelaskan konfigurasi node pool dalam template ini:

  Konfigurasi	Tujuan
  autoscaling.min_node_count disetel ke 0. autoscaling.max_node_count ditetapkan ke 3 (default-nya adalah 100).	Node pool dapat memperkecil skala sepenuhnya saat tidak ada workload AI yang berjalan, sehingga mengurangi biaya selama periode tidak ada aktivitas. Batas atas untuk penskalaan membantu mengontrol biaya dan konsumsi resource.
  Parameter node_config.guest_accelerator ditambahkan. gpu_driver_installation_config.gpu_driver_version: disetel ke "LATEST". gpu_sharing_config diaktifkan dengan TIME_SHARING. max_shared_clients_per_gpu: disetel ke 2.	Menentukan penggunaan GPU NVIDIA L4 untuk tugas inferensi AI. Driver GPU yang diperlukan akan otomatis diinstal. Beberapa workload yang lebih kecil dapat berbagi satu GPU.
  node_config.machine_type diubah menjadi "g2-standard-8".	Jenis mesin ini dirancang khusus untuk melengkapi GPU L4. vCPU (8) dan memori (32 GB) dibuat untuk mendukung GPU dan menjalankan aplikasi inferensi AI Anda.
  node_config.oauth_scopes mencakup https://www.googleapis.com/auth/cloud-platform.	Akun layanan node memiliki akses luas ke layanan Google Cloud , sehingga memungkinkan interaksi API untuk tugas seperti logging, pemantauan, dan pengambilan image container.
  node_config.shielded_instance_config.enable_secure_boot disetel ke true.	Booting Aman membantu melindungi node Anda dari malware level booting dengan memverifikasi tanda tangan kriptografis bootloader dan kernel sebelum dieksekusi.

Konfigurasi diagram Helm

Tabel berikut mencantumkan konfigurasi helm chart, yang telah disesuaikan untuk men-deploy dan menskalakan layanan inferensi AI di GKE.

Konfigurasi	Tujuan
replicaCount: 1	Membuat satu replika awal.
image.repository: vllm/vllm-openai	Menggunakan image vLLM, library yang dioptimalkan untuk inferensi Model Bahasa Besar (LLM), yang diekspos menggunakan API yang kompatibel dengan OpenAI.
model.id: google/gemma-7b-it	Menentukan model instruction-tuned Gemma 7B sebagai model yang akan disajikan.
model.hfSecret: hf-secret	Menunjukkan bahwa model memerlukan autentikasi menggunakan Secret Kubernetes untuk pengelolaan kredensial keamanan yang aman.
resources.limits dan requests untuk nvidia.com/gpu: "1"	Memastikan setiap pod mendapatkan GPU khusus.
nodeSelector.cloud.google.com/gke-accelerator: nvidia-l4	Memastikan pod model AI Anda dijadwalkan secara eksklusif di node GKE Standard yang dilengkapi dengan GPU NVIDIA L4, yang ideal untuk inferensi berperforma tinggi dan hemat biaya.
hpa.enabled: true	Mengaktifkan Horizontal Pod Autoscaler, yang memungkinkan aplikasi melakukan penskalaan otomatis jumlah pod (antara minReplicas: 1 dan maxReplicas: 10) berdasarkan targetCPUUtilizationPercentage: 80%. Memastikan performa selama beban puncak dan efisiensi biaya selama penggunaan rendah.
tensorParallelSize: 1	Menunjukkan bahwa model tidak dibagi ke beberapa GPU dalam satu pod.
maxModelLen: 512	Mengontrol panjang urutan maksimum yang dapat diproses oleh model Gemma 7B.
service.type: ClusterIP	Layanan dikonfigurasi untuk akses internal dalam cluster.
pdb.enabled: true dan minAvailable: 1	Anggaran Disrupsi Pod diaktifkan untuk memastikan ketersediaan tinggi. Setidaknya satu replika model AI Anda tetap tersedia selama gangguan sukarela seperti pemeliharaan node.

Membuat aplikasi AI Anda

Gunakan template workload dan cluster GKE Inferensi Terlatih AI untuk men-deploy aplikasi AI Anda.

Men-deploy infrastruktur AI Anda

Konfigurasi dan deploy template cluster GKE Inferensi Terlatih AI untuk membuat infrastruktur dasar tempat workload AI Anda berjalan.

1. Duplikasi dan deploy template AI Pre-trained Inference cluster GKE sebagai aplikasi.

   Cluster GKE dibuat di project deployment yang Anda pilih.

2. Konfigurasikan komponen. Untuk informasi selengkapnya, lihat referensi berikut:

   • Mengonfigurasi cluster GKE Standard.

   • Mengonfigurasi node pool GKE.

3. Klik Deploy. Aplikasi akan di-deploy setelah beberapa menit.

4. Di panel Application details, klik tab Outputs.

5. Identifikasi cluster_id untuk aplikasi Anda. Anda akan menggunakan informasi ini saat men-deploy diagram helm.

Men-deploy workload AI Anda

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Gunakan template workload GKE Inferensi Terlatih AI untuk men-deploy workload AI ke cluster yang Anda buat. Anda akan men-deploy diagram helm yang menyertakan konfigurasi workload AI Anda.

1. Dari halaman Google catalog, pada template AI Pre-trained Inference GKE workload, klik Create new application.

2. Di kolom Name, masukkan nama unik untuk aplikasi Anda.

3. Di area GKE Deployment Target, lakukan hal berikut:

   1. Dari Project list, pilih project tempat Anda men-deploy cluster GKE dari aplikasi AI Pre-trained Inference GKE cluster.

   2. Dari daftar Region, pilih region tempat Anda men-deploy cluster GKE.

   3. Dari daftar Clusters, pilih cluster GKE yang di-deploy.

   4. Dari daftar Namespace, masukkan namespace tempat Anda men-deploy cluster GKE. Jika Anda tidak mengubah nama, masukkan default.

   5. Klik Create application.

   Aplikasi akan dibuat dan file konfigurasi akan ditampilkan.

4. Di panel Helm chart, lakukan hal berikut:

   1. Tinjau detail konfigurasi.

   2. Opsional: sesuaikan konfigurasi untuk memenuhi kebutuhan unik Anda.

   3. Untuk men-deploy diagram helm ke cluster Anda, klik Deploy.

      Untuk mengetahui langkah-langkah mendetail, lihat Men-deploy aplikasi.

   Setelah beberapa menit, konfigurasi helm chart akan di-deploy ke cluster GKE Anda.

Langkah berikutnya

• Untuk mempelajari cara menduplikasi dan menyesuaikan template, lihat Panduan memulai: Menyesuaikan dan men-deploy template Google.
• Tentukan konfigurasi Anda sendiri dengan mendesain template aplikasi.
• Identifikasi praktik terbaik arsitektur umum dengan Google Cloud Framework Arsitektur.