Zona AI

Zona AI adalah zona khusus yang digunakan untuk workload pelatihan dan inferensi Kecerdasan Buatan dan Machine Learning (AI dan ML). Mereka menyediakan kapasitas akselerator ML (GPU dan TPU) yang signifikan.

Dalam suatu region, zona AI berlokasi secara geografis jauh dari zona standar (non-AI). Gambar berikut menunjukkan contoh zona AI (us-central1-ai1a) yang terletak lebih jauh dari zona standar di region us-central1.

Zona orang tua

Setiap zona AI dikaitkan dengan zona standar di region, yang disebut sebagai zona induk. Zona induk adalah zona standar dengan sufiks yang sama dengan zona AI. Misalnya, dalam diagram, us-central1-a adalah zona induk dari us-central1-ai1a. Mereka berbagi jadwal update software dan terkadang infrastruktur. Artinya, masalah software atau infrastruktur apa pun yang memengaruhi zona induk juga dapat memengaruhi zona AI. Saat mendesain solusi ketersediaan tinggi, tinjau Pertimbangan ketersediaan tinggi (HA) untuk memperhitungkan ketergantungan pada zona induk.

Kapan harus menggunakan zona AI

Zona AI dioptimalkan untuk workload AI dan ML. Gunakan panduan berikut untuk menentukan workload mana yang paling cocok untuk zona AI dan workload mana yang lebih baik dilayani oleh zona standar.

Direkomendasikan untuk:

  • Pelatihan skala besar: Ideal untuk beban kerja pelatihan skala besar—seperti pelatihan Model Bahasa Besar (LLM) dan model dasar—karena ketersediaan sejumlah besar akselerator.

  • Pelatihan, penyesuaian, inferensi massal, dan pelatihan ulang skala kecil: Zona AI berperforma baik untuk workload yang memerlukan kapasitas akselerator yang besar.

  • Inferensi ML real-time: Zona AI mendukung workload inferensi real-time. Performa bergantung pada desain aplikasi dan persyaratan latensi model, terutama jika beban kerja memerlukan permintaan pulang pergi ke wilayah induk.

Tidak direkomendasikan untuk:

  • Workload non-ML: Karena zona AI tidak menawarkan semua layanan Google Cloud secara lokal, sebaiknya jalankan workload non-ML Anda di zona standar.

Mengakses layanan dari zona AI

Anda dapat mengakses semua produk Google Cloud di wilayah Google Cloud dari zona AI-nya. Namun, mengakses layanan di region Google Cloud dari zona AI dapat menambah latensi jaringan, karena zona AI secara fisik terpisah dari lokasi zona standar region.

Produk tertentu mendukung pembuatan atau akses resource zonal secara lokal di zona AI. Untuk mengetahui informasi selengkapnya tentang layanan ini, lihat tabel berikut:

Produk Deskripsi
Google Kubernetes Engine (GKE) Penyiapan untuk menggunakan zona AI di cluster GKE, termasuk konfigurasi menggunakan ComputeClass, penyediaan otomatis node, dan node pool GKE Standard.

Menggunakan zona AI di GKE
Cloud Storage Konfigurasi penyimpanan objek untuk workload di zona AI, termasuk penyimpanan per zona untuk memaksimalkan performa selama tugas aktif dan penyimpanan persisten untuk set data dan titik pemeriksaan model.

Menggunakan zona AI dengan Cloud Storage
Compute Engine Metode untuk mengidentifikasi zona AI yang tersedia menggunakan konsol, Google Cloud CLI, dan REST API, termasuk cara memfilter menurut konvensi penamaan, jenis akselerator, atau jenis mesin

Temukan zona AI yang tersedia

Lokasi

Zona AI tersedia di lokasi berikut:

Zona AI Lokasi zona AI Google Cloud wilayah Lokasi wilayahGoogle Cloud Zona induk
us-south1-ai1b Austin, Texas, Amerika Utara us-south1 Dallas, Texas, Amerika Utara us-south1-b
us-central1-ai1a Lincoln, Nebraska, Amerika Utara us-central1 Council Bluffs, Iowa, Amerika Utara us-central1-a

Menggunakan zona AI

Zona AI dapat diakses melalui konsol Google Cloud , Google Cloud CLI, atau REST. Namun, saat menggunakan konsolGoogle Cloud untuk membuat VM, Anda harus memilih zona AI secara manual. Zona ini tidak dipilih untuk Anda, seperti halnya zona standar. Untuk menggunakan zona AI dengan fitur berikut, Anda harus memilih zona AI secara eksplisit saat menyiapkan resource ini.

  • Fitur Compute Engine dan GKE tertentu: Zona AI tidak dipilih secara otomatis dalam fitur regional Compute Engine dan GKE tertentu (misalnya, Grup Instance Terkelola Regional, cluster GKE Regional). Untuk mengetahui detail selengkapnya tentang GKE, lihat dokumentasi GKE.

  • Batasan workload non-akselerator: Saat Anda menjalankan VM khusus CPU di zona AI, perhatikan batasan yang diterapkan Compute Engine. Hal ini dapat mencakup persyaratan untuk rasio GPU:CPU dan reservasi.

  • Vertex AI: Produk regional Vertex AI berbasis GKE harus mengonfigurasi GKE untuk menyertakan zona AI dalam cluster regional. Anda tidak perlu mengaktifkan Vertex AI. Vertex AI mengelola konfigurasi ini.

  • Google Cloud Service Metadata Locations API: Anda harus mengaktifkan tanda --extraLocationTypes saat menggunakan locations.list API untuk memastikan zona AI hanya muncul bagi mereka yang ingin menggunakannya.

Menggunakan zona AI di GKE

Secara default, GKE tidak men-deploy workload Anda di zona AI. Untuk menggunakan zona AI, Anda mengonfigurasi salah satu opsi berikut:

  • ComputeClasses: Tetapkan prioritas tertinggi Anda untuk meminta TPU on-demand di zona AI. ComputeClass membantu Anda menentukan daftar konfigurasi hardware yang diprioritaskan untuk beban kerja Anda. Untuk contoh, lihat Tentang ComputeClass.

  • Penyediaan otomatis node: Gunakan nodeSelector atau nodeAffinity dalam spesifikasi pod untuk menginstruksikan penyediaan otomatis node agar membuat node pool di zona AI. Jika workload Anda tidak secara eksplisit menargetkan zona AI, penyediaan otomatis node hanya mempertimbangkan zona standar saat membuat node pool baru. Konfigurasi ini memastikan bahwa workload yang tidak menjalankan model AI/ML tetap berada di zona standar kecuali jika Anda mengonfigurasi secara eksplisit. Untuk contoh manifes yang menggunakan nodeSelector, lihat Menetapkan zona default untuk node yang dibuat otomatis.

  • GKE Standard: Jika Anda mengelola node pool secara langsung, gunakan zona AI di flag --node-locations saat Anda membuat node pool. Untuk contohnya, lihat Men-deploy workload TPU di GKE Standard.

Batasan

Berikut ini tidak tersedia di zona AI:

Pertimbangan desain dengan zona AI

Pertimbangkan hal berikut saat mendesain aplikasi Anda untuk menggunakan zona AI.

Pertimbangan ketersediaan tinggi (HA)

Zona AI berbagi peluncuran software dan infrastruktur dengan zona induknya. Untuk memastikan ketersediaan tinggi untuk workload Anda, hindari pola deployment berikut saat Anda memilih zona, baik secara otomatis maupun manual:

  • Hindari men-deploy workload HA di seluruh zona AI dan zona induknya.

  • Hindari men-deploy beban kerja HA di dua zona AI yang berbagi zona induk yang sama.

Praktik terbaik penyimpanan

Sebaiknya gunakan arsitektur penyimpanan bertingkat untuk menyeimbangkan biaya, daya tahan, dan performa:

  1. Lapisan penyimpanan dingin: Gunakan bucket Cloud Storage regional di zona standar untuk penyimpanan set data pelatihan dan titik pemeriksaan model yang persisten dan sangat tahan lama.

  2. Lapisan performa: Gunakan layanan penyimpanan zonal khusus untuk bertindak sebagai cache berkecepatan tinggi atau ruang scratch sementara. Pendekatan ini menghilangkan latensi antar-zona dan memaksimalkan goodput selama tugas aktif.

    Untuk membantu memastikan GPU dan TPU tetap sepenuhnya tersaturasi, sehingga memaksimalkan goodput, sediakan lapisan performa Anda di zona AI yang sama dengan resource komputasi Anda.

Solusi penyimpanan berikut direkomendasikan untuk mengoptimalkan performa sistem AI dan ML dengan zona AI:

Layanan penyimpanan Deskripsi Kasus penggunaan
Fitur Anywhere Cache Cloud Storage Cache baca zonal yang didukung SSD dan terkelola sepenuhnya yang membawa data yang sering dibaca dari bucket ke zona AI. Direkomendasikan untuk:
  • Workload baca berat
  • Pelatihan dan inferensi model latensi rendah
Tidak direkomendasikan untuk:
  • Aplikasi yang memerlukan kepatuhan POSIX penuh

Langkah berikutnya