Zona AI

Zona AI adalah zona khusus yang digunakan untuk workload pelatihan dan inferensi Kecerdasan Buatan dan Machine Learning (AI dan ML). Zona ini menyediakan kapasitas akselerator ML (GPU dan TPU) yang signifikan.

Dalam suatu region, zona AI secara geografis terletak jauh dari zona standar (non-AI). Gambar berikut menunjukkan contoh zona AI (us-south1-ai1b) yang terletak lebih jauh dibandingkan dengan zona standar di region us-south1.

Zona induk

Setiap zona AI dikaitkan dengan zona standar di region, yang disebut sebagai zona induk. Zona induk adalah zona standar dengan akhiran yang sama dengan zona AI. Misalnya, dalam diagram, us-central1-a adalah zona induk dari us-central1-ai1a. Mereka berbagi jadwal update software dan terkadang infrastruktur. Artinya, masalah software atau infrastruktur apa pun yang memengaruhi zona induk juga dapat memengaruhi zona AI. Saat mendesain solusi ketersediaan tinggi, tinjau Pertimbangan ketersediaan tinggi (HA) untuk memperhitungkan dependensi pada zona induk.

Kapan harus menggunakan zona AI

Zona AI dioptimalkan untuk workload AI dan ML. Gunakan panduan berikut untuk menentukan workload mana yang paling cocok untuk zona AI dan mana yang lebih cocok untuk zona standar.

Direkomendasikan untuk:

  • Pelatihan berskala besar: Ideal untuk workload pelatihan berskala besar—seperti pelatihan Model Bahasa Besar (LLM) dan model dasar—karena ketersediaan sejumlah besar akselerator.

  • Pelatihan skala kecil, penyesuaian, inferensi massal, dan pelatihan ulang: Zona AI berperforma baik untuk workload yang memerlukan kapasitas akselerator yang besar.

  • Inferensi ML real-time: Zona AI mendukung workload inferensi real-time. Performa bergantung pada desain aplikasi dan persyaratan latensi model, terutama jika workload memerlukan permintaan bolak-balik ke region induk.

Tidak direkomendasikan untuk:

  • Workload non-ML: Karena zona AI tidak menawarkan semua layanan Google Cloud secara lokal, sebaiknya jalankan workload non-ML Anda di zona standar.

Mengakses layanan dari zona AI

Anda dapat mengakses semua produk Google Cloud di region Google Cloud dari zona AI-nya. Namun, mengakses layanan di region Google Cloud dari zona AI dapat menambah latensi jaringan, karena zona AI secara fisik terpisah dari lokasi zona standar region.

Untuk melihat zona AI di konsol Google Cloud , Google Cloud CLI, dan REST API, Anda harus mengaktifkan visibilitas zona AI untuk project Anda. Visibilitas zona AI terpisah dari kontrol akses dan batasan Layanan Kebijakan Organisasi. Untuk mengetahui informasi selengkapnya, lihat Mengelola visibilitas zona AI.

Produk tertentu mendukung pembuatan atau pengaksesan resource zona secara lokal di zona AI. Untuk mengetahui informasi selengkapnya tentang layanan ini, lihat tabel berikut:

Produk Deskripsi
Google Kubernetes Engine (GKE) Penyiapan untuk menggunakan zona AI di cluster GKE, termasuk konfigurasi menggunakan ComputeClasses, node auto-provisioning, dan node pool GKE Standard.

Menggunakan zona AI di GKE
Cloud Storage Konfigurasi penyimpanan objek untuk workload di zona AI, termasuk penyimpanan zona untuk memaksimalkan performa selama tugas aktif dan penyimpanan persisten untuk set data dan checkpoint model.

Menggunakan zona AI dengan Cloud Storage
Compute Engine Metode untuk mengidentifikasi zona AI yang tersedia menggunakan konsol, Google Cloud CLI, dan REST API, termasuk cara memfilter berdasarkan konvensi penamaan, jenis akselerator, atau mesin

Menemukan zona AI yang tersedia
Google Cloud Managed Lustre Optimalkan performa untuk workload AI dan ML yang di-deploy di GKE Standard

Optimalkan workload AI dan ML dengan Google Cloud Managed Lustre

Lokasi

Zona AI tersedia di lokasi berikut:

Zona AI Lokasi zona AI Google Cloud region Lokasi regionGoogle Cloud Zona induk
europe-west4-ai1a De Kooy, Belanda, Eropa europe-west4 Eemshaven, Belanda, Eropa europe-west4-a
us-south1-ai1b Austin, Texas, Amerika Utara us-south1 Dallas, Texas, Amerika Utara us-south1-b
us-central1-ai1a Lincoln, Nebraska, Amerika Utara us-central1 Council Bluffs, Iowa, Amerika Utara us-central1-a

Untuk meninjau jenis GPU dan TPU yang tersedia di zona AI, lihat referensi berikut:

Men-deploy resource ke zona AI

Zona AI dapat diakses melalui konsol Google Cloud , Google Cloud CLI, atau REST. Namun, saat menggunakan konsol Google Cloud untuk membuat VM, Anda harus memilih zona AI secara manual. Zona ini tidak dipilih untuk Anda, seperti halnya zona standar. Untuk menggunakan zona AI dengan fitur berikut, Anda harus secara eksplisit memilih zona AI saat menyiapkan resource ini.

  • Fitur Compute Engine tertentu: Zona AI tidak dipilih secara otomatis dalam fitur regional Compute Engine tertentu, seperti operasi penyisipan massal regional atau grup instance terkelola (MIG) regional.

    • Penyisipan Massal: Untuk menyertakan zona AI dalam operasi penyisipan massal regional, Anda harus menggunakan kolom locationPolicy.zones[]. Kolom locations[] tidak mendukung zona AI. Contoh berikut menunjukkan format ini untuk zona us-south1-ai1b:

      {
  "locationPolicy": {
    "zones": [
      "zones/us-south1-ai1b"
    ]
  }
}

    • MIG regional: Untuk membuat instance di zona AI di region yang dipilih, Anda harus menentukannya secara eksplisit dalam kebijakan distribusi (distributionPolicy.zones[]) bersama dengan zona pilihan lainnya. Contoh berikut menunjukkan format ini untuk zona us-south1-ai1b:

      {
  "distributionPolicy": {
    "zones": [
      "zones/us-south1-a",
      "zones/us-south1-b",
      "zones/us-south1-ai1b"
    ]
  }
}

  • Fitur GKE tertentu: Zona AI tidak dipilih secara otomatis di fitur regional GKE tertentu, seperti cluster GKE regional. Untuk mengetahui detail selengkapnya tentang GKE, lihat Menggunakan zona AI di GKE dalam dokumen ini.

  • Vertex AI: Produk regional Vertex AI berbasis GKE harus mengonfigurasi GKE untuk menyertakan zona AI dalam cluster regional. Anda tidak perlu mengaktifkan Vertex AI. Vertex AI mengelola konfigurasi ini.

  • Google Cloud Service Metadata Locations API: Anda harus mengaktifkan flag --extraLocationTypes saat menggunakan locations.list API untuk memastikan zona AI hanya muncul bagi pengguna yang ingin menggunakannya.

  • Batasan workload non-akselerator: Compute Engine membatasi pembuatan VM khusus CPU di zona AI.

Menggunakan zona AI di GKE

Secara default, GKE tidak men-deploy workload Anda di zona AI. Untuk menggunakan zona AI, konfigurasikan salah satu opsi berikut:

  • ComputeClasses: Tetapkan prioritas tertinggi Anda untuk meminta TPU on-demand di zona AI. ComputeClass membantu Anda menentukan daftar konfigurasi hardware yang diprioritaskan untuk workload Anda. Untuk mengetahui contohnya, lihat Tentang ComputeClasses.

  • Node auto-provisioning: Gunakan nodeSelector atau nodeAffinity dalam spesifikasi pod Anda untuk menginstruksikan node auto-provisioning agar membuat node pool di zona AI. Jika workload Anda tidak secara eksplisit menargetkan zona AI, penyediaan otomatis node hanya akan mempertimbangkan zona standar saat membuat node pool baru. Konfigurasi ini memastikan bahwa workload yang tidak menjalankan model AI/ML tetap berada di zona standar, kecuali jika Anda mengonfigurasinya secara eksplisit. Untuk contoh manifes yang menggunakan nodeSelector, lihat Menetapkan zona default untuk node yang dibuat secara otomatis.

  • GKE Standard: Jika Anda mengelola node pool secara langsung, gunakan zona AI di flag --node-locations saat membuat node pool. Sebagai contoh, lihat Men-deploy workload TPU di GKE Standard.

Batasan

Berikut ini tidak tersedia di zona AI:

Pertimbangan desain dengan zona AI

Pertimbangkan hal berikut saat mendesain aplikasi Anda untuk menggunakan zona AI.

Pertimbangan ketersediaan tinggi (HA)

Zona AI berbagi peluncuran software dan infrastruktur dengan zona induknya. Untuk memastikan ketersediaan tinggi bagi workload Anda, hindari pola deployment ini saat Anda memilih zona, baik secara otomatis maupun manual:

  • Hindari men-deploy workload HA di seluruh zona AI dan zona induknya.

  • Hindari men-deploy workload HA di dua zona AI yang memiliki zona induk yang sama.

Praktik terbaik penyimpanan

Sebaiknya gunakan arsitektur penyimpanan bertingkat untuk menyeimbangkan biaya, ketahanan, dan performa:

  1. Lapisan cold storage: Gunakan bucket Cloud Storage regional di zona standar untuk penyimpanan persisten dan sangat tahan lama dari set data pelatihan dan checkpoint model Anda.

  2. Lapisan performa: Gunakan layanan penyimpanan zona khusus untuk bertindak sebagai cache berkecepatan tinggi atau ruang scratch sementara. Pendekatan ini menghilangkan latensi antar-zona dan memaksimalkan goodput selama tugas aktif.

    Untuk membantu memastikan GPU dan TPU tetap terisi penuh, sehingga memaksimalkan goodput, sediakan lapisan performa di zona AI yang sama dengan resource komputasi Anda.

Solusi penyimpanan berikut direkomendasikan untuk mengoptimalkan performa sistem AI dan ML dengan zona AI:

Layanan penyimpanan Deskripsi Kasus penggunaan
Fitur Anywhere Cache Cloud Storage Cache baca zona yang didukung SSD dan terkelola sepenuhnya, yang membawa data yang sering dibaca dari bucket ke zona AI. Direkomendasikan untuk:
  • Workload yang banyak melakukan pembacaan
  • Pelatihan dan inferensi model berlatensi rendah
Tidak direkomendasikan untuk:
  • Aplikasi yang memerlukan kepatuhan POSIX penuh

Menyertakan atau mengecualikan zona AI

Untuk menyertakan atau mengecualikan zona AI secara manual dari daftar zona, gunakan filter:

Langkah berikutnya