Zona AI

Dokumen ini memberikan ringkasan tentang zona AI untuk Cloud Storage. Zona AI adalah zona Google Cloud khusus yang dirancang untuk menawarkan kapasitas komputasi untuk workload kecerdasan buatan (AI) dan machine learning (ML). Mereka menyediakan kapasitas akselerator ML (GPU dan TPU) yang signifikan.

Zona AI dioptimalkan untuk workload AI dan ML seperti berikut:

  • Pelatihan berskala besar
  • Pelatihan, penyesuaian, inferensi massal, dan pelatihan ulang skala kecil
  • Inferensi ML real-time

Untuk mengetahui informasi latar belakang tentang zona AI, lihat Zona AI dalam dokumentasi Compute Engine.

Dalam suatu region, zona AI mungkin terletak secara geografis jauh dari zona standar (non-AI).

Zona AI kompatibel dengan fitur Cloud Storage dan Google Cloud lainnya.

Rekomendasi arsitektur penyimpanan

Sebaiknya gunakan arsitektur penyimpanan bertingkat untuk menyeimbangkan biaya, ketahanan, dan performa:

  • Lapisan cold storage: gunakan bucket Cloud Storage regional di zona standar untuk penyimpanan persisten dan sangat tahan lama ("source of truth") set data pelatihan dan checkpoint model Anda.

  • Lapisan performa: menggunakan layanan penyimpanan zona khusus untuk bertindak sebagai cache berkecepatan tinggi atau ruang scratch sementara. Pendekatan ini menghilangkan latensi antar-zona dan memaksimalkan throughput selama tugas aktif.

Solusi penyimpanan berikut direkomendasikan untuk mengoptimalkan performa sistem AI dan ML dengan zona AI:

Layanan atau produk penyimpanan Deskripsi Kasus penggunaan
Produk Rapid Cache Cloud Storage

Cache baca zona yang didukung SSD dan terkelola sepenuhnya, yang membawa data yang sering dibaca dari bucket ke zona AI.

Buat instance Rapid Cache di zona AI untuk bucket sumber regional yang berisi set data pelatihan atau model yang ingin Anda sajikan. Saat tugas pelatihan Anda membaca file, file tersebut akan ditarik ke dalam cache dalam zona yang cepat. Pembacaan berikutnya disajikan langsung dari cache, tanpa melalui jaringan regional. Hal ini ideal untuk pola akses data berulang dalam pelatihan model dan untuk penyajian model dengan latensi rendah.

Direkomendasikan untuk:

  • Workload yang banyak melakukan pembacaan
  • Pelatihan dan inferensi model berlatensi rendah
Produk Rapid Bucket Cloud Storage

Kemampuan berperforma tinggi yang memungkinkan Anda menemukan bucket di zona dan menggunakan kelas Rapid storage. Dioptimalkan untuk workload yang intensif I/O, yang dirancang khusus untuk aplikasi AI/ML yang memerlukan kolokasi dengan data yang perlu diakses.

Untuk mengoptimalkan penyimpanan data Anda untuk workload yang memerlukan latensi rendah dan throughput tinggi, buat bucket zona yang menggunakan Rapid storage, lalu pasang bucket sebagai direktori di virtual machine Anda menggunakan Cloud Storage FUSE. Kemudian, Anda dapat mengonfigurasi aplikasi untuk menyimpan atau mengakses data di bucket zona melalui direktori pemasangan bucket. Misalnya, untuk menyimpan checkpoint model di bucket zona, konfigurasikan direktori checkpoint ke direktori pemasangan dalam kode pelatihan Anda.

Untuk ketahanan regional, Anda dapat mencadangkan checkpoint ke bucket regional, multi-regional, atau dual-regional. Gunakan Storage Transfer Service untuk memindahkan data dari bucket zona ke bucket di lokasi lain. Gunakan Object Lifecycle Management untuk mengakhiri dan menghapus data setelah jangka waktu yang ditetapkan.

Direkomendasikan untuk:

  • Workload baca dan tulis dengan throughput tinggi
  • Checkpointing berkecepatan tinggi
  • Pelatihan dan inferensi model berlatensi rendah

Praktik terbaik

Ikuti praktik terbaik untuk penyimpanan berikut saat menggunakan zona AI:

  • Sediakan lapisan performa di zona AI yang sama dengan resource komputasi Anda. Menempatkan komputasi dan penyimpanan di lokasi yang sama membantu memastikan bahwa GPU dan TPU tetap jenuh sepenuhnya, sehingga memaksimalkan "goodput" (throughput yang berguna).

  • Untuk Rapid Cache, sebelum Anda memulai epoch pelatihan utama, lakukan pra-pembacaan set data untuk mengisi, atau menghangatkan, cache yang didukung SSD.

Zona AI yang tersedia

Tabel berikut menunjukkan zona AI dan region induknya Google Cloud.

Area geografis Wilayah induk Zona AI
Eropa europe-west4 europe-west4-ai1a
Amerika Serikat us-central1 us-central1-ai1a
Amerika Serikat us-south1 us-south1-ai1b

Pertimbangan

  • Anda dapat mengakses produk Google Cloud di region Google Cloud dari zona AI region tersebut. Namun, mengakses layanan di region Google Cloud dari zona AI dapat menambah latensi jaringan, karena lokasi zona AI mungkin terpisah secara fisik dari lokasi zona standar region.

  • Sebaiknya jalankan workload non-ML di zona standar, bukan zona AI, karena zona AI tidak menawarkan semua layanan Google Cloud secara lokal.

Langkah berikutnya