Zona AI

Dokumen ini memberikan ringkasan tentang zona AI untuk Cloud Storage. Zona AI adalah zona khusus Google Cloud yang dirancang untuk menawarkan kapasitas komputasi untuk workload kecerdasan buatan (AI) dan machine learning (ML). Zona AI menyediakan kapasitas akselerator ML (GPU dan TPU) yang signifikan.

Zona AI dioptimalkan untuk workload AI dan ML seperti berikut:

  • Pelatihan skala besar
  • Pelatihan skala kecil, penyesuaian, inferensi massal, dan pelatihan ulang
  • Inferensi ML real-time

Untuk informasi latar belakang tentang zona AI, lihat Zona AI dalam dokumentasi Compute Engine.

Dalam suatu region, zona AI mungkin berlokasi secara geografis jauh dari zona standar (non-AI).

Zona AI kompatibel dengan Cloud Storage dan Google Cloud fitur lainnya.

Rekomendasi arsitektur penyimpanan

Sebaiknya gunakan arsitektur penyimpanan bertingkat untuk menyeimbangkan biaya, ketahanan, dan performa:

  • Lapisan penyimpanan yang jarang diakses: gunakan bucket Cloud Storage regional di zona standar untuk penyimpanan yang persisten dan sangat tahan lama ("sumber tepercaya") dari set data pelatihan dan checkpoint model Anda.

  • Lapisan performa: gunakan layanan penyimpanan zona khusus untuk bertindak sebagai cache berkecepatan tinggi atau ruang scratch sementara. Pendekatan ini menghilangkan latensi antar-zona dan memaksimalkan throughput selama tugas aktif.

Solusi penyimpanan berikut direkomendasikan untuk mengoptimalkan performa sistem AI dan ML dengan zona AI:

Layanan atau produk penyimpanan Deskripsi Kasus penggunaan
Rapid Cache produk Cloud Storage

Cache baca zona yang didukung SSD dan terkelola sepenuhnya yang membawa data yang sering dibaca dari bucket ke zona AI.

Buat instance Rapid Cache di zona AI untuk bucket sumber regional yang berisi set data pelatihan atau model yang ingin Anda sajikan. Saat tugas pelatihan Anda membaca file, file tersebut akan ditarik ke cache dalam zona yang cepat. Pembacaan berikutnya akan disajikan langsung dari cache, tanpa melalui jaringan regional. Hal ini ideal untuk pola akses data berulang dalam pelatihan model dan untuk inferensi model berlatensi rendah.

Direkomendasikan untuk:

  • Workload yang banyak membaca
  • Pelatihan dan penyajian model berlatensi rendah
Produk Rapid Bucket Cloud Storage

Kemampuan berperforma tinggi yang memungkinkan Anda menemukan bucket di zona dan menggunakan class penyimpanan Rapid. Dioptimalkan untuk workload yang intensif I/O yang dirancang khusus untuk aplikasi AI/ML yang memerlukan kolokasi dengan data yang perlu diakses.

Untuk mengoptimalkan penyimpanan data Anda untuk workload yang memerlukan latensi rendah dan throughput tinggi, buat bucket zona yang menggunakan Rapid storage, lalu pasang bucket sebagai direktori di mesin virtual Anda menggunakan Cloud Storage FUSE. Kemudian, Anda dapat mengonfigurasi aplikasi untuk menyimpan atau mengakses data di bucket zona melalui direktori pemasangan bucket. Misalnya, untuk menyimpan checkpoint model di bucket zona, konfigurasikan direktori checkpoint ke direktori pemasangan dalam kode pelatihan Anda.

Untuk ketahanan regional, Anda dapat mencadangkan checkpoint ke bucket regional, multi-regional, atau dual-regional. Gunakan Storage Transfer Service untuk memindahkan data dari bucket zona ke bucket di lokasi lain. Gunakan Pengelolaan Siklus Proses Objek untuk menghentikan masa berlaku dan menghapus data setelah jangka waktu yang ditetapkan.

Direkomendasikan untuk:

  • Workload baca dan tulis dengan throughput tinggi
  • Checkpointing berkecepatan tinggi
  • Pelatihan dan penyajian model berlatensi rendah

Praktik terbaik

Ikuti praktik terbaik untuk penyimpanan berikut saat menggunakan zona AI:

  • Sediakan lapisan performa Anda di zona AI yang sama dengan resource komputasi Anda. Kolokasi komputasi dan penyimpanan membantu memastikan GPU dan TPU tetap sepenuhnya jenuh, sehingga memaksimalkan "goodput" (throughput yang berguna).

  • Untuk Rapid Cache, sebelum Anda memulai epoch pelatihan utama, lakukan pembacaan awal set data Anda untuk mengisi, atau memanaskan, cache yang didukung SSD.

Zona AI yang tersedia

Tabel berikut menunjukkan zona AI dan region induknya Google Cloud.

Area geografis Region induk Zona AI
Eropa europe-west4 europe-west4-ai1a
Amerika Serikat us-central1 us-central1-ai1a
Amerika Serikat us-south1 us-south1-ai1b

Pertimbangan

  • Anda dapat mengakses Google Cloud produk di Google Cloud region dari zona AI region tersebut. Namun, mengakses layanan di Google Cloud region dari zona AI dapat menambah latensi jaringan, karena lokasi zona AI mungkin secara fisik terpisah dari lokasi zona standar region's zones.

  • Sebaiknya jalankan workload non-ML di zona standar, bukan zona AI zona, karena zona AI tidak menawarkan semua Google Cloud layanan secara lokal.

Langkah berikutnya