Menghubungkan ke Bucket Cloud Storage

Catatan: Halaman ini berlaku untuk Cloud TPU API. Untuk Ironwood (TPU7x), Anda harus menggunakan Google Kubernetes Engine (GKE). Untuk mengetahui informasi selengkapnya, lihat Tentang TPU di GKE.

Halaman ini memperkenalkan Cloud Storage sebagai opsi untuk menyimpan data machine learning dan output pelatihan Anda, serta menjelaskan cara memberikan akses Cloud TPU ke objek data di Cloud Storage.

Sebelum memulai

Anda memerlukan akun layanan Cloud TPU untuk mengakses bucket Cloud Storage.

Catatan: Setelah Anda menyiapkan akun layanan untuk project, akun tersebut akan tetap disiapkan selama project aktif; Anda tidak perlu menyiapkan akun layanan setiap kali menjalankan workload pelatihan dalam project yang sama.

1. Buat akun layanan Cloud TPU untuk project Anda.

   gcloud beta services identity create --service tpu.googleapis.com --project project-id

   Perintah ini menampilkan akun layanan Cloud TPU dengan format berikut:

   [e-mail]
   

   Penting: Perintah ini membuat agen layanan, jenis akun layanan khusus yang dikelola Google yang tidak tercantum di halaman Akun layanan di konsol Google Cloud .

2. Ikuti petunjuk yang ada di panduan memulai Cloud TPU atau Mengelola TPU untuk mengonfigurasi project Google Cloud dan membuat VM Cloud TPU serta resource TPU.

Menulis data ke Cloud Storage

Catatan: Siapkan bucket Cloud Storage di lokasi (region) yang sama dengan yang Anda gunakan untuk menyiapkan Cloud TPU. Lihat Membuat bucket untuk semua opsi yang tersedia untuk mengelola bucket penyimpanan.

Konsol

1. Buka halaman Cloud Storage di Google Cloud konsol.

   Buka halaman Cloud Storage

2. Buat bucket baru, dengan menentukan opsi berikut:

   • Nama unik pilihan Anda.
   • Kelas penyimpanan default: Standard
   • Lokasi: Region tempat Anda membuat Cloud TPU. Untuk mengetahui informasi selengkapnya tentang region dan ketersediaan TPU, lihat Region dan zona TPU.

CLI

1. Gunakan perintah gcloud storage buckets create untuk membuat bucket Cloud Storage:

   gcloud storage buckets create gs://bucket-name --location region

   dengan:

   • region adalah region tempat Anda membuat Cloud TPU. Untuk mengetahui informasi selengkapnya tentang region dan ketersediaan TPU, lihat Region dan zona TPU.

   • bucket-name adalah nama bucket yang ingin Anda buat.

2. Gunakan perintah gcloud storage cp untuk menulis file ke bucket Cloud Storage:

   gcloud storage cp -r local-data-dir gs://bucket-name

   dengan local-data-dir adalah jalur lokal ke data Anda. Contoh:$HOME/your-data

Memberi Cloud TPU Anda akses ke Cloud Storage

Anda harus memberikan akses baca dan tulis Cloud TPU ke objek Cloud Storage Anda. Untuk melakukannya, Anda harus memberikan akses yang diperlukan ke akun layanan Cloud TPU yang digunakan oleh Cloud TPU. Bagian berikut menunjukkan cara menemukan akun layanan Cloud TPU dan memberikan akses yang diperlukan.

Izinkan akun layanan Cloud TPU

Cara yang direkomendasikan untuk mengizinkan akun layanan Cloud TPU adalah dengan menggunakan daftar kontrol akses (ACL) terperinci. Anda juga dapat memberikan izin yang lebih luas menggunakan izin IAM.

Menggunakan ACL terperinci untuk Cloud TPU (Direkomendasikan)

Jika Anda menyimpan data pelatihan di Cloud Storage, akun layanan Cloud TPU memerlukan izin baca dan tulis di bucket.

Konsol

1. Buka halaman browser Cloud Storage untuk melihat bucket yang Anda miliki.

   Buka browser Cloud Storage

2. Pilih bucket yang ACL-nya ingin Anda ubah.

3. Pilih tab Izin.

4. Pilih Beri akses untuk menambahkan izin baru dan ketik nama lengkap akun layanan di kotak edit Principal baru.

5. Jika Anda membaca dari bucket ini, Anda harus memberi otorisasi Akun Layanan TPU untuk membaca dari resource. Lakukan hal ini dengan memberikan peran Storage Legacy > Storage Legacy Bucket Reader kepada Akun Layanan.

6. Jika Anda menulis ke bucket ini, Anda harus mengizinkan Akun Layanan TPU untuk menulis ke resource. Lakukan hal ini dengan memberikan peran Storage Legacy > Storage Legacy Bucket Writer kepada Akun Layanan.

CLI

1. Jika Anda membaca dari bucket ini, berikan izin baca untuk akun layanan Cloud TPU:

    gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer
    

2. Jika Anda menulis ke bucket ini, berikan izin tulis untuk akun layanan Cloud TPU:

    gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator

Menggunakan izin IAM untuk Cloud TPU (Alternatif)

Jika ingin memberikan izin yang lebih luas, bukan memberikan akses ke setiap bucket secara eksplisit, Anda dapat memberikan peran Admin Storage Identity Access Management (IAM) ke akun layanan Cloud TPU.

1. Buka IAM

2. Klik tombol Berikan akses untuk menambahkan akun utama ke project.

3. Masukkan nama akun layanan Cloud TPU di kotak teks Principals.

4. Klik menu dropdown Peran.

5. Aktifkan peran berikut:

   • Project > Viewer

   • Storage > Storage Admin

Cloud Storage FUSE

Dengan Cloud Storage FUSE, Anda dapat memasang dan mengakses bucket Cloud Storage sebagai sistem file lokal. Hal ini memungkinkan aplikasi membaca dan menulis objek di bucket Anda menggunakan semantik sistem file standar.

Lihat dokumentasi Cloud Storage FUSE untuk mengetahui detail tentang cara kerja Cloud Storage FUSE dan deskripsi tentang cara operasi Cloud Storage FUSE dipetakan ke operasi Cloud Storage. Anda dapat menemukan informasi tambahan tentang cara menggunakan Cloud Storage FUSE, seperti cara menginstal CLI gcsfuse dan memasang bucket di GitHub.

Pembersihan

1. Putuskan koneksi dari Cloud TPU, jika Anda belum melakukannya:

   (vm)$ exit

2. Di Cloud Shell, hapus Cloud TPU:

   gcloud compute tpus tpu-vm delete tpu-name --zone=zone

3. Verifikasi bahwa VM telah dihapus dengan menjalankan gcloud compute tpus tpu-vm list. Penghapusan mungkin memerlukan waktu beberapa menit.

   gcloud compute tpus tpu-vm list --zone=zone

   Respons seperti berikut menunjukkan bahwa instance Anda telah berhasil dihapus.

   Listed 0 items
   

4. Jalankan perintah berikut untuk menghapus bucket Cloud Storage dan isinya, dengan mengganti bucket-name dengan nama bucket yang Anda buat:

   gcloud storage rm --recursive gs://bucket-name

Langkah berikutnya

• Untuk mengetahui informasi selengkapnya tentang cara membuat bucket Cloud Storage dan menulis data ke bucket tersebut, lihat dokumentasi pembuatan bucket Cloud Storage.
• Untuk mengetahui informasi selengkapnya tentang akun layanan, lihat ringkasan autentikasi.