Kontrol Cloud Storage untuk kasus penggunaan AI generatif

Dokumen ini mencakup praktik terbaik dan panduan untuk Cloud Storage saat menjalankan workload AI generatif yang menggunakan Google Cloud. Gunakan Cloud Storage dengan Vertex AI untuk menyimpan data pelatihan, artefak model, dan data produksi.

Pertimbangkan kasus penggunaan berikut untuk Cloud Storage dengan Vertex AI:

  • Penyimpanan data pelatihan: Vertex AI memungkinkan Anda menyimpan set data pelatihan di bucket Cloud Storage. Menggunakan Cloud Storage menawarkan beberapa keuntungan:
    • Cloud Storage dapat menangani set data dengan ukuran apa pun, sehingga Anda dapat melatih model pada data dalam jumlah besar tanpa batasan penyimpanan.
    • Anda dapat menetapkan kontrol akses dan enkripsi terperinci di bucket Cloud Storage untuk memastikan data pelatihan sensitif Anda terlindungi.
    • Cloud Storage memungkinkan Anda melacak perubahan dan kembali ke versi data sebelumnya, sehingga memberikan jejak audit yang berharga dan memfasilitasi eksperimen pelatihan yang dapat direproduksi.
    • Vertex AI terintegrasi dengan lancar dengan Cloud Storage, sehingga Anda dapat mengakses data pelatihan di dalam platform.
  • Menyimpan artefak model: Anda dapat menyimpan artefak model terlatih seperti termasuk file model, konfigurasi hyperparameter, dan log pelatihan, di bucket Cloud Storage. Dengan menggunakan Cloud Storage, Anda dapat melakukan hal berikut:
    • Simpan semua artefak model Anda di Cloud Storage sebagai repositori terpusat untuk mengakses dan mengelolanya dengan mudah.
    • Lacak dan kelola berbagai versi model Anda, sehingga memudahkan perbandingan dan rollback jika diperlukan.
    • Beri rekan tim dan kolaborator akses ke bucket Cloud Storage tertentu untuk membagikan model secara efisien.
  • Menyimpan data produksi: Untuk model yang digunakan dalam produksi, Cloud Storage dapat menyimpan data yang dimasukkan ke model untuk prediksi. Misalnya, Anda dapat menggunakan Cloud Storage untuk melakukan hal berikut:
    • Simpan data dan interaksi pengguna untuk rekomendasi yang dipersonalisasi secara real-time.
    • Simpan gambar untuk pemrosesan dan klasifikasi sesuai permintaan menggunakan model Anda.
    • Pertahankan data transaksi untuk identifikasi penipuan real-time menggunakan model Anda.
  • Integrasi dengan layanan lain: Cloud Storage terintegrasi secara lancar dengan layanan Google Cloud lain yang digunakan dalam alur kerja Vertex AI, seperti berikut:
    • Dataflow untuk menyederhanakan pipeline prapemrosesan dan transformasi data.
    • BigQuery untuk akses ke set data besar yang disimpan di BigQuery untuk pelatihan dan inferensi model.
    • Fungsi Cloud Run untuk tindakan berdasarkan prediksi model atau perubahan data di bucket Cloud Storage.
  • Mengelola biaya: Cloud Storage menawarkan model harga bayar sesuai penggunaan, yang berarti Anda hanya membayar penyimpanan yang Anda gunakan. Hal ini memberikan efisiensi biaya, terutama untuk set data besar.
  • Aktifkan ketersediaan dan keandalan tinggi: Cloud Storage memastikan data Anda sangat tersedia dan terlindungi dari kegagalan atau gangguan, sehingga menjamin keandalan dan akses yang kuat ke aset ML Anda.
  • Aktifkan dukungan multi-region: Simpan data Anda di beberapa region Cloud Storage yang secara geografis lebih dekat dengan pengguna atau aplikasi Anda, sehingga meningkatkan performa dan mengurangi latensi untuk akses data dan prediksi model.

Kontrol Cloud Storage yang diperlukan

Kontrol berikut sangat direkomendasikan saat menggunakan Cloud Storage.

Memblokir akses publik ke bucket Cloud Storage

ID kontrol Google GCS-CO-4.1
Kategori Wajib
Deskripsi

Batasan boolean storage.publicAccessPrevention mencegah akses ke resource yang sudah ada dan yang akan datang melalui internet. Fitur ini menonaktifkan dan memblokir daftar kontrol akses (ACL) dan izin Identity and Access Management (IAM) yang memberikan akses ke allUsers dan allAuthenticatedUsers.
Produk yang berlaku
  • Organization Policy Service
  • Cloud Storage
Jalur constraints/storage.publicAccessPrevention
Operator ==
Nilai
  • True
Jenis Boolean
Kontrol NIST-800-53 terkait
  • AC-3
  • AC-17
  • AC-20
Kontrol profil CRI terkait
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
Informasi terkait

Menggunakan akses level bucket yang seragam

ID kontrol Google GCS-CO-4.2
Kategori Wajib
Deskripsi

Batasan boolean storage.uniformBucketLevelAccess mewajibkan bucket menggunakan akses level bucket seragam. Akses level bucket yang seragam memungkinkan Anda hanya menggunakan izin Identity and Access Management (IAM) level bucket untuk memberikan akses ke resource Cloud Storage.
Produk yang berlaku
  • Organization Policy Service
  • Cloud Storage
Jalur constraints/storage.uniformBucketLevelAccess
Operator ==
Nilai
  • True
Jenis Boolean
Kontrol NIST-800-53 terkait
  • AC-3
  • AC-17
  • AC-20
Kontrol profil CRI terkait
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
Informasi terkait

Melindungi kunci HMAC untuk akun layanan

ID kontrol Google GCS-CO-6.9
Kategori Wajib
Deskripsi

Kunci HMAC adalah jenis kredensial yang memiliki masa aktif lama dan dikaitkan dengan akun layanan atau akun pengguna di Cloud Storage. Gunakan kunci HMAC untuk membuat tanda tangan yang disertakan dalam permintaan ke Cloud Storage. Tanda tangan membuktikan bahwa pengguna atau akun layanan telah mengizinkan permintaan.

Tidak seperti kredensial berumur pendek (seperti. Token OAuth 2.0), kunci HMAC tidak otomatis habis masa berlakunya dan tetap valid hingga dicabut secara manual. Kunci HMAC adalah kredensial berisiko tinggi: jika dibobol, kunci ini akan memberikan akses persisten ke resource Anda. Anda harus memastikan mekanisme yang sesuai diterapkan untuk membantu melindunginya.
Produk yang berlaku
  • Cloud Storage
Jalur storage.projects.hmacKeys/id
Operator Exists
Nilai
  • []
Jenis String
Kontrol NIST-800-53 terkait
  • SC-12
  • SC-13
Kontrol profil CRI terkait
  • PR.DS-1.1
  • PR.DS-1.2
  • PR.DS-2.1
  • PR.DS-2.2
  • PR.DS-5.1
Informasi terkait

Mendeteksi enumerasi bucket Cloud Storage oleh akun layanan

ID kontrol Google GCS-CO-7.2
Kategori Wajib
Deskripsi

Akun layanan adalah identitas non-manusia yang dirancang untuk aplikasi, dan perilakunya dapat diprediksi dan otomatis. Biasanya, akun layanan tidak perlu mencantumkan bucket, karena sudah dipetakan. Oleh karena itu, jika Anda mendeteksi akun layanan yang mencoba mengambil daftar semua bucket Cloud Storage, segera selidiki. Pencacahan pengintaian sering digunakan sebagai teknik pengintaian oleh pihak tidak bertanggung jawab yang telah mendapatkan akses ke akun layanan.
Produk yang berlaku
  • Cloud Storage
  • Cloud Audit Logs
Operator ==
Nilai
  • storage.bucket.list
Jenis String
Kontrol NIST-800-53 terkait
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Kontrol profil CRI terkait
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informasi terkait

Mendeteksi modifikasi kebijakan Identity and Access Management (IAM) bucket Cloud Storage oleh akun layanan

ID kontrol Google GCS-CO-7.3
Kategori Wajib
Deskripsi

Konfigurasi pemberitahuan yang mendeteksi saat kebijakan IAM bucket Cloud Storage diubah untuk memberikan akses publik. Pemberitahuan ini akan diaktifkan saat akun utama allUsers atau allAuthenticatedUsers ditambahkan ke kebijakan IAM bucket. Peringatan ini adalah peristiwa penting dengan tingkat keparahan tinggi karena dapat mengekspos semua data dalam bucket. Segera selidiki pemberitahuan ini untuk mengonfirmasi apakah perubahan tersebut diizinkan atau merupakan tanda adanya kesalahan konfigurasi atau pihak tidak bertanggung jawab.

Dalam pemberitahuan, tetapkan atribut JSON data.protoPayload.serviceData.policyData.bindingDeltas.member ke allUsers atau allAuthenticatedUsers dan tindakan ke ADD.
Produk yang berlaku
  • Cloud Storage
  • Cloud Audit Logs
Kontrol NIST-800-53 terkait
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Kontrol profil CRI terkait
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informasi terkait

Bergantung pada kasus penggunaan Anda terkait AI generatif, sebaiknya gunakan kontrol tambahan. Kontrol ini mencakup kontrol retensi data dan kontrol berbasis kebijakan lainnya yang didasarkan pada kebijakan perusahaan Anda.

Pastikan kebijakan retensi bucket Cloud Storage menggunakan Kunci Bucket

ID kontrol Google GCS-CO-6.1
Kategori Disarankan
Deskripsi

Bergantung pada persyaratan peraturan Anda, pastikan setiap kebijakan retensi bucket Cloud Storage dikunci. Tetapkan periode retensi ke jangka waktu yang memenuhi persyaratan Anda.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/retentionPolicy.isLocked
Operator !=
Nilai
  • True
Jenis Boolean
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Menetapkan aturan siklus proses untuk tindakan SetStorageClass

ID kontrol Google GCS-CO-6.11
Kategori Disarankan
Deskripsi

Terapkan aturan siklus proses ke setiap bucket Cloud Storage yang memiliki jenis tindakan SetStorageClass.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/lifecycle.rule.action.type
Operator ==
Nilai
  • SetStorageClass
Jenis String
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Menetapkan region yang diizinkan untuk kelas penyimpanan

ID kontrol Google GCS-CO-6.12
Kategori Disarankan
Deskripsi
Pastikan bahwa kelas penyimpanan untuk konfigurasi siklus proses tidak berada dalam klasifikasi regional yang diizinkan.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/lifecycle.rule.action.storageClass
Operator nin
Nilai
  • MULTI_REGIONAL
  • REGIONAL
Jenis String
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Mengaktifkan pengelolaan siklus proses untuk bucket Cloud Storage

ID kontrol Google GCS-CO-6.13
Kategori Disarankan
Deskripsi

Pastikan pengelolaan siklus proses Cloud Storage diaktifkan dan dikonfigurasi. Kontrol siklus proses berisi konfigurasi untuk siklus proses penyimpanan. Pastikan kebijakan dalam setelan ini sesuai dengan persyaratan Anda.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/lifecycle
Operator Exists
Nilai
  • []
Jenis Objek
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Mengaktifkan aturan pengelolaan siklus proses untuk bucket Cloud Storage

ID kontrol Google GCS-CO-6.14
Kategori Disarankan
Deskripsi

Pastikan aturan pengelolaan siklus proses untuk Cloud Storage diaktifkan dan dikonfigurasi. Kontrol aturan berisi konfigurasi untuk siklus proses penyimpanan. Pastikan kebijakan dalam setelan ini sesuai dengan persyaratan Anda.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/lifecycle.rule
Operator Empty
Nilai
  • []
Jenis Array
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Meninjau dan mengevaluasi penangguhan sementara pada objek aktif

ID kontrol Google GCS-CO-6.16
Kategori Disarankan
Deskripsi

Identifikasi semua objek yang temporaryHold-nya disetel ke TRUE, lalu mulai proses penyelidikan dan validasi. Evaluasi ini sesuai untuk kasus penggunaan berikut:

  • Pembekuan litigasi: Untuk mematuhi persyaratan hukum terkait penyimpanan data, penangguhan sementara dapat digunakan untuk mencegah penghapusan data sensitif yang mungkin relevan dengan penyelidikan atau litigasi yang sedang berlangsung.
  • Pencegahan kehilangan data: Untuk mencegah penghapusan data penting secara tidak sengaja, penangguhan sementara dapat digunakan sebagai langkah pengamanan untuk melindungi informasi bisnis penting.
  • Moderasi konten: Untuk meninjau konten yang berpotensi sensitif atau tidak pantas sebelum dapat diakses secara publik, terapkan penangguhan sementara pada konten yang diupload ke Cloud Storage untuk pemeriksaan lebih lanjut dan keputusan moderasi.
Produk yang berlaku
  • Cloud Storage
Jalur storage.objects/temporaryHold
Operator ==
Nilai
  • TRUE
Jenis Boolean
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Menerapkan kebijakan retensi pada bucket Cloud Storage

ID kontrol Google GCS-CO-6.17
Kategori Disarankan
Deskripsi

Pastikan semua bucket Cloud Storage memiliki kebijakan retensi.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/retentionPolicy.retentionPeriod
Operator agesmaller
Nilai
  • [90,"DAY","AFTER","yyyy-MM-dd'T'HH:mm:ss'Z'"]
Jenis int64
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Menerapkan tag klasifikasi untuk bucket Cloud Storage

ID kontrol Google GCS-CO-6.18
Kategori Disarankan
Deskripsi

Klasifikasi data adalah komponen mendasar dari setiap program tata kelola dan keamanan data. Menerapkan label klasifikasi dengan nilai seperti publik, internal, rahasia, atau terbatas ke setiap bucket sangat penting.

Pastikan google_storage_bucket.labels memiliki ekspresi untuk klasifikasi dan buat pelanggaran jika tidak ada.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/labels.classification
Operator notexists
Nilai
  • []
Jenis Diperpanjang
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Menerapkan bucket log untuk bucket Cloud Storage

ID kontrol Google GCS-CO-6.3
Kategori Disarankan
Deskripsi

Pastikan setiap bucket Cloud Storage menyertakan bucket log.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/logging.logBucket
Operator notexists
Nilai
  • []
Jenis String
Kontrol NIST-800-53 terkait
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Kontrol profil CRI terkait
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informasi terkait

Mengonfigurasi aturan penghapusan untuk bucket Cloud Storage

ID kontrol Google GCS-CO-6.5
Kategori Disarankan
Deskripsi

Di Cloud Storage, storage.buckets/lifecycle.rule.action.type mengacu pada jenis tindakan yang akan dilakukan pada objek tertentu berdasarkan aturan siklus proses dalam bucket. Konfigurasi ini membantu mengotomatiskan pengelolaan dan siklus proses data Anda yang disimpan di cloud.

Konfigurasi storage.buckets/lifecycle.rule.action.type untuk memastikan bahwa objek dihapus secara permanen dari bucket.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/lifecycle.rule.action.type
Operator ==
Nilai
  • Delete
Jenis String
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Pastikan kondisi isLive adalah False untuk aturan penghapusan

ID kontrol Google GCS-CO-6.6
Kategori Disarankan
Deskripsi

Untuk aturan penghapusan, pastikan kondisi isLive aturan ditetapkan ke false.

Di Cloud Storage, storage.buckets/lifecycle.rule.condition.isLive adalah kondisi boolean yang digunakan dalam aturan siklus proses untuk menentukan apakah suatu objek dianggap aktif. Filter ini membantu memastikan bahwa tindakan dalam aturan siklus proses hanya diterapkan pada objek yang diinginkan berdasarkan status aktifnya.

Kasus penggunaan:

  • Mengarsipkan versi historis: Hanya mengarsipkan versi objek yang tidak aktif untuk menghemat biaya penyimpanan sekaligus menjaga agar versi terbaru dapat diakses dengan mudah.
  • Membersihkan objek yang dihapus: Mengotomatiskan penghapusan permanen objek yang telah dihapus oleh pengguna, sehingga mengosongkan ruang di bucket.
  • Melindungi data aktif: Memastikan bahwa tindakan seperti menyetel penangguhan sementara hanya diterapkan pada objek aktif, sehingga mencegah modifikasi yang tidak disengaja pada versi yang diarsipkan atau dihapus
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/lifecycle.rule.condition.isLive
Operator ==
Nilai
  • False
Jenis Boolean
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Menerapkan pembuatan versi untuk bucket Cloud Storage

ID kontrol Google GCS-CO-6.7
Kategori Disarankan
Deskripsi

Pastikan semua bucket Cloud Storage mengaktifkan pembuatan versi. Kasus penggunaan mencakup hal berikut:

  • Perlindungan dan pemulihan data: Melindungi dari kehilangan data yang tidak disengaja dengan mencegah penimpaan dan memungkinkan pemulihan data yang dihapus atau diubah.
  • Kepatuhan dan audit: Mempertahankan histori semua pengeditan objek untuk tujuan kepatuhan terhadap peraturan atau audit internal.
  • Kontrol versi: Melacak perubahan pada file dan set data, sehingga memungkinkan kolaborasi dan roll back ke versi sebelumnya jika diperlukan.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/versioning.enabled
Operator !=
Nilai
  • True
Jenis Boolean
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Menerapkan pemilik untuk bucket Cloud Storage

ID kontrol Google GCS-CO-6.8
Kategori Disarankan
Deskripsi

Pastikan google_storage_bucket.labels memiliki ekspresi untuk pemilik.
Produk yang berlaku
  • Cloud Storage
Jalur storage.buckets/labels.owner
Operator notexists
Nilai
  • []
Jenis Diperpanjang
Kontrol NIST-800-53 terkait
  • SI-12
Kontrol profil CRI terkait
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informasi terkait

Mengaktifkan logging aktivitas utama Cloud Storage

ID kontrol Google GCS-CO-7.4
Kategori Disarankan
Deskripsi

Aktifkan logging tambahan di sekitar objek penyimpanan tertentu berdasarkan kasus penggunaannya. Misalnya, log akses ke bucket data sensitif sehingga Anda dapat melacak siapa yang mendapatkan akses dan kapan. Saat mengaktifkan logging tambahan, pertimbangkan volume log yang mungkin Anda buat.
Produk yang berlaku
  • Cloud Storage
Kontrol NIST-800-53 terkait
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Kontrol profil CRI terkait
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informasi terkait

Langkah berikutnya