Dokumen ini mencakup praktik terbaik dan pedoman untuk Pub/Sub saat menjalankan workload AI generatif di Google Cloud. Gunakan Pub/Sub dengan Vertex AI untuk memungkinkan komunikasi dan otomatisasi yang efisien dalam alur kerja machine learning Anda.
Pertimbangkan kasus penggunaan Pub/Sub dengan Vertex AI berikut:
- Arsitektur berbasis peristiwa asinkron: Pub/Sub memungkinkan komunikasi berbasis peristiwa sehingga Anda dapat memicu pipeline Vertex AI berdasarkan peristiwa yang dipublikasikan ke topik Pub/Sub. Peristiwa ini dapat mencakup data baru dan update model.
- Skalabilitas dan keandalan: Pub/Sub sangat mudah diskalakan, sehingga Anda dapat menangani banyak peristiwa tanpa memengaruhi performa. Skalabilitas sangat penting untuk memproses set data besar atau menjalankan beberapa tugas ML serentak. Pub/Sub juga menyediakan pengiriman dan pengurutan pesan yang andal dalam topik, sehingga memastikan konsistensi pemrosesan meskipun dalam beban kerja yang berat.
- Fleksibilitas: Anda dapat mengintegrasikan Vertex AI dengan layanan lain seperti Cloud Run Functions atau Dataflow menggunakan Pub/Sub, sehingga membuat pipeline ML yang fleksibel dan dinamis.
- Pemantauan dan pemberitahuan real-time: Pub/Sub memungkinkan Anda berlangganan topik tertentu untuk menerima notifikasi real-time tentang peristiwa di pipeline Vertex AI Anda. Pemantauan real-time membantu Anda memantau progres pelatihan model, hasil pra-pemrosesan data, dan output prediksi. Anda dapat mengonfigurasi pemberitahuan berdasarkan peristiwa tertentu, seperti tugas yang gagal atau anomali yang terdeteksi selama prediksi. Pemberitahuan memungkinkan intervensi proaktif dan pemecahan masalah tepat waktu.
Misalnya, Anda dapat menggunakan Pub/Sub untuk aktivitas berikut:
- Memicu pelatihan model saat data baru tiba di bucket Cloud Storage.
- Mengirim prediksi real-time dari model yang di-deploy ke sistem downstream untuk pemrosesan lebih lanjut.
- Pantau dan bereaksi terhadap perubahan pada metrik performa model.
- Memicu pemberitahuan untuk peristiwa penting seperti kegagalan prediksi atau masalah kualitas data.
Kontrol Pub/Sub yang direkomendasikan
Bergantung pada kasus penggunaan Anda terkait AI generatif, kami merekomendasikan kontrol tambahan. Kontrol ini mencakup kontrol retensi data dan kontrol berbasis kebijakan lainnya yang didasarkan pada kebijakan perusahaan Anda.
Menggunakan CMEK untuk pesan Pub/Sub
| ID kontrol Google | PS-CO-6.1 |
|---|---|
| Kategori | Disarankan |
| Deskripsi | Saat Anda mengaktifkan kunci enkripsi yang dikelola pelanggan (CMEK) untuk Pub/Sub, Anda akan mendapatkan kontrol yang lebih besar atas kunci enkripsi yang digunakan Pub/Sub untuk melindungi pesan Anda. Di lapisan aplikasi, Pub/Sub mengenkripsi setiap pesan masuk saat Pub/Sub menerimanya. Sebelum memublikasikan pesan ke langganan, Pub/Sub mengenkripsi pesan menggunakan kunci enkripsi data (DEK) terbaru yang dibuat untuk topik. Pub/Sub mendekripsi pesan sesaat sebelum dikirim ke pelanggan.
Pub/Sub menggunakan Google Cloud akun layanan untuk mengakses Cloud Key Management Service. Akun layanan dikelola secara internal oleh Pub/Sub untuk setiap project, dan tidak terlihat dalam daftar akun layanan Anda. |
| Produk yang berlaku |
|
| Kontrol NIST-800-53 terkait |
|
| Kontrol profil CRI terkait |
|
| Informasi terkait |
Kontrol Pub/Sub opsional
Kontrol ini bersifat opsional. Pertimbangkan untuk menerapkannya jika berlaku untuk kasus penggunaan spesifik Anda.
Mengonfigurasi kebijakan penyimpanan pesan
| ID kontrol Google | PS-CO-4.1 |
|---|---|
| Kategori | Opsional |
| Deskripsi | Jika Anda memublikasikan pesan ke endpoint Pub/Sub global, Pub/Sub akan otomatis menyimpan pesan di Google Cloud region terdekat. Untuk mengontrol region tempat pesan Anda disimpan, konfigurasi kebijakan penyimpanan pesan di topik Anda.
Gunakan salah satu cara berikut untuk mengonfigurasi kebijakan penyimpanan pesan untuk topik:
|
| Produk yang berlaku |
|
| Kontrol NIST-800-53 terkait |
|
| Kontrol profil CRI terkait |
|
| Informasi terkait |
Langkah berikutnya
Tinjau kontrol Resource Manager.
Lihat Google Cloud praktik terbaik dan panduan keamanan untuk beban kerja AI generatif lainnya.