Dokumen ini memberikan praktik terbaik untuk tim platform, engineer keamanan, dan arsitek cloud yang men-deploy workload AI di Google Kubernetes Engine (GKE). Anda dapat menggunakan GKE untuk melindungi kekayaan intelektual (IP) eksklusif seperti bobot model, melindungi reputasi merek dengan memfilter konten, dan meningkatkan kepatuhan terhadap peraturan.
Terapkan praktik terbaik ini selain praktik terbaik keamanan beban kerja AI dan GKE lainnya seperti berikut:
Memahami tanggung jawab keamanan Anda
Postur keamanan workload AI Anda bergantung pada berbagai lapisan lingkungan Anda, seperti infrastruktur dan model yang Anda gunakan. Google Cloud Tabel berikut menjelaskan lapisan ini, siapa yang bertanggung jawab untuk mengamankan setiap lapisan, dan tanggung jawab keamanan untuk lapisan tersebut:
| Lapisan | Deskripsi | Tanggung Jawab |
|---|---|---|
| Infrastruktur | Infrastruktur yang mendasarinya, seperti virtual machine (VM), komponen jaringan, dan hardware penyimpanan tempat workload AI Anda berjalan.memiliki infrastruktur dan memberikan dasar keamanan yang kuat. Google Cloud | Administrator platform di organisasi Anda menerapkan kontrol untuk meningkatkan keamanan di area berikut:
|
| Model | Model, bobot model, pipeline pelatihan, dan properti keamanan. Jika Anda menjalankan model yang Anda latih atau sesuaikan, maka Anda bertanggung jawab untuk mengamankan lapisan model. Jika Anda menjalankan model terkelola dari penyedia pihak ketiga (seperti Gemini), maka penyedia tersebut bertanggung jawab atas keamanan model. | Di lapisan model, pemilik model bertanggung jawab atas keamanan di area berikut:
|
| Aplikasi | Perintah, kode, petunjuk sistem, dan pengalaman pengguna akhir. Operator aplikasi dan administrator platform di organisasi Anda bertanggung jawab atas keamanan di lapisan aplikasi. | Di lapisan aplikasi, operator aplikasi, developer, dan administrator platform bertanggung jawab atas keamanan di area berikut:
|
Anda menerapkan kontrol untuk mengamankan lapisan yang menjadi tanggung jawab Anda. Contoh berikut menunjukkan jenis deployment umum untuk pelanggan GKE dan tanggung jawab keamanan yang sesuai untuk deployment tersebut:
- Anda menjalankan model terkelola, seperti Gemini: Anda menerapkan kontrol di lapisan infrastruktur dan aplikasi. Meskipun Anda menggunakan model terkelola yang memiliki filter keamanan bawaan, Anda tetap memiliki pertahanan injeksi perintah yang diperlukan untuk melindungi logika aplikasi spesifik Anda.
- Anda menjalankan model Anda sendiri: jika Anda menjalankan model yang di-fine-tune, model open source, atau model yang Anda latih, maka Anda bertanggung jawab atas keamanan di setiap lapisan.
- Anda adalah penyedia layanan AI multi-tenant: jika Anda menyediakan layanan AI kepada pengguna akhir Anda sendiri dengan menjalankan model Anda di GKE dan mengekspos endpoint inferensi ke beberapa tenant, maka Anda bertanggung jawab atas kontrol tambahan. Kontrol multi-tenant ini mencakup pemisahan tenant logis dan fisik (seperti node pool khusus, namespace, dan kebijakan jaringan), pembatasan frekuensi per tenant, dan enkripsi data tenant dalam penyimpanan menggunakan Kunci Enkripsi yang Dikelola Pelanggan (CMEK) yang berbeda.
Meningkatkan keamanan di lapisan infrastruktur
Di lapisan infrastruktur, Google Cloud dan GKE memberikan postur keamanan dasar yang menerapkan berbagai kontrol keamanan secara default. Untuk meningkatkan keamanan infrastruktur Anda untuk workload AI, Anda mengonfigurasi kontrol keamanan tambahan berdasarkan jenis workload AI yang Anda jalankan dan tujuan keamanan spesifik yang ingin Anda capai. Bagian berikut menjelaskan produk dan layanan yang dapat Anda gunakan untuk melindungi berbagai komponen infrastruktur AI Anda.
Melindungi node GKE
Gunakan layanan berikut untuk melindungi data sensitif, seperti workload inferensi yang memproses perintah dan respons atau workload pelatihan yang mengakses model eksklusif:
Enkripsi data sensitif yang sedang digunakan dengan pengesahan hardware: jalankan workload inferensi Anda di Confidential Google Kubernetes Engine Nodes, yang memperluas enkripsi memori tingkat hardware ke akselerator termasuk GPU dan TPU, selain CPU AMD SEV-SNP atau Intel TDX. Gunakan Confidential GKE Node untuk deployment yang diatur dan workload inferensi yang sensitif. Confidential GKE Node tidak melindungi workload dari eksploitasi tingkat aplikasi atau pengguna yang diizinkan yang memiliki akses tingkat node.
Untuk penyedia yang pelanggannya memiliki persyaratan isolasi yang ketat (seperti workload kedaulatan), GKE Hypercluster menyediakan pengesahan kriptografi yang bahkan operator infrastruktur pokok,Google Cloud, tidak dapat memeriksa data tenant.
Mengurangi risiko peniruan identitas node: jalankan workload di Shielded GKE Nodes, yang memberikan pengesahan identitas dan integritas node yang dapat diverifikasi. Gunakan Node GKE yang Terlindungi untuk semua jenis workload.
Menghilangkan penggunaan kredensial statis untuk beban kerja: gunakan Workload Identity Federation untuk GKE guna mengakses layanan Google Cloud dari kode aplikasi Anda dengan menggunakan kredensial gabungan berumur pendek dan mencegah metadata Compute Engine yang tidak penting diekspos ke aplikasi. Gunakan Workload Identity Federation untuk GKE di semua cluster produksi, terutama saat Anda perlu mengakses data yang ada di layanan di luar cluster.
Menerapkan kontrol jaringan
Anda dapat menggunakan fitur dan produk berikut untuk meningkatkan keamanan jaringan bagi beban kerja AI:
Menggunakan rentang alamat IP alias: Cluster VPC native menggunakan rentang alamat IP alias untuk merutekan traffic antar-Pod, bukan menggunakan rute statis di jaringan VPC. Selalu gunakan cluster VPC native.
Membatasi akses jaringan ke node: gunakan node pribadi untuk mencegah traffic antara node Anda dan internet publik secara default. Endpoint inferensi yang perlu diekspos harus memiliki layanan terkelola seperti Google Cloud Armor di antara endpoint dan internet.
Menolak traffic dalam cluster secara default: gunakan NetworkPolicy Kubernetes untuk menolak traffic antar-Pod, antar-namespace, dan traffic keluar ke internet. Hanya mengizinkan traffic jaringan untuk aplikasi yang memerlukan akses tertentu.
Menambahkan perlindungan edge ke endpoint internet: Anda dapat menggunakan Google Cloud Armor untuk melindungi endpoint inferensi yang diekspos ke internet dengan menerapkan pembatasan frekuensi, perlindungan DDoS, kontrol akses berbasis geografis, dan mitigasi serangan Lapisan 7. Jika Anda memiliki AI API yang ditampilkan kepada publik, gunakan Cloud Armor untuk menangani serangan volumetrik dan lapisan aplikasi sebelum serangan mencapai infrastruktur komputasi Anda. Gabungkan Cloud Armor dengan node pribadi untuk mengoptimalkan keamanan endpoint inferensi.
Mencegah pemindahan data yang tidak sah selama serangan: gunakan Kontrol Layanan VPC untuk membuat perimeter keamanan di sekitar resource Google Cloud Anda. Meskipun kredensial berhasil disusupi, penyerang tidak dapat mengambil data di luar perimeter. Menggunakan Kontrol Layanan VPC untuk beban kerja yang diatur.
Mengelola identitas dan akses
Untuk mengidentifikasi pengguna dan mengontrol akses ke cluster dan beban kerja, gunakan mekanisme otorisasi berikut:
Mengontrol akses ke Google Cloud resource: gunakan kebijakan akses Google CloudIdentity and Access Management (IAM) untuk mengontrol akun utama mana yang dapat berinteraksi dengan cluster dan node GKE.
Mengontrol akses ke resource Kubernetes dalam cluster: gunakan kebijakan kontrol akses berbasis peran (RBAC) Kubernetes untuk mengontrol apa yang dapat dilakukan berbagai prinsipal terhadap resource Kubernetes API di dalam setiap cluster.
Konfigurasi akses zero-trust ke endpoint inferensi dan antarmuka admin: gunakan layanan seperti Chrome Enterprise Premium untuk mengonfigurasi akses pengguna berdasarkan identitas dan kondisi perangkat, bukan topologi jaringan.
Mengelola kunci dan secret
Simpan semua kunci enkripsi dan data sensitif Anda, seperti kunci dan kredensial API, di luar cluster. Produk berikut dapat membantu Anda menyimpan referensi ini:
Mengelola kunci enkripsi: gunakan Cloud Key Management Service untuk mengelola semua kunci enkripsi. Anda juga dapat membuat Kunci Enkripsi yang Dikelola Pelanggan (CMEK) di Cloud KMS untuk mengenkripsi data dengan kunci yang Anda kontrol, yang sering kali menjadi persyaratan di industri yang diatur.
Menyimpan data aplikasi sensitif: gunakan Secret Manager untuk menyimpan data sensitif yang digunakan oleh beban kerja, seperti secret aplikasi, kunci API, dan kredensial. Untuk membaca data ini dari Pod, gunakan Workload Identity Federation untuk GKE guna memberikan akses identitas workload tertentu hanya ke resource yang dibutuhkan Pod.
Meningkatkan keamanan supply chain
Layanan Google Cloud berikut dapat membantu Anda meningkatkan keamanan di seluruh supply chain software:
- Memindai kerentanan image container: simpan image container Anda di repositori Artifact Registry yang mengaktifkan pemindaian kerentanan secara default. Aktifkan deteksi CVE berkelanjutan pada setiap image di registry Anda.
Hanya mengizinkan image terverifikasi mencapai produksi: gunakan Otorisasi Biner untuk menerapkan otorisasi berbasis kebijakan pada tanda tangan image container saat deployment. Hanya gambar yang telah dibuktikan yang mencapai produksi.
Mengonfigurasi deteksi keamanan dan pengelolaan postur: gunakan Security Command Center untuk melihat temuan deteksi ancaman dan pengelolaan postur khusus AI, seperti endpoint Gemini Enterprise Agent Platform yang salah dikonfigurasi atau bucket data pelatihan yang terekspos. Security Command Center mengintegrasikan temuan AI ini dengan kerentanan Artifact Registry dan analisis IAM untuk memberikan tampilan komprehensif tentang armada Anda.
Melacak artefak AI: gunakan alat bill of materials yang dibuat untuk workload AI Kubernetes, seperti
k8s-aibom, untuk membuat inventaris komprehensif model, set data, dan framework Anda.
Meningkatkan keamanan di lapisan model
Jika Anda menjalankan model yang Anda latih atau sesuaikan, atau Anda menjalankan model open source yang Anda konfigurasi, maka Anda harus mengonfigurasi berbagai kontrol untuk meningkatkan keamanan model. Jika Anda menjalankan model terkelola dari penyedia pihak ketiga, lapisan ini tidak berlaku untuk Anda. Bagian berikut menjelaskan hal-hal yang dapat Anda lakukan untuk meningkatkan integritas, kerahasiaan, dan keamanan model Anda.
Meningkatkan integritas model
Meningkatkan integritas model sehingga Anda dapat menemukan bukti manipulasi sebelum model dapat diakses di endpoint inferensi. Pedoman berikut dapat membantu Anda meningkatkan integritas model:
- Menandatangani artefak model Anda: menandatangani bobot model secara kriptografis sebelum Anda memublikasikan bobot ke registry Anda. Saat men-deploy model, verifikasi tanda tangan menggunakan pengesahan Otorisasi Biner. Menandatangani dan memverifikasi artefak model membantu Anda mengidentifikasi apakah model telah dirusak selama penyimpanan atau transit dan memberi Anda rantai hak asuh yang dapat diverifikasi untuk model produksi.
- Menemukan modifikasi pasca-pelatihan: Pemindai Model Aktivasi (AMS) open source mendeteksi model yang telah dimodifikasi setelah pelatihan (misalnya, untuk menambahkan pintu belakang, gangguan bobot, atau penyesuaian tanpa izin) dengan menganalisis tanda tangan aktivasi model terhadap baseline. Jalankan pemindai seperti AMS sebagai bagian dari pipeline CI/CD sebelum Anda memublikasikan model ke registry produksi. Untuk model bernilai tinggi atau yang diatur, jadwalkan pemindaian AMS berkala terhadap artefak produksi untuk mendeteksi gangguan yang terjadi setelah publikasi awal.
Melindungi kerahasiaan model
Jika Anda memiliki bobot model sensitif, seperti penyempurnaan eksklusif, model yang dilatih pada data yang diatur, atau kekayaan intelektual kompetitif, gunakan panduan berikut untuk melindungi bobot:
Enkripsi bobot saat dalam penyimpanan: menyimpan bobot di penyimpanan objek terenkripsi, seperti di bucket Cloud Storage, dengan akses IAM terbatas. Cloud Storage mengenkripsi konten pelanggan dalam penyimpanan secara default. Anda dapat menggunakan CMEK secara opsional untuk mengenkripsi data dengan kunci yang Anda kontrol, yang sering kali menjadi persyaratan di industri yang diatur. Untuk mengetahui informasi selengkapnya, lihat Opsi enkripsi data dalam dokumentasi Cloud Storage.
Melindungi bobot yang sedang digunakan: jalankan model di Confidential GKE Node untuk memastikan bobot dienkripsi dalam memori selama inferensi. Node GKE Rahasia dapat membantu Anda melindungi kekayaan intelektual dari kompromi tingkat hypervisor dan akses tidak sah oleh operator infrastruktur. Confidential GKE Node tidak melindungi dari eksploitasi tingkat aplikasi atau pengguna yang diberi otorisasi dengan akses tingkat node.
Mengontrol semua akses ke bobot: mencatat semua akses ke artefak model di penyimpanan. Gunakan kebijakan akses IAM untuk membatasi akses ke akun layanan dan pengguna tertentu yang memiliki kebutuhan akses yang terdokumentasi. Batasi akses administratif ke cluster secara ketat, termasuk akses shell ke kontainer, akses SSH ke VM node, atau penelusuran bug tingkat node, dengan menggunakan kebijakan RBAC Kubernetes dan Chrome Enterprise Premium. Tindakan ini dapat membantu Anda melindungi bobot model dari pengguna yang memiliki akses tingkat node, yang tidak tercakup oleh Node GKE Rahasia.
Meningkatkan kualitas properti keamanan model
Anda dapat menerapkan berbagai setelan keamanan untuk model selama pelatihan. Jika Anda melatih atau melakukan fine-tuning model Anda sendiri, berinvestasilah dalam pelatihan keselamatan yang relevan dengan kasus penggunaan model. Properti keamanan untuk model mencakup perilaku penolakan, pelatihan keselarasan, dan ketahanan terhadap upaya peretasan. Jika Anda menggunakan model terlatih, pilih model yang memiliki properti keamanan yang sesuai dengan persyaratan aplikasi Anda.
Developer dan operator aplikasi dapat menerapkan berbagai kontrol di lapisan aplikasi untuk meningkatkan keamanan di area yang tidak dapat dicakup oleh model.
Meningkatkan keamanan di lapisan aplikasi
Lapisan aplikasi adalah tempat operator dan developer memiliki kontrol paling besar atas konfigurasi keamanan khusus AI. Di lapisan aplikasi, Anda dapat menerapkan kontrol keamanan yang melindungi data, membuat permintaan yang terbentuk dengan baik, serta melindungi perintah dan respons. Kontrol ini biasanya berguna untuk beban kerja inferensi, yang menangani perintah, sesi, dan respons pengguna. Bagian berikut menjelaskan berbagai kontrol, produk, dan layanan yang dapat membantu Anda mencapai tujuan keamanan tertentu di lapisan aplikasi.
Melindungi dari ancaman lapisan konten
Periksa semua perintah dan respons untuk mendeteksi masalah keamanan seperti injeksi perintah, eksposur data sensitif, dan konten berbahaya. Karena node GKE dirancang agar tidak memiliki akses ke konten, deploy Model Armor antara aplikasi Anda dan endpoint inferensi. Model Armor memiliki prinsip penanganan dan penyimpanan data tertentu yang dirancang untuk meningkatkan privasi data Anda selama pemindaian.
Melindungi perintah sistem
Memfilter output untuk kebocoran perintah dan mengonfigurasi deteksi eksfiltrasi data Model Armor untuk menangkap pola ekstraksi. Untuk petunjuk yang sangat sensitif, proses petunjuk dalam pemanggilan yang tidak menampilkan teks kepada pengguna.
Mengelola sesi dan perutean
Saat Anda mengekspos endpoint inferensi kepada pengguna akhir, gunakan GKE Inference Gateway. Inference Gateway memperluas Gateway API untuk merutekan traffic berdasarkan metrik dan data yang khusus untuk workload inferensi AI. Anda dapat melakukan penskalaan otomatis pada workload untuk memenuhi permintaan dan berintegrasi dengan Model Armor dan Apigee untuk pemfilteran konten, kemampuan pengamatan tingkat sesi, dan penerapan kuota.
Meningkatkan keamanan agen AI
Jika workload AI Anda adalah agen, Anda memerlukan kontrol tambahan di lapisan aplikasi seperti berikut:
- Membatasi akses ke Google Cloud API: gunakan Workload Identity Federation for GKE dengan kebijakan akses IAM untuk membatasi API yang dapat diakses oleh Pod workload agen Anda. Gunakan ServiceAccount Kubernetes khusus untuk setiap agen, dan berikan hanya izin IAM yang diperlukan workload kepada prinsipal tersebut.
- Menjalankan eksekusi kode atau alat yang tidak tepercaya di sandbox: jalankan agen yang mengeksekusi kode yang dihasilkan atau berinteraksi dengan alat pihak ketiga yang tidak terverifikasi di lingkungan sandbox menggunakan Sandbox Agen. Agent Sandbox menggunakan mekanisme isolasi seperti GKE Sandbox atau Kata Containers untuk melindungi dari pelarian container.
Mengonfigurasi kemampuan observasi dan respons insiden
Kumpulkan log dan pantau berbagai metrik untuk mengidentifikasi potensi serangan sejak dini dan membatasi dampak eksploitasi. Bagian berikut memberikan panduan yang dapat membantu Anda meningkatkan kualitas deteksi dan respons.
Mengumpulkan log dan metrik
Untuk mengidentifikasi ancaman secepat mungkin, terapkan sebanyak mungkin praktik terbaik kemampuan pengamatan berikut:
- Kumpulkan log GKE.
- Aktifkan log audit Akses Data untuk operasi sensitif, seperti penggunaan kunci KMS.
- Jangan mencatat konten perintah atau penyelesaian kecuali jika kebijakan Anda secara eksplisit mengizinkannya. Jika Anda mengumpulkan data perintah dan respons multimodal (Pratinjau), hapus atau batasi akses ke data yang disimpan berdasarkan kebijakan keamanan Anda.
- Kumpulkan metrik yang penting bagi SRE Anda.
- Konfigurasi pemantauan aplikasi otomatis untuk jenis server model AI tertentu.
- Gabungkan log di Cloud Logging atau di platform Pengelolaan Peristiwa dan Informasi Keamanan (SIEM) Anda sendiri.
- Gunakan metrik berbasis log untuk membuat metrik berdasarkan konten log.
Mendeteksi ancaman khusus AI
Siapkan pemberitahuan di Logging dan Cloud Monitoring untuk mendeteksi berbagai ancaman khusus AI. Kebijakan pemberitahuan spesifik yang Anda siapkan bergantung pada jenis log yang Anda kumpulkan dan persyaratan organisasi Anda. Untuk mengetahui informasi selengkapnya tentang kebijakan pemberitahuan yang tersedia, lihat Perbandingan opsi pemberitahuan. Konfigurasi pemberitahuan untuk ancaman khusus AI seperti berikut:
| Ancaman dan sinyal khusus AI | |
|---|---|
| Injeksi perintah | Log Model Armor untuk sanitasi atau penolakan perintah |
| Ekstraksi perintah sistem | Model Armor dan anomali cache ditemukan |
| Paparan data sensitif | Log respons Model Armor |
| Penyalahgunaan biaya inferensi | Penggunaan token tingkat sesi dari metrik Inference Gateway |
| Manipulasi sesi | Kecepatan sesi baru per tenant dari Metrik Inference Gateway |
| Pelacakan sidik jari model | Pola pemeriksaan kemampuan |
| Saluran sampingan pengaturan waktu | Mitigasi arsitektur (partisi cache) |
Menetapkan proses respons insiden
Cara Anda merespons berbagai insiden bergantung pada struktur organisasi dan persyaratan keamanan Anda. Panduan berikut menjelaskan tindakan yang harus dilakukan saat Anda mendeteksi jenis ancaman tertentu pada workload AI Anda:
Deteksi konten di Model Armor: memblokir permintaan, mencatat peristiwa, dan menyiapkan pemberitahuan untuk memberi tahu Anda jika tingkatnya melebihi nilai minimum. Menyiapkan pembatasan kecepatan untuk pengguna yang berulang kali melakukan pelanggaran.
Deteksi inferensi: batasi tenant menggunakan Inference Gateway. Menghentikan sesi untuk kasus penyalahgunaan yang telah dikonfirmasi.
Korelasi lintas lapisan: deteksi Model Armor ditambah pola penyalahgunaan token menunjukkan penyalahgunaan terkoordinasi. Tentukan aturan korelasi dan identifikasi nilai minimum keyakinan yang setelahnya risiko pemberitahuan positif palsu rendah. Mengotomatiskan penghentian sesi yang melampaui batas ini.
Menerapkan keamanan di seluruh siklus proses deployment
Optimalkan deployment AI Anda untuk keamanan di seluruh siklus proses deployment. Selama tahap siklus proses tertentu, terapkan kontrol yang melindungi satu atau beberapa lapisan. Bagian berikut memberikan panduan untuk setiap tahap siklus proses.
Deploy infrastruktur
Saat Anda membuat atau mendesain infrastruktur yang menjalankan workload AI Anda, terapkan sebanyak mungkin kontrol berikut:
| Kategori | |
|---|---|
| Node GKE |
|
| Jaringan |
|
| Pengelolaan akses dan identitas |
|
| Pengelolaan data sensitif |
|
| Kemampuan observasi |
|
Mengoperasikan workload dan infrastruktur
Saat Anda men-deploy workload AI dan menjalankan sistem produksi, terapkan sebanyak mungkin kontrol berikut:
| Kategori | |
|---|---|
| Keamanan workload |
|
| Jaringan |
|
| Perlindungan data sensitif | Gunakan CMEK untuk mengenkripsi data dengan kunci Anda sendiri di lingkungan yang diatur. |
| Kemampuan observasi |
|
Mengatur deployment dalam skala besar
Seiring dengan meningkatnya skala organisasi Anda, terapkan kontrol berikut untuk mengotomatiskan pengelolaan keamanan:
- Konfigurasi panduan tingkat organisasi menggunakan Layanan Kebijakan Organisasi.
- Terapkan kebijakan waktu penerimaan menggunakan webhook penerimaan Kubernetes.
- Mengotomatiskan respons pertama untuk deteksi dengan tingkat keyakinan tinggi.
- Menetapkan korelasi SIEM lintas lapisan dan dasar pengukuran perilaku per tenant.
Ringkasan praktik terbaik
Tabel berikut meringkas praktik terbaik yang direkomendasikan dalam dokumen ini:
| Topik | |
|---|---|
| Meningkatkan keamanan di lapisan infrastruktur | Lindungi node GKE, terapkan kontrol jaringan, kelola identitas dan akses, kelola kunci dan rahasia, serta tingkatkan keamanan supply chain. |
| Meningkatkan keamanan di lapisan model | Meningkatkan integritas model, melindungi kerahasiaan model, dan meningkatkan kualitas keamanan model. |
| Meningkatkan keamanan di lapisan aplikasi | Melindungi dari ancaman lapisan konten, melindungi perintah sistem, mengelola sesi dan perutean, serta meningkatkan keamanan agen AI. |
| Mengonfigurasi kemampuan observasi dan respons insiden | Kumpulkan log dan metrik, deteksi ancaman khusus AI, dan tetapkan proses respons insiden. |
| Menerapkan keamanan di seluruh siklus proses deployment | Men-deploy infrastruktur, mengoperasikan workload dan infrastruktur, serta mengatur deployment dalam skala besar. |