Praktik terbaik keamanan Managed Service for Apache Spark

Mengamankan lingkungan Managed Service untuk Apache Spark sangat penting untuk melindungi data sensitif dan mencegah akses yang tidak sah. Dokumen ini menguraikan praktik terbaik utama untuk meningkatkan postur keamanan Managed Service untuk Apache Spark, termasuk rekomendasi untuk keamanan jaringan, Identity and Access Management, enkripsi, dan konfigurasi cluster yang aman.

Keamanan jaringan

  • Men-deploy Managed Service untuk Apache Spark di VPC pribadi. Buat Virtual Private Cloud khusus untuk cluster Managed Service untuk Apache Spark, yang mengisolasinya dari jaringan lain dan internet publik.

  • Menggunakan IP pribadi. Untuk melindungi cluster Managed Service untuk Apache Spark dari paparan internet publik, gunakan alamat IP pribadi untuk meningkatkan keamanan dan isolasi.

  • Mengonfigurasi aturan firewall. Terapkan aturan firewall yang ketat untuk mengontrol traffic ke dan dari cluster Managed Service untuk Apache Spark. Hanya izinkan port dan protokol yang diperlukan.

  • Menggunakan peering jaringan. Untuk meningkatkan isolasi, buat VPC Network Peering antara VPC Managed Service untuk Apache Spark dan VPC sensitif lainnya untuk komunikasi yang terkontrol.

  • Mengaktifkan Gateway Komponen. Aktifkan Managed Service untuk Apache Spark Component Gateway saat Anda membuat cluster untuk mengakses UI ekosistem Hadoop dengan aman, seperti UI server YARN, HDFS, atau Spark, bukan membuka port firewall.

Identity and Access Management

  • Mengisolasi izin. Gunakan akun layanan data plane yang berbeda untuk cluster yang berbeda. Tetapkan hanya izin yang diperlukan cluster untuk menjalankan workload-nya ke akun layanan.

  • Hindari mengandalkan akun layanan default Google Compute Engine (GCE). Jangan gunakan akun layanan default untuk cluster Anda.

  • Patuhi prinsip hak istimewa terendah. Berikan hanya izin minimum yang diperlukan kepada akun layanan dan pengguna Managed Service untuk Apache Spark.

  • Menerapkan kontrol akses berbasis peran (RBAC). Pertimbangkan untuk menetapkan izin IAM untuk setiap cluster.

  • Menggunakan peran kustom. Buat peran IAM kustom yang terperinci dan disesuaikan dengan fungsi tugas tertentu dalam lingkungan Managed Service untuk Apache Spark.

  • Meninjau secara rutin. Audit peran dan izin IAM secara rutin untuk mengidentifikasi dan menghapus hak istimewa yang berlebihan atau tidak digunakan.

Enkripsi

  • Mengenkripsi data dalam penyimpanan. Untuk enkripsi data dalam penyimpanan, gunakan Cloud Key Management Service (KMS) atau Kunci Enkripsi yang Dikelola Pelanggan (CMEK). Selain itu, gunakan kebijakan organisasi untuk menerapkan enkripsi data dalam penyimpanan untuk pembuatan cluster.

  • Mengenkripsi data dalam pengiriman. Aktifkan SSL/TLS untuk komunikasi antara komponen Managed Service untuk Apache Spark (dengan mengaktifkan Mode Aman Hadoop) dan layanan eksternal. Tindakan ini melindungi data yang sedang dalam pengiriman.

  • Waspadai data sensitif. Berhati-hatilah saat menyimpan dan meneruskan data sensitif seperti PII atau sandi. Jika diperlukan, gunakan solusi enkripsi dan pengelolaan secret.

Konfigurasi cluster yang aman

  • Mengautentikasi menggunakan Kerberos. Untuk mencegah akses yang tidak sah ke cluster resource, terapkan Mode Aman Hadoop menggunakan Kerberos autentikasi. Untuk mengetahui informasi selengkapnya, lihat Multi-tenancy yang aman melalui Kerberos.

  • Menggunakan sandi utama root yang kuat dan penyimpanan berbasis KMS yang aman. Untuk cluster yang menggunakan Kerberos, Managed Service untuk Apache Spark secara otomatis mengonfigurasi fitur penguatan keamanan untuk semua komponen open source yang berjalan di cluster.

  • Mengaktifkan login OS. Aktifkan Login OS untuk meningkatkan keamanan saat mengelola node cluster menggunakan SSH.

  • Memisahkan bucket staging dan bucket sementara di Google Cloud Storage (GCS). Untuk memastikan isolasi izin, pisahkan bucket staging dan bucket sementara untuk setiap cluster Managed Service untuk Apache Spark.

  • Menggunakan Secret Manager untuk menyimpan kredensial. Secret Manager dapat melindungi data sensitif Anda, seperti kunci API, sandi, dan sertifikat. Gunakan Secret Manager untuk mengelola, mengakses, dan mengaudit secret Anda di seluruh Google Cloud.

  • Menggunakan batasan organisasi kustom. Anda dapat menggunakan kebijakan organisasi kustom untuk mengizinkan atau menolak operasi tertentu pada cluster Managed Service untuk Apache Spark. Misalnya, jika permintaan untuk membuat atau mengupdate cluster gagal memenuhi validasi batasan kustom sebagaimana ditetapkan oleh kebijakan organisasi Anda, permintaan akan gagal dan pemanggil akan melihat error.

Langkah berikutnya

Pelajari lebih lanjut fitur keamanan Managed Service untuk Apache Spark lainnya: