Managed Service untuk Apache Spark menawarkan dua paket, yaitu paket standar dan paket premium (performa tinggi), untuk memungkinkan pelanggan menyelaraskan persyaratan performa dan akses fitur dengan biaya optimal.
Manfaat paket premium
Paket premium dibedakan dari paket standar berdasarkan kemampuan dan fitur tambahan. Paket premium menyediakan akselerasi kueri lanjutan, serta komputasi, disk, dan memori yang dipercepat yang sering kali diperlukan oleh workload kompleks atau sensitif terhadap latensi.
Fitur dan kemampuan paket premium
Tabel berikut menyoroti fitur dan kemampuan paket premium eksklusif Managed Service untuk Apache Spark.
| Fitur | Standar | Premium |
|---|---|---|
| Lightning Engine (Akselerasi Kueri) |  |
(Default: Diaktifkan, kecuali untuk sesi interaktif) |
| Workload Interaktif (Sesi) | |
(Default: Diaktifkan) |
| Tugas Intensif Shuffle (Disk premium) | |
(Default: Dinonaktifkan) |
| Tugas Intensif Memori (Memori Tambahan) | |
(Default: Dinonaktifkan) |
| Dukungan GPU | |
(Default: Dinonaktifkan) |
| Workload batch | ||
| Autoscaling | ||
| UI Serverless Spark | ||
| Asal-Usul, Keamanan, dan Kepatuhan (VPC-SC, CMEK) |
Workload dan sesi batch paket premium
Workload dan sesi berikut memerlukan paket premium:
- Lightning Engine: Tersedia secara eksklusif di paket premium, Lightning Engine adalah fitur penting yang mempercepat performa Spark melalui eksekusi kueri yang dioptimalkan. Fitur ini diaktifkan secara default saat Anda memilih paket premium untuk workload batch dengan menetapkan properti
dataproc.tierkepremium. - Sesi interaktif: Sesi interaktif secara otomatis diperlakukan sebagai fitur premium bernilai tinggi. Sesi ini dimulai melalui Managed Service untuk Apache Spark sessions API, dan dikenai biaya dengan tarif DCU premium, yang menyediakan kemampuan seperti interaktivitas latensi rendah dan pengelolaan status. Untuk sesi interaktif, Anda mengaktifkan Lightning Engine dengan menetapkan properti
spark.dataproc.enginekelightningEngine. - Dukungan GPU: Dukungan GPU hanya tersedia di paket premium. Fitur ini dinonaktifkan secara default. Anda dapat mengaktifkannya melalui flag konfigurasi. Dukungan GPU menggunakan infrastruktur khusus, dan tercakup dalam tarif DCU premium tanpa biaya komputasi tambahan.
Model harga paket premium yang dapat diprediksi
Paket premium menggunakan model harga paket lengkap yang disederhanakan untuk kemampuan intinya. Tarif DCU premium mencakup akses ke fitur bernilai tinggi seperti Lightning Engine, Memori Tambahan, dan infrastruktur khusus yang diperlukan untuk tugas intensif shuffle. Saat Anda mengaktifkan fitur ini melalui flag konfigurasi, fitur tersebut akan disertakan dalam tarif DCU premium dasar dan tidak dikenai biaya komputasi tambahan. Artinya, Anda membayar tarif premium tunggal yang dapat diprediksi untuk mengakses rangkaian lengkap kemampuan lanjutan paket premium.