"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).
Google uses AI technology to translate content into your preferred language. AI translations can contain errors.
Penyimpanan data Hadoop
Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Managed Service untuk Apache Spark terintegrasi dengan Apache Hadoop dan Hadoop Distributed File System (HDFS). Fitur dan pertimbangan berikut dapat menjadi penting saat memilih opsi penyimpanan data dan komputasi untuk cluster dan tugas Managed Service untuk Apache Spark:
HDFS dengan Cloud Storage:
Managed Service untuk Apache Spark menggunakan
Hadoop Distributed File System (HDFS) untuk penyimpanan. Selain itu, Managed Service untuk Apache Spark secara otomatis menginstal konektor Cloud Storage yang kompatibel dengan HDFS, yang memungkinkan penggunaan Cloud Storage secara paralel dengan HDFS. Data dapat dipindahkan ke dalam dan ke luar cluster melalui
upload dan download ke HDFS atau Cloud Storage.
Disk VM:
Secara default, jika tidak ada SSD lokal yang disediakan, data HDFS dan data shuffle perantara disimpan di boot disk VM, yang merupakan Persistent Disk.
Jika Anda menggunakan SSD lokal,
data HDFS dan data shuffle perantara disimpan di SSD.
Ukuran dan jenis disk persisten (PD) memengaruhi performa dan ukuran VM, baik saat menggunakan HDFS maupun Cloud Storage untuk penyimpanan data.
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2026-06-04 UTC."],[],[]]
