Halaman ini berisi pertanyaan umum (FAQ) tentang deployment serverless Managed Service untuk Apache Spark beserta jawabannya. Kecuali jika dinyatakan lain, informasi ini hanya berlaku untuk deployment serverless Managed Service untuk Apache Spark, bukan cluster.
Kapan saya harus menggunakan deployment serverless Managed Service untuk Apache Spark, bukan deployment cluster Managed Service untuk Apache Spark?
Deployment serverless Managed Service untuk Apache Spark:
- Mendukung workload batch Spark dan sesi interaktif di notebook Jupyter kernel PySpark.
- Membuat dan mengelola infrastruktur sesi interaktif dan workload Anda.
Deployment cluster Managed Service untuk Apache Spark:
Mendukung pengiriman berbagai jenis tugas Spark, dan tugas berdasarkan komponen open source lainnya, seperti Flink, Hadoop, Hive, Pig, Presto, dan lainnya.
Tidak membuat dan mengelola infrastruktur. Anda membuat dan mengelola cluster Managed Service untuk Apache Spark.
Apa yang dapat saya lakukan dengan deployment serverless Managed Service untuk Apache Spark?
Menjalankan tugas streaming menggunakan library streaming Spark. Catatan: Streaming bukan layanan terkelola, jadi Anda harus mengelola pembuatan checkpoint dan memulai ulang.
Melatih model menggunakan Spark MLlib.
Menggunakan notebook SQL interaktif untuk eksplorasi data, grafik, deret waktu, dan analisis geospasial.
Mengatur workload Managed Service untuk Apache Spark dengan Managed Service untuk Apache Airflow, layanan Apache Airflow terkelola.
Bagaimana cara menyiapkan rencana eksekusi workload?
Anda dapat menjalankan workload secara serentak atau berurutan. Rencana eksekusi akan memengaruhi kuota resource Anda. Google Cloud Anda dapat menjalankan workload secara paralel sebanyak yang diizinkan oleh kuota resource batch Anda.
Dapatkah saya menggunakan image kustom dengan deployment serverless Managed Service untuk Apache Spark?
- Ya. Anda dapat menggunakan image container kustom, bukan image container default. Lihat Menggunakan container kustom dengan Managed Service untuk Apache Spark.
Dapatkah saya menentukan resource memori dan disk untuk workload Managed Service untuk Apache Spark?
Ya. Anda dapat menentukan komputasi dan tingkat disk driver dan eksekutor premium serta jumlah resource komputasi dan disk driver dan eksekutor yang akan dialokasikan saat Anda mengirimkan workload (lihat Properti alokasi resource).
Bagaimana cara menentukan rentang alamat IP untuk jaringan VPC Managed Service untuk Apache Spark?
Workload Managed Service untuk Apache Spark berjalan dalam lingkungan Anda.
Setiap driver Spark dan eksekutor Spark dalam workload Spark Serverless menggunakan satu
alamat IP internal di jaringan VPC Managed Service untuk Apache Spark.
/16 adalah rentang alamat IP CIDR yang biasanya ditentukan pengguna untuk jaringan VPC Managed Service untuk Apache Spark.
Anda dapat membatasi rentang alamat IP jaringan berdasarkan jumlah workload serentak yang Anda rencanakan untuk dijalankan.
Apakah Managed Service untuk Apache Spark mendukung residensi data?
Ya. Anda menentukan region tempat workload diproses. Temukan set data input dan output di region yang ditentukan.
Bagaimana Managed Service untuk Apache Spark memilih zona dalam region yang ditentukan untuk menjalankan workload?
Managed Service untuk Apache Spark memilih zona Compute Engine tempat workload dijalankan berdasarkan kapasitas dan ketersediaan. Jika zona tidak tersedia setelah workload dimulai, workload akan gagal, dan Anda harus mengirim ulang workload yang gagal.
Bagaimana workload Managed Service untuk Apache Spark menggunakan resource komputasi?
Setiap workload berjalan di resource komputasinya sendiri. Beberapa pengiriman batch tidak berbagi atau menggunakan kembali resource komputasi.
Praktik Terbaik:
Optimalkan workload Anda untuk tugas yang berjalan sedang, bukan tugas yang berjalan singkat.
Pertahankan data yang diakses oleh beberapa workload di Cloud Storage.
Di mana saya dapat menemukan informasi tentang pengumuman, fitur, perbaikan bug, masalah umum, dan penghentian Managed Service untuk Apache Spark?
Lihat catatan rilis Managed Service untuk Apache Spark.
Apakah workload serentak bersaing untuk mendapatkan resource?
Workload Managed Service untuk Apache Spark hanya bersaing untuk mendapatkan resource jika kuota resource Anda tidak cukup untuk menjalankan semua workload yang berjalan serentak. Jika tidak, workload akan sepenuhnya terisolasi satu sama lain.
Bagaimana kuota Managed Service untuk Apache Spark dialokasikan?
Managed Service untuk Apache Spark menggunakan resource konsumen Google Cloud . Lihat Kuota Dataproc Serverless untuk mengetahui informasi selengkapnya.
Apakah saya perlu menyiapkan Persistent History Server Managed Service untuk Apache Spark?
Menyiapkan Persistent History Server (PHS) untuk digunakan dengan Managed Service untuk Apache Spark bersifat opsional.Anda dapat menggunakan PHS untuk melihat peristiwa Spark dan log lainnya di bucket Cloud Storage yang ditentukan hingga dan setelah periode retensi (TTL) bucket staging dan temp Managed Service untuk Apache Spark standar selama 90 hari.
Log Managed Service untuk Apache Spark apa yang tersedia?
Log driver dan eksekutor Spark tersedia di Cloud Logging selama dan setelah eksekusi workload Spark. Selain itu, aplikasi Spark dapat dilihat di Persistent History Server (PHS) antarmuka web saat workload berjalan (pilih PHS > Incomplete Applications di UI PHS).
Jika Anda menyiapkan PHS Managed Service untuk Apache Spark, PHS akan memberikan akses berkelanjutan ke log peristiwa Spark yang disimpan di Cloud Storage, yang memberikan insight tentang eksekusi aplikasi Spark, seperti peristiwa eksekutor dan DAG.
Dapatkah saya menetapkan jumlah eksekutor untuk workload Spark?
Ya. Anda dapat menetapkan jumlah eksekutor untuk workload Spark menggunakan properti
spark.executor.instances. Namun, jumlah total core yang dapat digunakan workload lebih penting daripada jumlah eksekutor karena Spark menjalankan 1 tugas per core. Misalnya, jika workload memiliki empat eksekutor dengan dua core masing-masing, workload akan menjalankan 4 * 2 = 8 tugas secara bersamaan. Selain itu, workload juga akan menjalankan jumlah tugas yang sama untuk workload yang memiliki dua eksekutor dengan empat core masing-masing. Karena jumlah core untuk setiap workload sama, workload akan menjalankan jumlah tugas yang sama. Anda dapat menggunakan properti
spark.executor.cores
untuk menetapkan jumlah core per eksekutor untuk workload Managed Service untuk Apache Spark.
Metrik Spark apa yang digunakan Managed Service untuk Apache Spark untuk penskalaan otomatis?
Managed Service untuk Apache Spark melihat metrik alokasi dinamis Spark maximum-needed dan running untuk menentukan apakah akan melakukan peningkatan skala atau tidak.
Lihat Penskalaan otomatis Managed Service untuk Apache Spark.
Dapatkah saya mengonfigurasi perilaku penskalaan otomatis Managed Service untuk Apache Spark menggunakan properti Spark?
Ya. Penskalaan otomatis Managed Service untuk Apache Spark didasarkan pada alokasi dinamis Spark, dan diaktifkan secara default. Anda dapat menyesuaikan properti Spark berikut dan properti alokasi dinamis Spark:
spark.executor.instancesspark.dynamicAllocation.initialExecutorsspark.dynamicAllocation.minExecutorsspark.dynamicAllocation.maxExecutors
Mengapa saya harus mengemas kode dalam file JAR untuk mengirimkan workload Spark?
Spark ditulis dalam Scala, yang berarti bahwa proses driver dan pekerja beroperasi sebagai proses JVM. Dalam bahasa JVM, file JAR adalah cara utama untuk mengemas kode. Anda meneruskan file JAR ke Managed Service untuk Apache Spark saat Anda mengirimkan workload.