Panduan ini menunjukkan kepada developer Spark, administrator Spark, dan pelihat Spark cara mendapatkan izin yang diperlukan untuk mulai menggunakan workload batch dan sesi interaktif serverless Managed Service untuk Apache Spark.
| Persona | Siapa mereka dalam organisasi | Yang mereka butuhkan dari IAM |
|---|---|---|
| Developer Spark | Pembuat dan konsumen platform. Menulis dan menjalankan tugas PySpark dan Spark, mengembangkan di notebook dan sesi, membaca dan menulis set data, serta memantau dan memecahkan masalah workload mereka. Mencakup data engineer, data scientist, dan developer. | Izin untuk mengirimkan, menjalankan, memantau, dan memecahkan masalah workload, serta membaca dan menulis data yang disentuh oleh tugas mereka. |
| Administrator Spark | Pemilik dan pengelola platform. Menyiapkan project, memutuskan cara workload melakukan autentikasi, melakukan orientasi developer Spark, mengelola akun layanan bersama, serta menerapkan guardrail organisasi dan hak istimewa terendah. Disebut juga administrator platform. | Izin untuk memberikan akses kepada orang lain, mengonfigurasi identitas eksekusi (kredensial pengguna akhir atau akun layanan bersama), dan mengelola resource serverless di seluruh project. |
| Penampil Spark | Pengamat dan auditor platform. Melacak penyelesaian tugas, histori eksekusi, metrik, dan dasbor tanpa mengirimkan atau mengubah workload. Mencakup analis, manajer project, FinOps, dan auditor kepatuhan. | Izin hanya baca untuk melihat batch, sesi, operasi, dan dasbor status. |
Memilih versi runtime
Versi runtime yang direkomendasikan bergantung pada versi Apache Spark yang dijalankan workload Anda.
Runtime
3.x(Direkomendasikan): menggunakan Spark4serta memiliki orientasi dan penggunaan yang lebih sederhana. Secara default, workload berjalan sebagai pengguna yang mengirimkan dengan kredensial pengguna akhir (EUC) pengguna, yang memerlukan pemberian satu peran IAM kepada pengguna. Administrator dapat mengonfigurasi akun layanan kustom workload untuk penggunaan yang lebih lanjut.Runtime
2.x: menggunakan Spark3.5serta menggunakan akun pengirim dan workload terpisah. Secara default, pengirim adalah identitas pengguna, dan akun layanan default Compute Engine adalah workload identity. Administrator dapat mengonfigurasi akun layanan workload kustom untuk kontrol akses yang lebih terperinci.
Untuk mengetahui informasi selengkapnya, lihat Rilis runtime Managed Service untuk Apache Spark.
Perbandingan fitur
Runtime 3.x mengupgrade komponen dan kemampuan 2.x, serta menyediakan
penyiapan yang disederhanakan:
| Kemampuan dan alur kerja | Runtime 3.x (direkomendasikan) |
Runtime 2.x |
|---|---|---|
| Versi Apache Spark | Spark 4 | Spark 3.5 (dan 3.x sebelumnya) |
| Pengembangan interaktif | Sesi Spark Connect (klien Spark interaktif standar industri) | Sesi Jupyter |
| Workload batch R | sparklyr |
Batch SparkR |
| Identitas eksekusi | Kredensial pengguna akhir (EUC)1 | Akun layanan 1 |
| Penyimpanan untuk staging tugas | Tidak diperlukan (dikelola secara internal) | Bucket staging Cloud Storage |
| Format output log | Format JSON terstruktur (jsonPayload) |
Format teks biasa (textPayload) |
1 Runtime 3.x ditetapkan secara default ke kredensial pengguna akhir (EUC) pengirim, kecuali jika akun layanan kustom ditentukan untuk workload atau sesi.
Runtime 2.x ditetapkan secara default ke akun layanan default Compute Engine, kecuali jika akun layanan kustom ditentukan untuk workload atau sesi.
Peran data dan layanan umum
Managed Service untuk Apache Spark biasanya membaca dari dan menulis ke layanan Google Cloud lain. Bagian ini mencantumkan peran yang terkait dengan layanan yang sering diakses.
- Runtime
3.x(identitas EUC default): Memberikan peran kepada developer Spark (pengguna atau grup). - Runtime
2.x: Memberikan peran ke akun layanan workload (akun layanan default Compute Engine atau akun layanan workload kustom).
| Layanan atau API | Peran | Tujuan |
|---|---|---|
| Cloud Storage | roles/storage.objectViewerroles/storage.objectAdmin |
Membaca data input dan skrip yang di-stage. Menulis data output. |
| Katalog runtime BigLake dan Lakehouse | roles/biglake.viewerroles/biglake.editorroles/biglake.admin |
Membuat kueri dan mengelola format tabel terbuka, seperti Apache Iceberg dan Delta Lake, menggunakan katalog REST BigLake (Lakehouse REST Catalog (LRC)). |
| Bigtable | roles/bigtable.readerroles/bigtable.user |
Membaca tabel Bigtable. Membaca dan menulis data Bigtable. |
| Dataproc Metastore (DPMS) | roles/metastore.metadataViewerroles/metastore.editor |
Membaca metadata Hive. Mengelola skema dan tabel metadata. DPMS adalah metastore lama. Pelanggan dianjurkan untuk menggunakan BigLake Lakehouse REST Catalog (LRC). |
BigQuery menawarkan banyak peran IAM yang mendetail dan ACL level resource. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin IAM BigQuery.
Memberikan peran
Bagian berikut berisi petunjuk tentang cara memberikan peran untuk setiap persona yang terkait dengan penyiapan, pengiriman, dan pemantauan workload batch dan sesi interaktif serverless 3.x dan 2.x Managed Service untuk Apache Spark.
Runtime 3.x
Secara default, workload 3.x berjalan di bawah kredensial pengguna akhir (EUC) pengguna yang mengirimkan. Administrator memberikan satu peran kepada pengguna,
dan tidak diperlukan akun layanan bersama atau bucket staging. Administrator dapat mengonfigurasi akun layanan kustom saat identitas layanan khusus diperlukan.
Developer
Developer Spark (runtime 3.x)
Sebagai developer Spark, Anda dapat menggunakan runtime 3.x dengan kredensial pengguna Anda
untuk mengembangkan, mengirimkan, memantau, dan memecahkan masalah workload Spark, serta untuk mengakses data
secara langsung
Minta peran editor serverless. Minta administrator untuk memberi Anda
roles/dataproc.serverlessEditorpada project.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="roles/dataproc.serverlessEditor"Peran ini memungkinkan Anda mengirimkan, memantau, memecahkan masalah, dan membatalkan workload batch Spark dan sesi Spark Connect interaktif.
Mendapatkan akses ke data dan layanan. Karena workload berjalan sebagai Anda, identitas Anda memerlukan akses ke layanan dan set data yang disentuh oleh aplikasi Spark Anda (lihat Peran data dan layanan umum).
Misalnya, beri diri Anda akses baca ke bucket Cloud Storage input:
gcloud storage buckets add-iam-policy-binding gs://INPUT_BUCKET \ --member="user:DEVELOPER_EMAIL" \ --role="roles/storage.objectViewer"Mengirimkan workload pengujian. Kirimkan workload batch pengujian untuk mengonfirmasi penyiapan Anda.
gcloud dataproc batches submit spark \ --region=REGION \ --version=3.0 \ --class=org.apache.spark.examples.SparkPi \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ -- 1000Catatan:
Jika ini pertama kalinya Anda mengirimkan workload
3.xdi bawah kredensial pengguna akhir (EUC), Anda akan diminta untuk memberikan izin OAuth satu kali. Berikan izin, lalu kirim ulang workload.Jika project Anda tidak memiliki Jaringan VPC
default, gunakan flag atau kolomsubnetuntuk menentukan subnet regional Anda (lihat Konfigurasi jaringan serverless Managed Service untuk Apache Spark).Jika Anda menggunakan konsol Google Cloud untuk membuat profil runtime, sesi interaktif, atau workload batch, atau jika Anda menggunakan Google Cloud Data Agent Kit di IDE, Anda juga memerlukan izin untuk mencantumkan subnetwork dan memeriksa status API (lihat Izin tambahan untuk konsol Google Cloud dan IDE).
Untuk contoh menyeluruh dalam menjalankan workload PySpark dan mengonfigurasi izin yang diperlukan di Cloud Storage, BigLake, dan BigQuery, lihat Mentransformasi data dan menulis ke tabel Apache Iceberg.
Akun layanan workload kustom (runtime 3.x)
Gunakan akun layanan kustom dengan runtime 3.x saat organisasi Anda memerlukan
workload untuk dijalankan di bawah identitas khusus yang dapat diaudit, bukan kredensial
pengguna akhir (lihat Praktik terbaik akun layanan
IAM).
Mendapatkan izin untuk menjalankan workload sebagai akun layanan kustom. Minta administrator Anda untuk memberi Anda
roles/iam.serviceAccountUserdi akun layanan kustom.gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"Tentukan layanan kustom.
gcloud dataproc batches submit spark \ --region=REGION \ --service-account=WORKLOAD_SA_EMAIL \ --version=3.0 \ --class=org.apache.spark.examples.SparkPi \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ -- 1000Memberikan akses set data. Saat menggunakan akun layanan kustom, berikan peran tingkat data langsung ke
WORKLOAD_SA_EMAIL(lihat Peran data dan layanan umum).
Administrator
Administrator Spark (runtime 3.x)
Sebagai administrator Spark, Anda menyiapkan project, memutuskan cara workload melakukan autentikasi, dan memberikan akses kepada developer Spark.
Workload menggunakan subnet VPC default yang diberi nama secara otomatis. Jika project Anda tidak memiliki jaringan default atau menggunakan VPC kustom, lihat Konfigurasi jaringan serverless Managed Service untuk Apache Spark untuk menyiapkan dan menentukan subnet untuk workload dan sesi.
Aktifkan runtime 3.x dengan kredensial pengguna akhir (direkomendasikan)
Ini adalah penyiapan dengan hak istimewa terendah dan pemeliharaan terendah. Setiap developer Spark menjalankan workload sebagai identitas pengguna mereka; administrator tidak perlu menyiapkan dan mengelola akun layanan workload.
Memberikan
roles/dataproc.serverlessEditorkepada developer Spark.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="roles/dataproc.serverlessEditor"Berikan
roles/dataproc.serverlessViewerkepada pelihat hanya baca.Berikan peran ini kepada auditor, konsumen dasbor, dan anggota tim yang perlu memantau status dan log tugas tanpa mengirimkan atau mengubah workload.
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:VIEWER_EMAIL" \ --role="roles/dataproc.serverlessViewer"Memastikan akses developer ke data.
Secara default, workload
3.xruntime dijalankan sebagai pengguna yang mengirimkan. Berikan peran akses data, sepertiroles/storage.objectVieweratauroles/storage.objectAdmin, kepada developer Spark atau ke grup Google yang mencakup developer Spark (lihat Peran data dan layanan umum).
Mengaktifkan akun layanan kustom workload (runtime 3.x)
Gunakan akun layanan kustom dengan runtime 3.x saat Anda memerlukan workload untuk dijalankan
di bawah identitas khusus yang dapat diaudit, bukan kredensial pengguna akhir (lihat
Praktik terbaik akun layanan
IAM).
Berikan
roles/iam.serviceAccountUserdi akun layanan kustom workload.gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"Berikan
roles/dataproc.serverlessNodeke akun layanan kustom workload.Peran ini memungkinkan akun layanan mengelola node pool komputasi dan berkomunikasi dengan aplikasi Spark selama eksekusi workload:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:WORKLOAD_SA_EMAIL" \ --role="roles/dataproc.serverlessNode"Memberikan akses ke data aplikasi.
Berikan peran tingkat data langsung ke akun layanan workload agar dapat membaca dan menulis set data aplikasi (lihat Peran data dan layanan umum). Jika workload Anda menggunakan skrip bertahap atau JAR kustom, berikan juga akses baca pada bucket Cloud Storage yang sesuai.
Mengaktifkan akun layanan kustom pengirim (runtime 3.x)
Gunakan akun layanan kustom pengirim saat sistem otomatis (seperti Managed Service untuk Apache Airflow, Cloud Scheduler, atau pipeline CI atau CD) mengirimkan workload tanpa pengguna manusia yang interaktif.
Dalam skenario ini, akun layanan pengirim menjalankan perintah
gcloudyang memulai tugas. Berikut adalah contoh yang menggunakangcloud:gcloud dataproc batches submit spark \ --service-account=WORKLOAD_SA_EMAIL \ ...Akun layanan workload menjalankan kode Spark di node komputasi dan mengakses set data aplikasi.
- Berikan
roles/dataproc.serverlessEditorke akun layanan kustom pengirim.
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:SUBMITTER_SA_EMAIL" \ --role="roles/dataproc.serverlessEditor"Saat menggunakan runtime
3.xdengan akun layanan kustom pengirim, akun layanan workload kustom diperlukan untuk menjalankan workload; runtime tidak dapat beralih ke kredensial pengguna akhir (EUC) karena tidak ada pengguna akhir interaktif. Tugas harus dijalankan sebagai akun layanan workload yang ditentukan (--service-account).- Berikan
Berikan
roles/iam.serviceAccountUserdi akun layanan kustom workload.gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="serviceAccount:SUBMITTER_SA_EMAIL" \ --role="roles/iam.serviceAccountUser"Konfigurasi akun layanan kustom workload. Berikan peran data aplikasi dan
roles/dataproc.serverlessNodekeWORKLOAD_SA_EMAIL.
Referensi peran administrator Spark (runtime 3.x)
Tabel berikut merangkum peran yang akan diberikan dengan runtime 3.x.
| Pengirim | Workload Identity | Pemberian kepada pengirim | Memberikan ke akun layanan workload |
|---|---|---|---|
| Pengguna akhir (default) | Pengguna akhir (EUC) | roles/dataproc.serverlessEditor (+ peran data pada pengguna) |
(none—no SA used) |
| Pengguna akhir | SA Kustom | roles/dataproc.serverlessEditor + roles/iam.serviceAccountUser di SA kustom |
roles/dataproc.serverlessNode + peran data |
| SA kustom (otomatisasi) | SA Kustom | roles/dataproc.serverlessEditor + roles/iam.serviceAccountUser di SA kustom |
roles/dataproc.serverlessNode + peran data |
Pelihat
Spark viewer (runtime 3.x)
Sebagai Spark viewer, Anda dapat melihat workload batch, sesi interaktif, metrik eksekusi, log, dan dasbor status tanpa mengirimkan atau mengubah workload.
Minta administrator untuk memberi Anda roles/dataproc.serverlessViewer.
gcloud projects add-iam-policy-binding PROJECT_ID \
--member="user:VIEWER_EMAIL" \
--role="roles/dataproc.serverlessViewer"
Peran ini memberikan akses hanya baca untuk melihat workload batch serverless, sesi interaktif, dan status operasi.
Izin mendetail
Izin mendetail (runtime 3.x)
Bagian ini mencantumkan izin IAM yang disertakan dalam
peran IAM yang terkait dengan runtime 3.x.
Peran Serverless Editor (roles/dataproc.serverlessEditor)
Peran ini, dengan izinnya, memberikan akses baca dan tulis ke workload batch serverless 3.x runtime dan
sesi interaktif.
| Izin | Deskripsi |
|---|---|
dataproc.batches.create |
Membuat dan mengirimkan workload batch baru. |
dataproc.batches.get |
Mendapatkan status dan detail workload batch. |
dataproc.batches.list |
Mencantumkan semua workload batch dalam project atau region. |
dataproc.batches.delete |
Menghapus batch yang sudah selesai atau dihentikan. |
dataproc.batches.cancel |
Membatalkan workload batch yang sedang berjalan. |
dataproc.sessions.create |
Membuat sesi Spark Connect interaktif. |
dataproc.sessions.get |
Mendapatkan status dan detail sesi. |
dataproc.sessions.list |
Mencantumkan semua sesi dalam project atau region. |
dataproc.sessions.delete |
Menghapus sesi yang dihentikan. |
dataproc.sessions.terminate |
Menghentikan sesi interaktif yang sedang berjalan. |
dataproc.sessionTemplates.create |
Membuat profil runtime (template sesi). |
dataproc.sessionTemplates.get |
Mendapatkan detail profil runtime. |
dataproc.sessionTemplates.list |
Mencantumkan profil runtime dalam project atau region. |
dataproc.sessionTemplates.update |
Memperbarui profil runtime. |
dataproc.sessionTemplates.delete |
Menghapus profil runtime. |
dataproc.operations.get |
Memeriksa status operasi asinkron (diperlukan oleh gcloud CLI). |
Peran Serverless Node (roles/dataproc.serverlessNode)
Memberikan pengelolaan node pool dan izin komunikasi Spark internal untuk akun layanan workload kustom 3.x runtime.
Peran ini beserta izinnya diperlukan saat menggunakan akun layanan workload kustom dengan runtime
3.x. Workload yang berjalan di bawah kredensial pengguna akhir (EUC) 3.x default tidak menggunakan akun layanan workload.
| Izin | Deskripsi |
|---|---|
dataproc.batches.sparkApplicationWrite |
Komunikasi aplikasi Spark untuk workload batch. |
dataproc.sessions.sparkApplicationWrite |
Komunikasi aplikasi Spark untuk sesi interaktif. |
dataprocrm.nodePools.create |
Membuat node pool komputasi. |
dataprocrm.nodePools.delete |
Menghapus node pool komputasi. |
dataprocrm.nodePools.resize |
Menskalakan node pool secara dinamis. |
dataprocrm.nodePools.get |
Membaca status node pool. |
dataprocrm.nodePools.list |
Mencantumkan node pool. |
dataprocrm.nodePools.update |
Memperbarui konfigurasi node pool. |
dataprocrm.nodePools.deleteNodes |
Menghapus node tertentu dari pool. |
dataprocrm.nodes.list |
Mencantumkan node dalam pool. |
dataprocrm.nodes.delete |
Menghapus node setelah tugas selesai. |
dataprocrm.nodes.get |
Membaca status node. |
dataprocrm.nodes.heartbeat |
Melaporkan responsivitas dan heartbeat node. |
dataprocrm.nodes.mintOAuthToken |
Membuat token OAuth untuk operasi node. |
dataprocrm.operations.get |
Memeriksa status operasi infrastruktur. |
Peran Serverless Viewer (roles/dataproc.serverlessViewer)
Peran ini beserta izinnya diperlukan saat menggunakan runtime 3.x dengan
akun layanan kustom pengirim. Peran ini memberikan akses hanya baca ke workload batch serverless 3.x runtime,
sesi interaktif, dan status operasi.
| Izin | Deskripsi |
|---|---|
dataproc.batches.get |
Membaca status dan detail workload batch. |
dataproc.batches.list |
Melihat daftar workload batch. |
dataproc.sessions.get |
Membaca status dan detail sesi. |
dataproc.sessions.list |
Mencantumkan sesi. |
dataproc.operations.get |
Membaca status operasi. |
dataproc.operations.list |
Mencantumkan operasi. |
Peran delegasi akun layanan (roles/iam.serviceAccountUser)
Memungkinkan pengguna atau sistem otomatis untuk melampirkan dan menjalankan workload sebagai akun layanan kustom. Workload dijalankan dengan izin dan akses resource yang diberikan ke akun layanan tersebut, bukan kredensial pengguna akhir (EUC) pengguna yang mengirimkan.
| Izin | Deskripsi |
|---|---|
iam.serviceAccounts.actAs |
Memungkinkan pengirim menjalankan workload sebagai akun layanan yang ditentukan. |
Runtime 2.x
Secara default, workload 2.x runtime dijalankan sebagai
akun layanan default Compute Engine. Pengirim (pengguna atau sistem otomatis) bertindak sebagai akun ini saat menjalankan workload atau sesi.
Developer
Developer Spark (runtime 2.x)
Sebagai developer Spark yang menggunakan runtime 2.x, Anda mengembangkan, mengirimkan, memantau, dan memecahkan masalah workload Spark, serta mengakses data. Karena workload berjalan sebagai akun layanan, bukan identitas pengguna Anda, administrator memberi Anda peran IAM Editor dan peran Service Account User untuk menjalankan workload sebagai akun layanan workload.
Minta peran editor. Minta administrator untuk memberi Anda
roles/dataproc.editorpada project:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="roles/dataproc.editor"Minta izin delegasi. Minta administrator untuk memberi Anda
roles/iam.serviceAccountUserdi akun layanan workload.Akun layanan workload default adalah akun layanan default Compute Engine,
PROJECT_NUMBER-compute@developer.gserviceaccount.com:gcloud iam service-accounts add-iam-policy-binding \ PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"Mendapatkan akses bucket staging. Pengirim
2.xruntime memerlukan izin untuk mengupload skrip dan JAR, dan akun layanan workload memerlukan izin untuk mengelola file dan log sementara. Izin ini terdapat dalam peranroles/storage.objectAdmin.# Grant submitter access to upload staged files gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="roles/storage.objectAdmin" # Grant workload service account access for staging, temporary files, and logs gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \ --role="roles/storage.objectAdmin"Mengirimkan workload batch pengujian. Kirimkan workload batch pengujian untuk mengonfirmasi penyiapan Anda.
gcloud dataproc batches submit spark \ --region=REGION \ --version=2.2 \ --class=org.apache.spark.examples.SparkPi \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ -- 1000Catatan:
Karena workload Anda berjalan sebagai akun layanan workload, akun tersebut, bukan akun pengguna Anda, memerlukan akses ke data yang dibaca dan ditulis oleh tugas Anda (lihat Peran data dan layanan umum).
Jika project Anda tidak memiliki Jaringan VPC
default, gunakan flag atau kolomsubnetuntuk menentukan subnet regional Anda (lihat Konfigurasi jaringan serverless Managed Service untuk Apache Spark).Jika Anda menggunakan konsol Google Cloud untuk membuat profil runtime, sesi interaktif, atau workload batch, atau jika Anda menggunakan Google Cloud Data Agent Kit di IDE, Anda juga memerlukan izin untuk mencantumkan subnetwork dan memeriksa status API (lihat Izin tambahan untuk konsol Google Cloud dan IDE).
Untuk contoh menyeluruh dalam menjalankan workload PySpark dan mengonfigurasi izin yang diperlukan di Cloud Storage, BigLake, dan BigQuery, lihat Mentransformasi data dan menulis ke tabel Apache Iceberg.
Akun layanan kustom workload kustom (runtime 2.x)
Gunakan akun layanan kustom jika organisasi Anda mengharuskan workload dijalankan dengan identitas khusus yang dapat diaudit, bukan akun layanan default Compute Engine bersama (lihat praktik terbaik akun layanan IAM).
Dapatkan izin untuk menjalankan workload sebagai akun layanan kustom. Minta administrator Anda untuk memberi Anda
roles/iam.serviceAccountUserdi akun layanan kustom:gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"Tentukan akun layanan kustom dengan flag
--service-accountsaat mengirimkan workload.gcloud dataproc batches submit spark \ --region=REGION \ --service-account=WORKLOAD_SA_EMAIL \ --version=2.2 \ --class=org.apache.spark.examples.SparkPi \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ -- 1000Akses set data: Jika workload Anda tidak dapat mengakses set data, berikan peran akses data yang diperlukan kepada akun layanan kustom workload (bukan akun pengguna Anda) (lihat Peran data dan layanan umum).
Administrator
Administrator Spark (runtime 2.x)
Sebagai administrator Spark, Anda menyiapkan project, mengonfigurasi akun layanan, dan memberikan akses kepada developer Spark.
Workload menggunakan subnet VPC default yang diberi nama secara otomatis. Jika project Anda tidak memiliki jaringan default atau menggunakan VPC kustom, lihat Konfigurasi jaringan serverless Managed Service untuk Apache Spark untuk menyiapkan dan menentukan subnet untuk workload dan sesi.
Mengaktifkan runtime default 2.x
Dengan runtime default 2.x, workload berjalan sebagai
akun layanan default Compute Engine.
Berikan
roles/dataproc.editorkepada developer.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="roles/dataproc.editor"Berikan
roles/iam.serviceAccountUserdi akun layanan default.gcloud iam service-accounts add-iam-policy-binding \ PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"Berikan
roles/dataproc.workerke akun layanan workload.Peran ini memungkinkan akun layanan mendaftarkan agen VM, menyewa dan menjalankan tugas komputasi, serta mengirim log dan metrik ke Cloud Logging dan Cloud Monitoring:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \ --role="roles/dataproc.worker"Berikan
roles/storage.objectAdminuntuk penyimpanan bucket staging.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \ --role="roles/storage.objectAdmin"Memberikan akses set data ke akun layanan workload.
Berikan peran tingkat data ke akun layanan workload agar dapat mengakses set data aplikasi Spark (lihat Peran data dan layanan umum).
Mengaktifkan akun layanan kustom workload (runtime 2.x)
Gunakan akun layanan kustom workload dengan runtime 2.x untuk mengisolasi workload,
bukan menggunakan akun layanan default Compute Engine bersama.
Berikan
roles/iam.serviceAccountUserdi akun layanan kustom kepada developer.gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"Berikan
roles/dataproc.workerke akun layanan kustom.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:WORKLOAD_SA_EMAIL" \ --role="roles/dataproc.worker"Memberikan akses data dan staging aplikasi.
Berikan peran tingkat data langsung ke akun layanan kustom workload (lihat Peran data dan layanan umum) dan berikan
roles/storage.objectAdmindi bucket staging dan sementara.
Mengaktifkan akun layanan kustom pengirim (runtime 2.x)
Gunakan akun layanan kustom pengirim saat sistem otomatis (seperti Managed Service untuk Apache Airflow, Cloud Scheduler, atau pipeline CI/CD) mengirimkan workload tanpa pengguna manusia yang interaktif.
Berikan
roles/dataproc.editorke akun layanan pengirim.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:SUBMITTER_SA_EMAIL" \ --role="roles/dataproc.editor"Berikan
roles/iam.serviceAccountUserdi akun layanan workload.gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="serviceAccount:SUBMITTER_SA_EMAIL" \ --role="roles/iam.serviceAccountUser"Konfigurasikan akun layanan workload. Memberikan akses
roles/dataproc.workerdan set data keWORKLOAD_SA_EMAIL.
Referensi peran administrator Spark (runtime 2.x)
Tabel berikut merangkum peran IAM yang akan diberikan dengan runtime 2.x.
| Pengirim | Workload Identity | Pemberian kepada pengirim | Memberikan ke akun layanan workload |
|---|---|---|---|
| Pengguna akhir (default) | SA default Compute Engine | roles/dataproc.editor + roles/iam.serviceAccountUser di SA default |
roles/dataproc.worker + roles/storage.objectAdmin + peran data |
| Pengguna akhir | SA Kustom | roles/dataproc.editor + roles/iam.serviceAccountUser di SA kustom |
roles/dataproc.worker + roles/storage.objectAdmin + peran data |
| SA kustom (otomatisasi) | SA Kustom | roles/dataproc.editor + roles/iam.serviceAccountUser di SA kustom |
roles/dataproc.worker + roles/storage.objectAdmin + peran data |
Pelihat
Spark viewer (runtime 2.x)
Sebagai Spark viewer, Anda dapat melihat workload batch, sesi interaktif, metrik eksekusi, log, dan dasbor status tanpa mengirimkan atau mengubah workload.
Minta administrator untuk memberi Anda roles/dataproc.viewer:
gcloud projects add-iam-policy-binding PROJECT_ID \
--member="user:VIEWER_EMAIL" \
--role="roles/dataproc.viewer"
Peran ini memberikan akses hanya baca di seluruh resource Managed Service untuk Apache Spark, seperti cluster, tugas, batch, sesi, dan operasi.
Izin mendetail
Izin mendetail (runtime 2.x)
Bagian ini mencantumkan izin IAM yang disertakan dalam peran IAM yang terkait dengan runtime 2.x.
Peran Editor (roles/dataproc.editor)
Peran ini memberikan kontrol atas workload dan sesi serverless 2.x runtime, serta cluster dan tugas Managed Service untuk Apache Spark di Compute Engine.
| Izin | Diperlukan untuk serverless | Deskripsi |
|---|---|---|
dataproc.batches.create |
Ya | Membuat dan mengirimkan workload batch baru. |
dataproc.batches.get |
Ya | Mendapatkan status dan detail workload batch. |
dataproc.batches.list |
Ya | Mencantumkan semua workload batch dalam project atau region. |
dataproc.batches.delete |
Ya | Menghapus batch yang sudah selesai atau dihentikan. |
dataproc.batches.cancel |
Ya | Membatalkan workload batch yang sedang berjalan. |
dataproc.sessions.create |
Ya | Membuat sesi interaktif. |
dataproc.sessions.get |
Ya | Mendapatkan status dan detail sesi. |
dataproc.sessions.list |
Ya | Mencantumkan semua sesi dalam project atau region. |
dataproc.sessions.delete |
Ya | Menghapus sesi yang dihentikan. |
dataproc.sessions.terminate |
Ya | Menghentikan sesi interaktif yang sedang berjalan. |
dataproc.operations.get |
Ya | Memeriksa status operasi asinkron (diperlukan oleh gcloud CLI). |
compute.networks.get |
Ya | Melihat konfigurasi jaringan VPC. |
compute.networks.list |
Ya | Mencantumkan jaringan VPC dalam project. Tidak mencantumkan subnet; mencantumkan subnet di konsol Google Cloud atau IDE memerlukan compute.subnetworks.list (lihat Izin tambahan untuk konsol Google Cloud dan IDE). |
dataproc.clusters.* |
Tidak (hanya cluster) | Membuat, mengelola, dan menggunakan cluster Managed Service untuk Apache Spark berbasis Compute Engine. |
dataproc.jobs.* |
Tidak (hanya cluster) | Mengirim dan mengelola tugas di cluster Managed Service untuk Apache Spark berbasis Compute Engine. |
dataproc.autoscalingPolicies.* |
Tidak (hanya cluster) | Kebijakan penskalaan otomatis untuk cluster berbasis Compute Engine. |
dataproc.nodeGroups.* |
Tidak (hanya cluster) | Grup node kustom di cluster berbasis Compute Engine. |
dataproc.workflowTemplates.* |
Tidak (hanya cluster) | Template alur kerja untuk cluster berbasis Compute Engine. |
compute.machineTypes.* |
Tidak (hanya cluster) | Metadata jenis mesin untuk cluster berbasis Compute Engine. |
Peran worker (roles/dataproc.worker)
Peran ini memberikan izin eksekusi workload untuk runtime 2.x.
| Izin | Deskripsi |
|---|---|
dataproc.agents.create |
Daftarkan agen VM di VM. |
dataproc.agents.get |
Membaca status agen. |
dataproc.agents.update |
Memperbarui status agen. |
dataproc.agents.delete |
Membatalkan pendaftaran agen setelah selesai. |
dataproc.tasks.lease |
Menyewa tugas komputasi untuk dieksekusi. |
dataproc.tasks.reportStatus |
Melaporkan status eksekusi tugas. |
storage.objects.create |
Menulis data staging, file sementara, dan log. |
storage.objects.delete |
Bersihkan file sementara. |
storage.objects.get |
Membaca skrip booting dan file yang di-stage. |
storage.objects.list |
Mencantumkan konten bucket sementara dan staging. |
Peran Viewer (roles/dataproc.viewer)
Peran ini memberikan akses hanya baca di semua resource Managed Service untuk Apache Spark.
| Izin | Diperlukan untuk serverless | Deskripsi |
|---|---|---|
dataproc.batches.get |
Ya | Membaca status dan detail workload batch. |
dataproc.batches.list |
Ya | Mencantumkan semua workload batch dalam project atau region. |
dataproc.sessions.get |
Ya | Membaca status dan detail sesi. |
dataproc.sessions.list |
Ya | Mencantumkan semua sesi dalam project atau region. |
dataproc.operations.get |
Ya | Membaca status operasi asinkron. |
dataproc.operations.list |
Ya | Mencantumkan operasi dalam project atau region. |
dataproc.clusters.get |
Tidak (hanya cluster) | Melihat konfigurasi dan status cluster. |
dataproc.clusters.list |
Tidak (hanya cluster) | Mencantumkan cluster dalam project atau region. |
dataproc.jobs.get |
Tidak (hanya cluster) | Melihat detail dan status tugas di cluster. |
dataproc.jobs.list |
Tidak (hanya cluster) | Mencantumkan tugas di cluster. |
dataproc.autoscalingPolicies.get |
Tidak (hanya cluster) | Melihat detail kebijakan penskalaan otomatis. |
dataproc.autoscalingPolicies.list |
Tidak (hanya cluster) | Mencantumkan kebijakan penskalaan otomatis. |
dataproc.workflowTemplates.get |
Tidak (hanya cluster) | Melihat detail template alur kerja. |
dataproc.workflowTemplates.list |
Tidak (hanya cluster) | Membuat daftar template alur kerja. |
Peran delegasi akun layanan (roles/iam.serviceAccountUser)
Memungkinkan pengguna atau sistem otomatis untuk melampirkan dan menjalankan workload sebagai akun layanan default Compute Engine atau akun layanan kustom. Workload dijalankan dengan izin dan akses resource yang diberikan ke akun layanan tersebut.
| Izin | Deskripsi |
|---|---|
iam.serviceAccounts.actAs |
Memungkinkan pengirim menjalankan workload sebagai akun layanan yang ditentukan. |
Izin tambahan untuk konsol Google Cloud dan IDE
Saat Anda mengirimkan workload dengan Google Cloud CLI atau Dataproc API,
bidang kontrol Managed Service untuk Apache Spark akan menyelesaikan jaringan VPC dan subnetwork default
project secara otomatis tanpa memeriksa
subnetwork Compute Engine atau izin Service Usage tingkat pemanggil.
Namun, saat Anda membuat atau mengedit profil runtime, sesi interaktif, atau workload batch di konsol Google Cloud , atau saat Anda menggunakan Google Cloud Data Agent Kit di IDE seperti VS Code, klien akan melakukan pemeriksaan baca tambahan berdasarkan kredensial pengguna Anda:
| Izin | Alur kerja klien | Tujuan |
|---|---|---|
compute.subnetworks.list |
Google Cloud console dan Data Agent Kit | Cantumkan subnetwork VPC regional untuk memvalidasi bahwa jaringan default memiliki subnet dengan Akses Google Pribadi yang diaktifkan dan untuk mengisi menu jaringan dan subnetwork. |
compute.subnetworks.get |
Google Cloud console dan Data Agent Kit | Memeriksa metadata subnetwork saat melihat, meng-clone, atau mengedit profil runtime, sesi, atau workload batch. |
compute.networks.list |
Google Cloud console dan Data Agent Kit | Mencantumkan jaringan VPC dalam project (disertakan dalam roles/dataproc.editor dan roles/dataproc.admin, tetapi tidak dalam roles/dataproc.serverlessEditor). |
compute.networks.get |
Google Cloud console dan Data Agent Kit | Melihat detail jaringan VPC (disertakan dalam roles/dataproc.editor dan roles/dataproc.admin, tetapi tidak dalam roles/dataproc.serverlessEditor). |
serviceusage.services.get |
Data Agent Kit dan IDE | Periksa apakah Dataproc API (dataproc.googleapis.com) diaktifkan di project yang dipilih sebelum memuat hierarki resource Spark. |
serviceusage.services.list |
Google Cloud konsol dan IDE | Mencantumkan API yang diaktifkan dalam project. |
Memberikan peran khusus minimal (direkomendasikan)
Untuk mengikuti prinsip hak istimewa terendah,
buat peran IAM khusus yang hanya memberikan izin yang diperlukan
untuk alur kerja konsol dan IDE Google Cloud , dan ikat ke developer Spark
Anda selain roles/dataproc.serverlessEditor atau
roles/dataproc.editor:
Buat peran khusus di project Anda:
gcloud iam roles create sparkConsoleAndIdeUser \ --project=PROJECT_ID \ --title="Managed Spark Console and IDE User" \ --description="Read-only network and Service Usage permissions for Managed Spark console and IDE workflows" \ --permissions=compute.networks.get,compute.networks.list,compute.subnetworks.get,compute.subnetworks.list,serviceusage.services.get,serviceusage.services.list \ --stage=GABerikan peran khusus kepada developer Spark:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="projects/PROJECT_ID/roles/sparkConsoleAndIdeUser"
Sebagai alternatif untuk mempertahankan peran khusus, Anda dapat memberikan peran Compute Network Viewer (roles/compute.networkViewer) dan Service Usage Viewer (roles/serviceusage.serviceUsageViewer) yang telah ditetapkan. Menggunakan peran bawaan akan menghindari pemeliharaan peran khusus, karena Google Cloud mengelola izinnya secara otomatis. Namun, peran Viewer yang telah ditetapkan memberikan akses baca yang lebih luas daripada yang diperlukan Managed Service untuk Apache Spark: roles/compute.networkViewer memungkinkan pengguna melihat semua resource jaringan Compute Engine dalam project (termasuk aturan firewall, rute, Cloud Router, tunnel VPN, aturan penerusan, dan grup endpoint jaringan), dan roles/serviceusage.serviceUsageViewer memungkinkan pengguna melihat kuota dan kebijakan konsumen di semua layanan dalam project.
Jangan memberikan roles/compute.networkUser atau roles/serviceusage.serviceUsageConsumer
kepada pengguna akhir hanya untuk akses konsol atau IDE Google Cloud , karena peran tersebut
juga memberikan izin lampiran resource dan kuota (compute.subnetworks.use
dan serviceusage.services.use) yang tidak diperlukan pengguna akhir.
Langkah berikutnya
- Baca Mentransformasi data dan menulis ke tabel Apache Iceberg untuk tutorial menyeluruh menggunakan PySpark dan izin Spark serverless.
- Pahami Siklus proses workload batch serverless Managed Service untuk Apache Spark.
- Pelajari konfigurasi jaringan serverless Managed Service untuk Apache Spark.