Persona dan peran IAM serverless

Panduan ini menunjukkan kepada developer Spark, administrator Spark, dan pelihat Spark cara mendapatkan izin yang diperlukan untuk mulai menggunakan workload batch dan sesi interaktif serverless Managed Service untuk Apache Spark.

Persona Siapa mereka dalam organisasi Yang mereka butuhkan dari IAM
Developer Spark Pembuat dan konsumen platform. Menulis dan menjalankan tugas PySpark dan Spark, mengembangkan di notebook dan sesi, membaca dan menulis set data, serta memantau dan memecahkan masalah workload mereka. Mencakup data engineer, data scientist, dan developer. Izin untuk mengirimkan, menjalankan, memantau, dan memecahkan masalah workload, serta membaca dan menulis data yang disentuh oleh tugas mereka.
Administrator Spark Pemilik dan pengelola platform. Menyiapkan project, memutuskan cara workload melakukan autentikasi, melakukan orientasi developer Spark, mengelola akun layanan bersama, serta menerapkan guardrail organisasi dan hak istimewa terendah. Disebut juga administrator platform. Izin untuk memberikan akses kepada orang lain, mengonfigurasi identitas eksekusi (kredensial pengguna akhir atau akun layanan bersama), dan mengelola resource serverless di seluruh project.
Penampil Spark Pengamat dan auditor platform. Melacak penyelesaian tugas, histori eksekusi, metrik, dan dasbor tanpa mengirimkan atau mengubah workload. Mencakup analis, manajer project, FinOps, dan auditor kepatuhan. Izin hanya baca untuk melihat batch, sesi, operasi, dan dasbor status.

Memilih versi runtime

Versi runtime yang direkomendasikan bergantung pada versi Apache Spark yang dijalankan workload Anda.

  • Runtime 3.x (Direkomendasikan): menggunakan Spark 4 serta memiliki orientasi dan penggunaan yang lebih sederhana. Secara default, workload berjalan sebagai pengguna yang mengirimkan dengan kredensial pengguna akhir (EUC) pengguna, yang memerlukan pemberian satu peran IAM kepada pengguna. Administrator dapat mengonfigurasi akun layanan kustom workload untuk penggunaan yang lebih lanjut.

  • Runtime 2.x: menggunakan Spark 3.5 serta menggunakan akun pengirim dan workload terpisah. Secara default, pengirim adalah identitas pengguna, dan akun layanan default Compute Engine adalah workload identity. Administrator dapat mengonfigurasi akun layanan workload kustom untuk kontrol akses yang lebih terperinci.

Untuk mengetahui informasi selengkapnya, lihat Rilis runtime Managed Service untuk Apache Spark.

Perbandingan fitur

Runtime 3.x mengupgrade komponen dan kemampuan 2.x, serta menyediakan penyiapan yang disederhanakan:

Kemampuan dan alur kerja Runtime 3.x (direkomendasikan) Runtime 2.x
Versi Apache Spark Spark 4 Spark 3.5 (dan 3.x sebelumnya)
Pengembangan interaktif Sesi Spark Connect (klien Spark interaktif standar industri) Sesi Jupyter
Workload batch R sparklyr Batch SparkR
Identitas eksekusi Kredensial pengguna akhir (EUC)1 Akun layanan 1
Penyimpanan untuk staging tugas Tidak diperlukan (dikelola secara internal) Bucket staging Cloud Storage
Format output log Format JSON terstruktur (jsonPayload) Format teks biasa (textPayload)

1 Runtime 3.x ditetapkan secara default ke kredensial pengguna akhir (EUC) pengirim, kecuali jika akun layanan kustom ditentukan untuk workload atau sesi. Runtime 2.x ditetapkan secara default ke akun layanan default Compute Engine, kecuali jika akun layanan kustom ditentukan untuk workload atau sesi.

Peran data dan layanan umum

Managed Service untuk Apache Spark biasanya membaca dari dan menulis ke layanan Google Cloud lain. Bagian ini mencantumkan peran yang terkait dengan layanan yang sering diakses.

  • Runtime 3.x (identitas EUC default): Memberikan peran kepada developer Spark (pengguna atau grup).
  • Runtime 2.x: Memberikan peran ke akun layanan workload (akun layanan default Compute Engine atau akun layanan workload kustom).
Layanan atau API Peran Tujuan
Cloud Storage roles/storage.objectViewer
roles/storage.objectAdmin
Membaca data input dan skrip yang di-stage.
Menulis data output.
Katalog runtime BigLake dan Lakehouse roles/biglake.viewer
roles/biglake.editor
roles/biglake.admin
Membuat kueri dan mengelola format tabel terbuka, seperti Apache Iceberg dan Delta Lake, menggunakan katalog REST BigLake (Lakehouse REST Catalog (LRC)).
Bigtable roles/bigtable.reader
roles/bigtable.user
Membaca tabel Bigtable.
Membaca dan menulis data Bigtable.
Dataproc Metastore (DPMS) roles/metastore.metadataViewer
roles/metastore.editor
Membaca metadata Hive.
Mengelola skema dan tabel metadata.

DPMS adalah metastore lama. Pelanggan dianjurkan untuk menggunakan BigLake Lakehouse REST Catalog (LRC).

BigQuery menawarkan banyak peran IAM yang mendetail dan ACL level resource. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin IAM BigQuery.

Memberikan peran

Bagian berikut berisi petunjuk tentang cara memberikan peran untuk setiap persona yang terkait dengan penyiapan, pengiriman, dan pemantauan workload batch dan sesi interaktif serverless 3.x dan 2.x Managed Service untuk Apache Spark.

Runtime 3.x

Secara default, workload 3.x berjalan di bawah kredensial pengguna akhir (EUC) pengguna yang mengirimkan. Administrator memberikan satu peran kepada pengguna, dan tidak diperlukan akun layanan bersama atau bucket staging. Administrator dapat mengonfigurasi akun layanan kustom saat identitas layanan khusus diperlukan.

Developer

Developer Spark (runtime 3.x)

Sebagai developer Spark, Anda dapat menggunakan runtime 3.x dengan kredensial pengguna Anda untuk mengembangkan, mengirimkan, memantau, dan memecahkan masalah workload Spark, serta untuk mengakses data secara langsung

  1. Minta peran editor serverless. Minta administrator untuk memberi Anda roles/dataproc.serverlessEditor pada project.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.serverlessEditor"
    

    Peran ini memungkinkan Anda mengirimkan, memantau, memecahkan masalah, dan membatalkan workload batch Spark dan sesi Spark Connect interaktif.

  2. Mendapatkan akses ke data dan layanan. Karena workload berjalan sebagai Anda, identitas Anda memerlukan akses ke layanan dan set data yang disentuh oleh aplikasi Spark Anda (lihat Peran data dan layanan umum).

    Misalnya, beri diri Anda akses baca ke bucket Cloud Storage input:

    gcloud storage buckets add-iam-policy-binding gs://INPUT_BUCKET \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/storage.objectViewer"
    
  3. Mengirimkan workload pengujian. Kirimkan workload batch pengujian untuk mengonfirmasi penyiapan Anda.

    gcloud dataproc batches submit spark \
      --region=REGION \
      --version=3.0 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    

    Catatan:

    • Jika ini pertama kalinya Anda mengirimkan workload 3.x di bawah kredensial pengguna akhir (EUC), Anda akan diminta untuk memberikan izin OAuth satu kali. Berikan izin, lalu kirim ulang workload.

    • Jika project Anda tidak memiliki Jaringan VPC default, gunakan flag atau kolom subnet untuk menentukan subnet regional Anda (lihat Konfigurasi jaringan serverless Managed Service untuk Apache Spark).

    • Jika Anda menggunakan konsol Google Cloud untuk membuat profil runtime, sesi interaktif, atau workload batch, atau jika Anda menggunakan Google Cloud Data Agent Kit di IDE, Anda juga memerlukan izin untuk mencantumkan subnetwork dan memeriksa status API (lihat Izin tambahan untuk konsol Google Cloud dan IDE).

    • Untuk contoh menyeluruh dalam menjalankan workload PySpark dan mengonfigurasi izin yang diperlukan di Cloud Storage, BigLake, dan BigQuery, lihat Mentransformasi data dan menulis ke tabel Apache Iceberg.

Akun layanan workload kustom (runtime 3.x)

Gunakan akun layanan kustom dengan runtime 3.x saat organisasi Anda memerlukan workload untuk dijalankan di bawah identitas khusus yang dapat diaudit, bukan kredensial pengguna akhir (lihat Praktik terbaik akun layanan IAM).

  1. Mendapatkan izin untuk menjalankan workload sebagai akun layanan kustom. Minta administrator Anda untuk memberi Anda roles/iam.serviceAccountUser di akun layanan kustom.

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. Tentukan layanan kustom.

    gcloud dataproc batches submit spark \
      --region=REGION \
      --service-account=WORKLOAD_SA_EMAIL \
      --version=3.0 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    
  3. Memberikan akses set data. Saat menggunakan akun layanan kustom, berikan peran tingkat data langsung ke WORKLOAD_SA_EMAIL (lihat Peran data dan layanan umum).

Administrator

Administrator Spark (runtime 3.x)

Sebagai administrator Spark, Anda menyiapkan project, memutuskan cara workload melakukan autentikasi, dan memberikan akses kepada developer Spark.

Workload menggunakan subnet VPC default yang diberi nama secara otomatis. Jika project Anda tidak memiliki jaringan default atau menggunakan VPC kustom, lihat Konfigurasi jaringan serverless Managed Service untuk Apache Spark untuk menyiapkan dan menentukan subnet untuk workload dan sesi.

Aktifkan runtime 3.x dengan kredensial pengguna akhir (direkomendasikan)

Ini adalah penyiapan dengan hak istimewa terendah dan pemeliharaan terendah. Setiap developer Spark menjalankan workload sebagai identitas pengguna mereka; administrator tidak perlu menyiapkan dan mengelola akun layanan workload.

  1. Memberikan roles/dataproc.serverlessEditor kepada developer Spark.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.serverlessEditor"
    
  2. Berikan roles/dataproc.serverlessViewer kepada pelihat hanya baca.

    Berikan peran ini kepada auditor, konsumen dasbor, dan anggota tim yang perlu memantau status dan log tugas tanpa mengirimkan atau mengubah workload.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:VIEWER_EMAIL" \
      --role="roles/dataproc.serverlessViewer"
    
  3. Memastikan akses developer ke data.

    Secara default, workload 3.x runtime dijalankan sebagai pengguna yang mengirimkan. Berikan peran akses data, seperti roles/storage.objectViewer atau roles/storage.objectAdmin, kepada developer Spark atau ke grup Google yang mencakup developer Spark (lihat Peran data dan layanan umum).

Mengaktifkan akun layanan kustom workload (runtime 3.x)

Gunakan akun layanan kustom dengan runtime 3.x saat Anda memerlukan workload untuk dijalankan di bawah identitas khusus yang dapat diaudit, bukan kredensial pengguna akhir (lihat Praktik terbaik akun layanan IAM).

  1. Berikan roles/iam.serviceAccountUser di akun layanan kustom workload.

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. Berikan roles/dataproc.serverlessNode ke akun layanan kustom workload.

    Peran ini memungkinkan akun layanan mengelola node pool komputasi dan berkomunikasi dengan aplikasi Spark selama eksekusi workload:

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:WORKLOAD_SA_EMAIL" \
      --role="roles/dataproc.serverlessNode"
    
  3. Memberikan akses ke data aplikasi.

    Berikan peran tingkat data langsung ke akun layanan workload agar dapat membaca dan menulis set data aplikasi (lihat Peran data dan layanan umum). Jika workload Anda menggunakan skrip bertahap atau JAR kustom, berikan juga akses baca pada bucket Cloud Storage yang sesuai.

Mengaktifkan akun layanan kustom pengirim (runtime 3.x)

Gunakan akun layanan kustom pengirim saat sistem otomatis (seperti Managed Service untuk Apache Airflow, Cloud Scheduler, atau pipeline CI atau CD) mengirimkan workload tanpa pengguna manusia yang interaktif.

  • Dalam skenario ini, akun layanan pengirim menjalankan perintah gcloud yang memulai tugas. Berikut adalah contoh yang menggunakan gcloud:

    gcloud dataproc batches submit spark \
      --service-account=WORKLOAD_SA_EMAIL \
      ...
    
  • Akun layanan workload menjalankan kode Spark di node komputasi dan mengakses set data aplikasi.

    1. Berikan roles/dataproc.serverlessEditor ke akun layanan kustom pengirim.
    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/dataproc.serverlessEditor"
    

    Saat menggunakan runtime 3.x dengan akun layanan kustom pengirim, akun layanan workload kustom diperlukan untuk menjalankan workload; runtime tidak dapat beralih ke kredensial pengguna akhir (EUC) karena tidak ada pengguna akhir interaktif. Tugas harus dijalankan sebagai akun layanan workload yang ditentukan (--service-account).

  1. Berikan roles/iam.serviceAccountUser di akun layanan kustom workload.

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. Konfigurasi akun layanan kustom workload. Berikan peran data aplikasi dan roles/dataproc.serverlessNode ke WORKLOAD_SA_EMAIL.

Referensi peran administrator Spark (runtime 3.x)

Tabel berikut merangkum peran yang akan diberikan dengan runtime 3.x.

Pengirim Workload Identity Pemberian kepada pengirim Memberikan ke akun layanan workload
Pengguna akhir (default) Pengguna akhir (EUC) roles/dataproc.serverlessEditor (+ peran data pada pengguna) (none—no SA used)
Pengguna akhir SA Kustom roles/dataproc.serverlessEditor + roles/iam.serviceAccountUser di SA kustom roles/dataproc.serverlessNode + peran data
SA kustom (otomatisasi) SA Kustom roles/dataproc.serverlessEditor + roles/iam.serviceAccountUser di SA kustom roles/dataproc.serverlessNode + peran data

Pelihat

Spark viewer (runtime 3.x)

Sebagai Spark viewer, Anda dapat melihat workload batch, sesi interaktif, metrik eksekusi, log, dan dasbor status tanpa mengirimkan atau mengubah workload.

Minta administrator untuk memberi Anda roles/dataproc.serverlessViewer.

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="user:VIEWER_EMAIL" \
  --role="roles/dataproc.serverlessViewer"

Peran ini memberikan akses hanya baca untuk melihat workload batch serverless, sesi interaktif, dan status operasi.

Izin mendetail

Izin mendetail (runtime 3.x)

Bagian ini mencantumkan izin IAM yang disertakan dalam peran IAM yang terkait dengan runtime 3.x.

Peran Serverless Editor (roles/dataproc.serverlessEditor)

Peran ini, dengan izinnya, memberikan akses baca dan tulis ke workload batch serverless 3.x runtime dan sesi interaktif.

Izin Deskripsi
dataproc.batches.create Membuat dan mengirimkan workload batch baru.
dataproc.batches.get Mendapatkan status dan detail workload batch.
dataproc.batches.list Mencantumkan semua workload batch dalam project atau region.
dataproc.batches.delete Menghapus batch yang sudah selesai atau dihentikan.
dataproc.batches.cancel Membatalkan workload batch yang sedang berjalan.
dataproc.sessions.create Membuat sesi Spark Connect interaktif.
dataproc.sessions.get Mendapatkan status dan detail sesi.
dataproc.sessions.list Mencantumkan semua sesi dalam project atau region.
dataproc.sessions.delete Menghapus sesi yang dihentikan.
dataproc.sessions.terminate Menghentikan sesi interaktif yang sedang berjalan.
dataproc.sessionTemplates.create Membuat profil runtime (template sesi).
dataproc.sessionTemplates.get Mendapatkan detail profil runtime.
dataproc.sessionTemplates.list Mencantumkan profil runtime dalam project atau region.
dataproc.sessionTemplates.update Memperbarui profil runtime.
dataproc.sessionTemplates.delete Menghapus profil runtime.
dataproc.operations.get Memeriksa status operasi asinkron (diperlukan oleh gcloud CLI).

Peran Serverless Node (roles/dataproc.serverlessNode)

Memberikan pengelolaan node pool dan izin komunikasi Spark internal untuk akun layanan workload kustom 3.x runtime.

Peran ini beserta izinnya diperlukan saat menggunakan akun layanan workload kustom dengan runtime 3.x. Workload yang berjalan di bawah kredensial pengguna akhir (EUC) 3.x default tidak menggunakan akun layanan workload.

Izin Deskripsi
dataproc.batches.sparkApplicationWrite Komunikasi aplikasi Spark untuk workload batch.
dataproc.sessions.sparkApplicationWrite Komunikasi aplikasi Spark untuk sesi interaktif.
dataprocrm.nodePools.create Membuat node pool komputasi.
dataprocrm.nodePools.delete Menghapus node pool komputasi.
dataprocrm.nodePools.resize Menskalakan node pool secara dinamis.
dataprocrm.nodePools.get Membaca status node pool.
dataprocrm.nodePools.list Mencantumkan node pool.
dataprocrm.nodePools.update Memperbarui konfigurasi node pool.
dataprocrm.nodePools.deleteNodes Menghapus node tertentu dari pool.
dataprocrm.nodes.list Mencantumkan node dalam pool.
dataprocrm.nodes.delete Menghapus node setelah tugas selesai.
dataprocrm.nodes.get Membaca status node.
dataprocrm.nodes.heartbeat Melaporkan responsivitas dan heartbeat node.
dataprocrm.nodes.mintOAuthToken Membuat token OAuth untuk operasi node.
dataprocrm.operations.get Memeriksa status operasi infrastruktur.

Peran Serverless Viewer (roles/dataproc.serverlessViewer)

Peran ini beserta izinnya diperlukan saat menggunakan runtime 3.x dengan akun layanan kustom pengirim. Peran ini memberikan akses hanya baca ke workload batch serverless 3.x runtime, sesi interaktif, dan status operasi.

Izin Deskripsi
dataproc.batches.get Membaca status dan detail workload batch.
dataproc.batches.list Melihat daftar workload batch.
dataproc.sessions.get Membaca status dan detail sesi.
dataproc.sessions.list Mencantumkan sesi.
dataproc.operations.get Membaca status operasi.
dataproc.operations.list Mencantumkan operasi.

Peran delegasi akun layanan (roles/iam.serviceAccountUser)

Memungkinkan pengguna atau sistem otomatis untuk melampirkan dan menjalankan workload sebagai akun layanan kustom. Workload dijalankan dengan izin dan akses resource yang diberikan ke akun layanan tersebut, bukan kredensial pengguna akhir (EUC) pengguna yang mengirimkan.

Izin Deskripsi
iam.serviceAccounts.actAs Memungkinkan pengirim menjalankan workload sebagai akun layanan yang ditentukan.

Runtime 2.x

Secara default, workload 2.x runtime dijalankan sebagai akun layanan default Compute Engine. Pengirim (pengguna atau sistem otomatis) bertindak sebagai akun ini saat menjalankan workload atau sesi.

Developer

Developer Spark (runtime 2.x)

Sebagai developer Spark yang menggunakan runtime 2.x, Anda mengembangkan, mengirimkan, memantau, dan memecahkan masalah workload Spark, serta mengakses data. Karena workload berjalan sebagai akun layanan, bukan identitas pengguna Anda, administrator memberi Anda peran IAM Editor dan peran Service Account User untuk menjalankan workload sebagai akun layanan workload.

  1. Minta peran editor. Minta administrator untuk memberi Anda roles/dataproc.editor pada project:

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.editor"
    
  2. Minta izin delegasi. Minta administrator untuk memberi Anda roles/iam.serviceAccountUser di akun layanan workload.

    Akun layanan workload default adalah akun layanan default Compute Engine, PROJECT_NUMBER-compute@developer.gserviceaccount.com:

    gcloud iam service-accounts add-iam-policy-binding \
      PROJECT_NUMBER-compute@developer.gserviceaccount.com \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  3. Mendapatkan akses bucket staging. Pengirim 2.x runtime memerlukan izin untuk mengupload skrip dan JAR, dan akun layanan workload memerlukan izin untuk mengelola file dan log sementara. Izin ini terdapat dalam peran roles/storage.objectAdmin.

    # Grant submitter access to upload staged files
    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/storage.objectAdmin"
    
    # Grant workload service account access for staging, temporary files, and logs
    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
      --role="roles/storage.objectAdmin"
    
  4. Mengirimkan workload batch pengujian. Kirimkan workload batch pengujian untuk mengonfirmasi penyiapan Anda.

    gcloud dataproc batches submit spark \
      --region=REGION \
      --version=2.2 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    

    Catatan:

Akun layanan kustom workload kustom (runtime 2.x)

Gunakan akun layanan kustom jika organisasi Anda mengharuskan workload dijalankan dengan identitas khusus yang dapat diaudit, bukan akun layanan default Compute Engine bersama (lihat praktik terbaik akun layanan IAM).

  1. Dapatkan izin untuk menjalankan workload sebagai akun layanan kustom. Minta administrator Anda untuk memberi Anda roles/iam.serviceAccountUser di akun layanan kustom:

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. Tentukan akun layanan kustom dengan flag --service-account saat mengirimkan workload.

    gcloud dataproc batches submit spark \
      --region=REGION \
      --service-account=WORKLOAD_SA_EMAIL \
      --version=2.2 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    
  3. Akses set data: Jika workload Anda tidak dapat mengakses set data, berikan peran akses data yang diperlukan kepada akun layanan kustom workload (bukan akun pengguna Anda) (lihat Peran data dan layanan umum).

Administrator

Administrator Spark (runtime 2.x)

Sebagai administrator Spark, Anda menyiapkan project, mengonfigurasi akun layanan, dan memberikan akses kepada developer Spark.

Workload menggunakan subnet VPC default yang diberi nama secara otomatis. Jika project Anda tidak memiliki jaringan default atau menggunakan VPC kustom, lihat Konfigurasi jaringan serverless Managed Service untuk Apache Spark untuk menyiapkan dan menentukan subnet untuk workload dan sesi.

Mengaktifkan runtime default 2.x

Dengan runtime default 2.x, workload berjalan sebagai akun layanan default Compute Engine.

  1. Berikan roles/dataproc.editor kepada developer.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.editor"
    
  2. Berikan roles/iam.serviceAccountUser di akun layanan default.

    gcloud iam service-accounts add-iam-policy-binding \
      PROJECT_NUMBER-compute@developer.gserviceaccount.com \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  3. Berikan roles/dataproc.worker ke akun layanan workload.

    Peran ini memungkinkan akun layanan mendaftarkan agen VM, menyewa dan menjalankan tugas komputasi, serta mengirim log dan metrik ke Cloud Logging dan Cloud Monitoring:

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
      --role="roles/dataproc.worker"
    
  4. Berikan roles/storage.objectAdmin untuk penyimpanan bucket staging.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
      --role="roles/storage.objectAdmin"
    
  5. Memberikan akses set data ke akun layanan workload.

    Berikan peran tingkat data ke akun layanan workload agar dapat mengakses set data aplikasi Spark (lihat Peran data dan layanan umum).

Mengaktifkan akun layanan kustom workload (runtime 2.x)

Gunakan akun layanan kustom workload dengan runtime 2.x untuk mengisolasi workload, bukan menggunakan akun layanan default Compute Engine bersama.

  1. Berikan roles/iam.serviceAccountUser di akun layanan kustom kepada developer.

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. Berikan roles/dataproc.worker ke akun layanan kustom.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:WORKLOAD_SA_EMAIL" \
      --role="roles/dataproc.worker"
    
  3. Memberikan akses data dan staging aplikasi.

    Berikan peran tingkat data langsung ke akun layanan kustom workload (lihat Peran data dan layanan umum) dan berikan roles/storage.objectAdmin di bucket staging dan sementara.

Mengaktifkan akun layanan kustom pengirim (runtime 2.x)

Gunakan akun layanan kustom pengirim saat sistem otomatis (seperti Managed Service untuk Apache Airflow, Cloud Scheduler, atau pipeline CI/CD) mengirimkan workload tanpa pengguna manusia yang interaktif.

  1. Berikan roles/dataproc.editor ke akun layanan pengirim.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/dataproc.editor"
    
  2. Berikan roles/iam.serviceAccountUser di akun layanan workload.

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  3. Konfigurasikan akun layanan workload. Memberikan akses roles/dataproc.worker dan set data ke WORKLOAD_SA_EMAIL.

Referensi peran administrator Spark (runtime 2.x)

Tabel berikut merangkum peran IAM yang akan diberikan dengan runtime 2.x.

Pengirim Workload Identity Pemberian kepada pengirim Memberikan ke akun layanan workload
Pengguna akhir (default) SA default Compute Engine roles/dataproc.editor + roles/iam.serviceAccountUser di SA default roles/dataproc.worker + roles/storage.objectAdmin + peran data
Pengguna akhir SA Kustom roles/dataproc.editor + roles/iam.serviceAccountUser di SA kustom roles/dataproc.worker + roles/storage.objectAdmin + peran data
SA kustom (otomatisasi) SA Kustom roles/dataproc.editor + roles/iam.serviceAccountUser di SA kustom roles/dataproc.worker + roles/storage.objectAdmin + peran data

Pelihat

Spark viewer (runtime 2.x)

Sebagai Spark viewer, Anda dapat melihat workload batch, sesi interaktif, metrik eksekusi, log, dan dasbor status tanpa mengirimkan atau mengubah workload.

Minta administrator untuk memberi Anda roles/dataproc.viewer:

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="user:VIEWER_EMAIL" \
  --role="roles/dataproc.viewer"

Peran ini memberikan akses hanya baca di seluruh resource Managed Service untuk Apache Spark, seperti cluster, tugas, batch, sesi, dan operasi.

Izin mendetail

Izin mendetail (runtime 2.x)

Bagian ini mencantumkan izin IAM yang disertakan dalam peran IAM yang terkait dengan runtime 2.x.

Peran Editor (roles/dataproc.editor)

Peran ini memberikan kontrol atas workload dan sesi serverless 2.x runtime, serta cluster dan tugas Managed Service untuk Apache Spark di Compute Engine.

Izin Diperlukan untuk serverless Deskripsi
dataproc.batches.create Ya Membuat dan mengirimkan workload batch baru.
dataproc.batches.get Ya Mendapatkan status dan detail workload batch.
dataproc.batches.list Ya Mencantumkan semua workload batch dalam project atau region.
dataproc.batches.delete Ya Menghapus batch yang sudah selesai atau dihentikan.
dataproc.batches.cancel Ya Membatalkan workload batch yang sedang berjalan.
dataproc.sessions.create Ya Membuat sesi interaktif.
dataproc.sessions.get Ya Mendapatkan status dan detail sesi.
dataproc.sessions.list Ya Mencantumkan semua sesi dalam project atau region.
dataproc.sessions.delete Ya Menghapus sesi yang dihentikan.
dataproc.sessions.terminate Ya Menghentikan sesi interaktif yang sedang berjalan.
dataproc.operations.get Ya Memeriksa status operasi asinkron (diperlukan oleh gcloud CLI).
compute.networks.get Ya Melihat konfigurasi jaringan VPC.
compute.networks.list Ya Mencantumkan jaringan VPC dalam project. Tidak mencantumkan subnet; mencantumkan subnet di konsol Google Cloud atau IDE memerlukan compute.subnetworks.list (lihat Izin tambahan untuk konsol Google Cloud dan IDE).
dataproc.clusters.* Tidak (hanya cluster) Membuat, mengelola, dan menggunakan cluster Managed Service untuk Apache Spark berbasis Compute Engine.
dataproc.jobs.* Tidak (hanya cluster) Mengirim dan mengelola tugas di cluster Managed Service untuk Apache Spark berbasis Compute Engine.
dataproc.autoscalingPolicies.* Tidak (hanya cluster) Kebijakan penskalaan otomatis untuk cluster berbasis Compute Engine.
dataproc.nodeGroups.* Tidak (hanya cluster) Grup node kustom di cluster berbasis Compute Engine.
dataproc.workflowTemplates.* Tidak (hanya cluster) Template alur kerja untuk cluster berbasis Compute Engine.
compute.machineTypes.* Tidak (hanya cluster) Metadata jenis mesin untuk cluster berbasis Compute Engine.

Peran worker (roles/dataproc.worker)

Peran ini memberikan izin eksekusi workload untuk runtime 2.x.

Izin Deskripsi
dataproc.agents.create Daftarkan agen VM di VM.
dataproc.agents.get Membaca status agen.
dataproc.agents.update Memperbarui status agen.
dataproc.agents.delete Membatalkan pendaftaran agen setelah selesai.
dataproc.tasks.lease Menyewa tugas komputasi untuk dieksekusi.
dataproc.tasks.reportStatus Melaporkan status eksekusi tugas.
storage.objects.create Menulis data staging, file sementara, dan log.
storage.objects.delete Bersihkan file sementara.
storage.objects.get Membaca skrip booting dan file yang di-stage.
storage.objects.list Mencantumkan konten bucket sementara dan staging.

Peran Viewer (roles/dataproc.viewer)

Peran ini memberikan akses hanya baca di semua resource Managed Service untuk Apache Spark.

Izin Diperlukan untuk serverless Deskripsi
dataproc.batches.get Ya Membaca status dan detail workload batch.
dataproc.batches.list Ya Mencantumkan semua workload batch dalam project atau region.
dataproc.sessions.get Ya Membaca status dan detail sesi.
dataproc.sessions.list Ya Mencantumkan semua sesi dalam project atau region.
dataproc.operations.get Ya Membaca status operasi asinkron.
dataproc.operations.list Ya Mencantumkan operasi dalam project atau region.
dataproc.clusters.get Tidak (hanya cluster) Melihat konfigurasi dan status cluster.
dataproc.clusters.list Tidak (hanya cluster) Mencantumkan cluster dalam project atau region.
dataproc.jobs.get Tidak (hanya cluster) Melihat detail dan status tugas di cluster.
dataproc.jobs.list Tidak (hanya cluster) Mencantumkan tugas di cluster.
dataproc.autoscalingPolicies.get Tidak (hanya cluster) Melihat detail kebijakan penskalaan otomatis.
dataproc.autoscalingPolicies.list Tidak (hanya cluster) Mencantumkan kebijakan penskalaan otomatis.
dataproc.workflowTemplates.get Tidak (hanya cluster) Melihat detail template alur kerja.
dataproc.workflowTemplates.list Tidak (hanya cluster) Membuat daftar template alur kerja.

Peran delegasi akun layanan (roles/iam.serviceAccountUser)

Memungkinkan pengguna atau sistem otomatis untuk melampirkan dan menjalankan workload sebagai akun layanan default Compute Engine atau akun layanan kustom. Workload dijalankan dengan izin dan akses resource yang diberikan ke akun layanan tersebut.

Izin Deskripsi
iam.serviceAccounts.actAs Memungkinkan pengirim menjalankan workload sebagai akun layanan yang ditentukan.

Izin tambahan untuk konsol Google Cloud dan IDE

Saat Anda mengirimkan workload dengan Google Cloud CLI atau Dataproc API, bidang kontrol Managed Service untuk Apache Spark akan menyelesaikan jaringan VPC dan subnetwork default project secara otomatis tanpa memeriksa subnetwork Compute Engine atau izin Service Usage tingkat pemanggil.

Namun, saat Anda membuat atau mengedit profil runtime, sesi interaktif, atau workload batch di konsol Google Cloud , atau saat Anda menggunakan Google Cloud Data Agent Kit di IDE seperti VS Code, klien akan melakukan pemeriksaan baca tambahan berdasarkan kredensial pengguna Anda:

Izin Alur kerja klien Tujuan
compute.subnetworks.list Google Cloud console dan Data Agent Kit Cantumkan subnetwork VPC regional untuk memvalidasi bahwa jaringan default memiliki subnet dengan Akses Google Pribadi yang diaktifkan dan untuk mengisi menu jaringan dan subnetwork.
compute.subnetworks.get Google Cloud console dan Data Agent Kit Memeriksa metadata subnetwork saat melihat, meng-clone, atau mengedit profil runtime, sesi, atau workload batch.
compute.networks.list Google Cloud console dan Data Agent Kit Mencantumkan jaringan VPC dalam project (disertakan dalam roles/dataproc.editor dan roles/dataproc.admin, tetapi tidak dalam roles/dataproc.serverlessEditor).
compute.networks.get Google Cloud console dan Data Agent Kit Melihat detail jaringan VPC (disertakan dalam roles/dataproc.editor dan roles/dataproc.admin, tetapi tidak dalam roles/dataproc.serverlessEditor).
serviceusage.services.get Data Agent Kit dan IDE Periksa apakah Dataproc API (dataproc.googleapis.com) diaktifkan di project yang dipilih sebelum memuat hierarki resource Spark.
serviceusage.services.list Google Cloud konsol dan IDE Mencantumkan API yang diaktifkan dalam project.

Memberikan peran khusus minimal (direkomendasikan)

Untuk mengikuti prinsip hak istimewa terendah, buat peran IAM khusus yang hanya memberikan izin yang diperlukan untuk alur kerja konsol dan IDE Google Cloud , dan ikat ke developer Spark Anda selain roles/dataproc.serverlessEditor atau roles/dataproc.editor:

  1. Buat peran khusus di project Anda:

    gcloud iam roles create sparkConsoleAndIdeUser \
      --project=PROJECT_ID \
      --title="Managed Spark Console and IDE User" \
      --description="Read-only network and Service Usage permissions for Managed Spark console and IDE workflows" \
      --permissions=compute.networks.get,compute.networks.list,compute.subnetworks.get,compute.subnetworks.list,serviceusage.services.get,serviceusage.services.list \
      --stage=GA
    
  2. Berikan peran khusus kepada developer Spark:

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="projects/PROJECT_ID/roles/sparkConsoleAndIdeUser"
    

Sebagai alternatif untuk mempertahankan peran khusus, Anda dapat memberikan peran Compute Network Viewer (roles/compute.networkViewer) dan Service Usage Viewer (roles/serviceusage.serviceUsageViewer) yang telah ditetapkan. Menggunakan peran bawaan akan menghindari pemeliharaan peran khusus, karena Google Cloud mengelola izinnya secara otomatis. Namun, peran Viewer yang telah ditetapkan memberikan akses baca yang lebih luas daripada yang diperlukan Managed Service untuk Apache Spark: roles/compute.networkViewer memungkinkan pengguna melihat semua resource jaringan Compute Engine dalam project (termasuk aturan firewall, rute, Cloud Router, tunnel VPN, aturan penerusan, dan grup endpoint jaringan), dan roles/serviceusage.serviceUsageViewer memungkinkan pengguna melihat kuota dan kebijakan konsumen di semua layanan dalam project. Jangan memberikan roles/compute.networkUser atau roles/serviceusage.serviceUsageConsumer kepada pengguna akhir hanya untuk akses konsol atau IDE Google Cloud , karena peran tersebut juga memberikan izin lampiran resource dan kuota (compute.subnetworks.use dan serviceusage.services.use) yang tidak diperlukan pengguna akhir.

Langkah berikutnya