"Managed Service for Apache Spark" adalah nama baru untuk produk yang sebelumnya dikenal sebagai "Dataproc on Compute Engine" (deployment cluster) dan "Google Cloud Serverless for Apache Spark" (deployment serverless).

Membuat batasan kustom

Google Cloud Kebijakan Organisasi memberi Anda kontrol terpusat dan terprogram atas resource organisasi. Sebagai administrator kebijakan organisasi, Anda dapat menentukan kebijakan organisasi, yang merupakan serangkaian batasan yang berlaku untuk Google Cloud resource dan turunan dari resource tersebut dalam hierarki resourceGoogle Cloud . Anda dapat menerapkan kebijakan organisasi di level organisasi, folder, atau project.

Kebijakan Organisasi menyediakan batasan yang telah ditetapkan untuk berbagaiGoogle Cloud layanan. Namun, jika menginginkan kontrol yang lebih terperinci dan dapat disesuaikan atas kolom tertentu yang dibatasi dalam kebijakan organisasi, Anda juga dapat membuat batasan kustom dan menggunakan batasan kustom tersebut dalam kebijakan organisasi.

Manfaat

Anda dapat menggunakan kebijakan organisasi kustom untuk mengizinkan atau menolak operasi tertentu pada batch, sesi, dan template sesi Managed Service for Apache Spark. Misalnya, jika permintaan untuk membuat workload batch gagal memenuhi validasi batasan kustom sebagaimana ditetapkan oleh kebijakan organisasi Anda, permintaan akan gagal, dan pemanggil akan melihat error.

Pewarisan kebijakan

Secara default, kebijakan organisasi diwarisi oleh turunan resource tempat Anda menerapkan kebijakan tersebut. Misalnya, jika Anda menerapkan kebijakan pada folder, Google Cloud akan menerapkan kebijakan tersebut pada semua project di folder tersebut. Untuk mempelajari lebih lanjut perilaku ini dan cara mengubahnya, lihat Aturan evaluasi hierarki.

Harga

Layanan Kebijakan Organisasi, termasuk batasan yang telah ditetapkan dan khusus, ditawarkan tanpa biaya.

Sebelum memulai

Menyiapkan project
1. Pastikan Anda mengetahui ID organisasi Anda.

Peran yang diperlukan

Guna mendapatkan izin yang diperlukan untuk mengelola kebijakan organisasi, minta administrator untuk memberi Anda peran IAM Organization policy administrator (roles/orgpolicy.policyAdmin) di resource organisasi. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengelola kebijakan organisasi. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengelola kebijakan organisasi:

orgpolicy.constraints.list
orgpolicy.policies.create
orgpolicy.policies.delete
orgpolicy.policies.list
orgpolicy.policies.update
orgpolicy.policy.get
orgpolicy.policy.set

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat batasan kustom

Batasan kustom ditentukan dalam file YAML oleh resource, metode, kondisi, dan tindakan yang diterapkan padanya. Managed Service for Apache Spark mendukung batasan kustom yang diterapkan ke metode CREATE dari batch dan resource sesi.

Untuk mengetahui informasi selengkapnya tentang cara membuat batasan kustom, lihat Membuat dan mengelola kebijakan organisasi kustom.

Membuat batasan kustom untuk resource batch

Untuk membuat file YAML untuk batasan kustom Managed Service for Apache Spark untuk resource batch, gunakan format berikut:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Batch
methodTypes: 
- CREATE
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Ganti kode berikut:

ORGANIZATION_ID: ID organisasi Anda, seperti 123456789.
CONSTRAINT_NAME: nama yang diinginkan untuk batasan khusus baru Anda. Batasan khusus harus dimulai dengan custom., dan hanya boleh meliputi huruf besar, huruf kecil, atau angka, misalnya, custom.batchMustHaveSpecifiedCategoryLabel. Panjang maksimum kolom ini adalah 70 karakter, tidak termasuk awalan, misalnya, organizations/123456789/customConstraints/custom..
CONDITION: Kondisi CEL yang ditulis berdasarkan representasi resource layanan yang didukung. Kolom ini memiliki panjang maksimal 1000 karakter. Untuk mengetahui informasi selengkapnya tentang resource yang tersedia untuk menulis kondisi, lihat Batasan Dataproc Serverless pada resource dan operasi. Kondisi sampel: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']).
ACTION: tindakan yang akan diambil jika kondisi terpenuhi. Ini dapat berupa ALLOW atau DENY.
DISPLAY_NAME: nama yang mudah dibaca manusia untuk batasan. Contoh nama tampilan: "Terapkan persyaratan label 'kategori' batch". Kolom ini memiliki panjang maksimum 200 karakter.
DESCRIPTION: deskripsi batasan yang mudah dipahami untuk ditampilkan sebagai pesan error saat kebijakan dilanggar. Kolom ini memiliki panjang maksimal 2000 karakter. Contoh deskripsi: "Hanya izinkan pembuatan batch Dataproc jika memiliki label 'category' dengan nilai 'retail', 'ads', atau 'service'".

Membuat batasan kustom untuk resource sesi

Untuk membuat file YAML untuk batasan kustom Managed Service for Apache Spark untuk resource sesi, gunakan format berikut:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Session
methodTypes: 
- CREATE
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Ganti kode berikut:

ORGANIZATION_ID: ID organisasi Anda, seperti 123456789.
CONSTRAINT_NAME: nama yang diinginkan untuk batasan khusus baru Anda. Batasan khusus harus dimulai dengan custom., dan hanya boleh meliputi huruf besar, huruf kecil, atau angka, misalnya, custom.SessionNameMustStartWithTeamName. Panjang maksimum kolom ini adalah 70 karakter, tidak termasuk awalan, misalnya, organizations/123456789/customConstraints/custom..
CONDITION: Kondisi CEL yang ditulis berdasarkan representasi resource layanan yang didukung. Kolom ini memiliki panjang maksimal 1000 karakter. Untuk mengetahui informasi selengkapnya tentang resource yang tersedia untuk menulis kondisi, lihat Batasan Dataproc Serverless pada resource dan operasi. Kondisi sampel: (resource.name.startsWith("dataproc").
ACTION: tindakan yang akan diambil jika kondisi terpenuhi. Ini dapat berupa ALLOW atau DENY.
DISPLAY_NAME: nama yang mudah dibaca manusia untuk batasan. Contoh nama tampilan: "Terapkan sesi agar memiliki TTL < 2 jam". Kolom ini memiliki panjang maksimum 200 karakter.
DESCRIPTION: deskripsi batasan yang mudah dipahami untuk ditampilkan sebagai pesan error saat kebijakan dilanggar. Kolom ini memiliki panjang maksimal 2000 karakter. Contoh deskripsi: "Hanya izinkan pembuatan sesi jika TTL yang ditetapkan dapat diterima".

Membuat batasan kustom untuk resource template sesi

Untuk membuat file YAML untuk batasan kustom Managed Service for Apache Spark bagi resource template sesi, gunakan format berikut:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/SessionTemplate
methodTypes: 
- CREATE
- UPDATE
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Ganti kode berikut:

ORGANIZATION_ID: ID organisasi Anda, seperti 123456789.
CONSTRAINT_NAME: nama yang diinginkan untuk batasan khusus baru Anda. Batasan khusus harus dimulai dengan custom., dan hanya boleh meliputi huruf besar, huruf kecil, atau angka, misalnya, custom.SessionTemplateNameMustStartWithTeamName. Panjang maksimum kolom ini adalah 70 karakter, tidak termasuk awalan, misalnya, organizations/123456789/customConstraints/custom..
CONDITION: Kondisi CEL yang ditulis berdasarkan representasi resource layanan yang didukung. Kolom ini memiliki panjang maksimal 1000 karakter. Untuk mengetahui informasi selengkapnya tentang resource yang tersedia untuk menulis kondisi, lihat Batasan pada resource dan operasi. Kondisi sampel: (resource.name.startsWith("dataproc").
ACTION: tindakan yang akan diambil jika kondisi terpenuhi. Ini dapat berupa ALLOW atau DENY.
DISPLAY_NAME: nama yang mudah dibaca manusia untuk batasan. Contoh nama tampilan: "Terapkan template sesi agar memiliki ttl < 2 jam". Kolom ini memiliki panjang maksimum 200 karakter.
DESCRIPTION: deskripsi batasan yang mudah dipahami untuk ditampilkan sebagai pesan error saat kebijakan dilanggar. Kolom ini memiliki panjang maksimal 2000 karakter. Contoh deskripsi: "Hanya izinkan pembuatan template sesi jika template tersebut menetapkan TTL yang diizinkan".

Menyiapkan batasan kustom

Konsol

Untuk membuat batasan kustom, lakukan hal-hal berikut:

Di konsol Google Cloud , buka halaman Organization policies.
Buka Organization policies
Dari pemilih project, pilih project yang ingin Anda tetapkan kebijakan organisasinya.
Klik Custom constraint.
Di kotak Display name, masukkan nama yang dapat dibaca manusia untuk batasan. Nama ini digunakan dalam pesan error dan dapat digunakan untuk identifikasi dan proses debug. Jangan menggunakan informasi identitas pribadi (PII) atau data sensitif dalam nama tampilan karena nama ini dapat terekspos dalam pesan error. Kolom ini dapat berisi hingga 200 karakter.
Di kotak Constraint ID, masukkan ID yang diinginkan untuk batasan kustom baru. Batasan kustom hanya boleh berisi huruf (termasuk huruf besar dan huruf kecil) atau angka, misalnya custom.batchMustHaveSpecifiedCategoryLabel. Kolom ini dapat berisi hingga 70 karakter, tidak termasuk imbuhan (custom.), misalnya, organizations/123456789/customConstraints/custom. Jangan sertakan PII atau data sensitif dalam ID batasan Anda, karena dapat terekspos dalam pesan error.
Di kotak Description, masukkan deskripsi batasan yang dapat dibaca manusia. Deskripsi ini digunakan sebagai pesan error saat kebijakan dilanggar. Sertakan detail tentang alasan pelanggaran kebijakan dapat terjadi dan cara menyelesaikan pelanggaran kebijakan tersebut. Jangan sertakan PII atau data sensitif dalam deskripsi Anda, karena dapat terekspos dalam pesan error. Kolom ini dapat berisi hingga 2.000 karakter.
Di kotak Resource type, pilih nama resource REST Google Cloud yang berisi objek dan kolom yang ingin Anda batasi—misalnya, container.googleapis.com/NodePool. Sebagian besar jenis resource mendukung hingga 20 batasan kustom. Jika Anda mencoba membuat lebih banyak batasan kustom, operasi akan gagal.
Batasan ini hanya dapat diterapkan pada metode REST CREATE.

Untuk melihat metode yang didukung untuk setiap layanan, temukan layanan di Layanan yang mendukung batasan kustom.

Untuk menentukan kondisi, klik Edit condition.

Di panel Add condition, buat kondisi CEL yang mengacu pada resource layanan yang didukung, misalnya resource.management.autoUpgrade == false. Kolom ini dapat berisi hingga 1.000 karakter. Untuk mengetahui detail tentang penggunaan CEL, lihat Common Expression Language. Untuk mengetahui informasi selengkapnya tentang resource layanan yang dapat Anda gunakan dalam batasan kustom, lihat Layanan yang didukung batasan kustom.
Klik Save.

Di bagian Action, pilih apakah akan mengizinkan atau menolak metode yang dievaluasi jika kondisi di atas terpenuhi.

Tindakan penolakan berarti operasi untuk membuat atau memperbarui resource diblokir jika kondisi bernilai benar.

Tindakan izinkan berarti operasi untuk membuat atau memperbarui resource hanya diizinkan jika kondisi bernilai benar. Setiap kasus lainnya, kecuali yang tercantum secara eksplisit dalam kondisi, akan diblokir.

Klik Create constraint.

Setelah Anda memasukkan nilai ke setiap kolom, konfigurasi YAML yang setara untuk batasan kustom ini akan muncul di sebelah kanan.

gcloud

Untuk membuat batasan kustom, buat file YAML menggunakan format berikut:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes: RESOURCE_NAME
methodTypes:
  - CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Ganti kode berikut:

ORGANIZATION_ID: ID organisasi Anda, seperti 123456789.
CONSTRAINT_NAME: nama yang Anda inginkan untuk batasan kustom baru Anda. Batasan kustom hanya boleh berisi huruf (termasuk huruf besar dan huruf kecil) atau angka, misalnya, custom.batchMustHaveSpecifiedCategoryLabel. Kolom ini dapat berisi hingga 70 karakter, tidak termasuk awalan (custom.)— misalnya, organizations/123456789/customConstraints/custom. Jangan sertakan PII atau data sensitif dalam ID batasan Anda, karena dapat terekspos dalam pesan error.
RESOURCE_NAME: nama resource Google Cloudyang sepenuhnya memenuhi syarat, yang berisi objek dan kolom yang ingin Anda batasi. Contoh, dataproc.googleapis.com/batch. Sebagian besar jenis resource mendukung hingga 20 batasan kustom. Jika Anda mencoba membuat lebih banyak batasan kustom, operasi akan gagal.
methodTypes: metode REST yang menerapkan batasan. Hanya dapat berupa CREATE.

Untuk melihat metode yang didukung untuk setiap layanan, temukan layanan di Layanan yang mendukung batasan kustom.

CONDITION: Kondisi CEL yang ditulis berdasarkan representasi resource layanan yang didukung. Kolom ini dapat berisi hingga 1.000 karakter. Contoh, ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']).

Untuk mengetahui informasi selengkapnya tentang resource yang tersedia untuk menulis kondisi, lihat Resource yang didukung.

ACTION: tindakan yang akan diambil jika condition terpenuhi. Hanya dapat berupa ALLOW.

Tindakan izinkan berarti jika kondisi bernilai benar, operasi untuk membuat atau memperbarui resource diizinkan. Artinya juga bahwa setiap kasus lain kecuali yang tercantum secara eksplisit dalam kondisi diblokir.

DISPLAY_NAME: nama yang mudah dibaca manusia untuk batasan tersebut. Nama ini digunakan dalam pesan error dan dapat digunakan untuk identifikasi dan proses debug. Jangan menggunakan PII atau data sensitif dalam nama tampilan karena nama ini dapat terekspos dalam pesan error. Kolom ini dapat berisi hingga 200 karakter.
DESCRIPTION: deskripsi batasan yang mudah dipahami manusia untuk ditampilkan sebagai pesan error saat kebijakan dilanggar. Kolom ini dapat berisi hingga 2.000 karakter.

Setelah membuat file YAML untuk batasan kustom baru, Anda harus menyiapkannya agar tersedia untuk kebijakan organisasi di organisasi Anda. Untuk menyiapkan batasan kustom, gunakan perintah gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

Ganti CONSTRAINT_PATH dengan jalur lengkap ke file batasan kustom Anda. Contoh, /home/user/customconstraint.yaml.

Setelah operasi ini selesai, batasan kustom Anda tersedia sebagai kebijakan organisasi dalam daftar kebijakan organisasi Google Cloud .

Untuk memverifikasi ada tidaknya batasan kustom, gunakan perintah gcloud org-policies list-custom-constraints:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Ganti ORGANIZATION_ID dengan ID resource organisasi Anda.

Untuk mengetahui informasi selengkapnya, lihat Melihat kebijakan organisasi.

Menerapkan batasan khusus

Anda dapat menerapkan batasan dengan membuat kebijakan organisasi yang mereferensikannya, lalu menerapkan kebijakan organisasi tersebut ke resource Google Cloud .

Konsol

Di konsol Google Cloud , buka halaman Organization policies.
Buka Organization policies
Dari pemilih project, pilih project yang ingin Anda tetapkan kebijakan organisasinya.
Dari daftar di halaman Organization policies, pilih batasan Anda untuk melihat halaman Policy details untuk batasan tersebut.
Guna mengonfigurasi kebijakan organisasi untuk resource ini, klik Manage policy.
Di halaman Edit policy, pilih Override parent's policy.
Klik Add a rule.
Di bagian Enforcement, pilih apakah kebijakan organisasi ini diterapkan atau tidak.
Opsional: Agar kebijakan organisasi menjadi bersyarat pada tag, klik Add condition. Perhatikan bahwa jika menambahkan aturan kondisional ke kebijakan organisasi, Anda harus menambahkan setidaknya satu aturan tanpa syarat atau kebijakan tidak dapat disimpan. Untuk mengetahui informasi selengkapnya, lihat Mencakup kebijakan organisasi dengan tag.
Klik Test changes untuk menyimulasikan efek kebijakan organisasi. Untuk mengetahui informasi selengkapnya, lihat Menguji perubahan kebijakan organisasi dengan Policy Simulator.
Untuk menerapkan kebijakan organisasi dalam mode uji coba, klik Set dry run policy. Untuk informasi selengkapnya, lihat Menguji kebijakan organisasi.
Setelah Anda memverifikasi bahwa kebijakan organisasi dalam mode uji coba berfungsi sebagaimana mestinya, tetapkan kebijakan aktif dengan mengklik Set policy.

gcloud

Untuk membuat kebijakan organisasi dengan aturan boolean, buat file YAML kebijakan yang mereferensikan batasan:

name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
spec:
  rules:
  - enforce: true

dryRunSpec:
  rules:
  - enforce: true

Ganti kode berikut:

PROJECT_ID: project tempat Anda ingin menerapkan batasan Anda.
CONSTRAINT_NAME: nama yang Anda tentukan untuk batasan kustom. Contoh, custom.batchMustHaveSpecifiedCategoryLabel.

Untuk menerapkan kebijakan organisasi dalam mode uji coba, jalankan perintah berikut dengan tanda dryRunSpec:

gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

Ganti POLICY_PATH dengan jalur lengkap ke file YAML kebijakan organisasi Anda. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

Setelah Anda memverifikasi bahwa kebijakan organisasi dalam mode uji coba berfungsi sebagaimana mestinya, tetapkan kebijakan aktif dengan perintah org-policies set-policy dan tanda spec:

gcloud org-policies set-policy POLICY_PATH --update-mask=spec

Ganti POLICY_PATH dengan jalur lengkap ke file YAML kebijakan organisasi Anda. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

Menguji batasan kustom

Bagian ini menjelaskan cara menguji batasan kustom untuk resource batch, sesi, dan template sesi.

Menguji batasan kustom untuk resource batch

Contoh pembuatan batch berikut mengasumsikan batasan kustom telah dibuat dan diterapkan pada pembuatan batch untuk mewajibkan batch memiliki label "category" yang dilampirkan dengan nilai "retail", "ads", atau "service: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']).

gcloud dataproc batches submit spark \
  --region us-west1
  --jars file:///usr/lib/spark/examples/jars/spark-examples.jar \
  --class org.apache.spark.examples.SparkPi  \
  --network default \
  --labels category=foo \
  --100

Contoh output:

Operation denied by custom org policies: ["customConstraints/custom.batchMustHaveSpecifiedCategoryLabel": ""Only allow Dataproc batch creation if it has a 'category' label with
  a 'retail', 'ads', or 'service' value""]

Menguji batasan kustom untuk resource sesi

Contoh pembuatan sesi berikut mengasumsikan bahwa batasan kustom telah dibuat dan diterapkan pada pembuatan sesi untuk mewajibkan sesi memiliki name yang dimulai dengan orgName.

gcloud beta dataproc sessions create spark test-session
  --location us-central1

Contoh output:

Operation denied by custom org policy:
["customConstraints/custom.denySessionNameNotStartingWithOrgName": "Deny session
creation if its name does not start with 'orgName'"]

Menguji batasan kustom untuk resource template sesi

Contoh pembuatan template sesi berikut mengasumsikan bahwa batasan kustom telah dibuat dan diterapkan pada pembuatan dan pembaruan template sesi untuk mewajibkan template sesi memiliki name yang dimulai dengan orgName.

gcloud beta dataproc session-templates import test-session-template
--source=saved-template.yaml

Contoh output:

Operation denied by custom org policy:
["customConstraints/custom.denySessionTemplateNameNotStartingWithOrgName":
"Deny session template creation or update if its name does not start with
'orgName'"]

Batasan pada resource dan operasi

Bagian ini mencantumkan batasan kustom Managed Service for Apache Spark yang tersedia untuk resource batch dan sesi.

Batasan batch yang didukung

Batasan kustom Managed Service for Apache Spark berikut tersedia untuk digunakan saat Anda membuat (mengirimkan) workload batch:

Umum

resource.labels

PySparkBatch

resource.pysparkBatch.mainPythonFileUri
resource.pysparkBatch.args
resource.pysparkBatch.pythonFileUris
resource.pysparkBatch.jarFileUris
resource.pysparkBatch.fileUris
resource.pysparkBatch.archiveUris

SparkBatch

resource.sparkBatch.mainJarFileUri
resource.sparkBatch.mainClass
resource.sparkBatch.args
resource.sparkBatch.jarFileUris
resource.sparkBatch.fileUris
resource.sparkBatch.archiveUris

SparRBatch

resource.sparkRBatch.mainRFileUri
resource.sparkRBatch.args
resource.sparkRBatch.fileUris
resource.sparkRBatch.archiveUris

SparkSqlBatch

resource.sparkSqlBatch.queryFileUri
resource.sparkSqlBatch.queryVariables
resource.sparkSqlBatch.jarFileUris

RuntimeConfig

resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties
resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
resource.runtimeConfig.autotuningConfig.scenarios
resource.runtimeConfig.cohort

ExecutionConfig

resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkUri
resource.environmentConfig.executionConfig.subnetworkUri
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.idleTtl
resource.environmentConfig.executionConfig.ttl
resource.environmentConfig.executionConfig.stagingBucket
resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType

PeripheralsConfig

resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster

Batasan sesi yang didukung

Atribut sesi berikut tersedia untuk digunakan saat Anda membuat batasan kustom pada sesi serverless:

Umum

resource.name
resource.sparkConnectSession
resource.user
resource.sessionTemplate

JupyterSession

resource.jupyterSession.kernel
resource.jupyterSession.displayName

RuntimeConfig

resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties
resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
resource.runtimeConfig.autotuningConfig.scenarios
resource.runtimeConfig.cohort

ExecutionConfig

resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkUri
resource.environmentConfig.executionConfig.subnetworkUri
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.idleTtl
resource.environmentConfig.executionConfig.ttl
resource.environmentConfig.executionConfig.stagingBucket
resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType

PeripheralsConfig

resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster

Batasan template sesi yang didukung

Atribut template sesi berikut tersedia untuk digunakan saat Anda membuat batasan kustom pada template sesi serverless:

Umum

resource.name
resource.description
resource.sparkConnectSession

JupyterSession

resource.jupyterSession.kernel
resource.jupyterSession.displayName

RuntimeConfig

resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties
resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
resource.runtimeConfig.autotuningConfig.scenarios
resource.runtimeConfig.cohort

ExecutionConfig

resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkUri
resource.environmentConfig.executionConfig.subnetworkUri
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.idleTtl
resource.environmentConfig.executionConfig.ttl
resource.environmentConfig.executionConfig.stagingBucket
resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType

PeripheralsConfig

resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster

Contoh batasan kustom untuk kasus penggunaan umum

Bagian ini mencakup contoh batasan kustom untuk kasus penggunaan umum bagi resource batch dan sesi.

Contoh batasan kustom untuk resource batch

Tabel berikut memberikan contoh batasan kustom batch Managed Service for Apache Spark:

Deskripsi	Sintaksis batasan
Batch harus melampirkan label "category" dengan nilai yang diizinkan.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchMustHaveSpecifiedCategoryLabel resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']) actionType: ALLOW displayName: Enforce batch "category" label requirement. description: Only allow batch creation if it attaches a "category" label with an allowable value.
Batch harus menetapkan versi runtime yang diizinkan.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce batch runtime version. description: Only allow batch creation if it sets an allowable runtime version.
Harus menggunakan SparkSQL.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchMustUseSparkSQL resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.sparkSqlBatch)) actionType: ALLOW displayName: Enforce batch only use SparkSQL Batch. description: Only allow creation of SparkSQL Batch.
Batch harus menetapkan TTL kurang dari 2 jam.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchMustSetLessThan2hTtl resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h')) actionType: ALLOW displayName: Enforce batch TTL. description: Only allow batch creation if it sets an allowable TTL.
Batch tidak dapat menyetel lebih dari 20 eksekutor awal Spark.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of batch Spark executor instances. description: Deny batch creation if it specifies more than 20 Spark executor instances.
Batch tidak dapat menyetel lebih dari 20 eksekutor awal alokasi dinamis Spark.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of batch dynamic allocation initial executors. description: Deny batch creation if it specifies more than 20 Spark dynamic allocation initial executors.
Batch tidak boleh mengizinkan lebih dari 20 eksekutor alokasi dinamis.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchDynamicAllocationMaxExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (resource.runtimeConfig.properties['spark.dynamicAllocation.enabled']=='false') \|\| (('spark.dynamicAllocation.maxExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.maxExecutors'])<=20)) actionType: ALLOW displayName: Enforce batch maximum number of dynamic allocation executors. description: Only allow batch creation if dynamic allocation is disabled or the maximum number of dynamic allocation executors is set to less than or equal to 20.
Batch harus menetapkan kunci KMS ke pola yang diizinkan.	name: organizations/`ORGANIZATION_ID`/custom.batchKmsPattern resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce batch KMS Key pattern. description: Only allow batch creation if it sets the KMS key to an allowable pattern.
Batch harus menetapkan awalan bucket penyiapan ke nilai yang diizinkan.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchStagingBucketPrefix resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(`ALLOWED_PREFIX`) actionType: ALLOW displayName: Enforce batch staging bucket prefix. description: Only allow batch creation if it sets the staging bucket prefix to `ALLOWED_PREFIX`.
Setelan memori batch executor harus diakhiri dengan akhiran `m` dan kurang dari 20000 m.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchExecutorMemoryMax resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000) actionType: ALLOW displayName: Enforce batch executor maximum memory. description: Only allow batch creation if the executor memory setting ends with a suffix 'm' and is less than 20000 m.

Contoh batasan kustom untuk resource sesi

Tabel berikut memberikan contoh batasan kustom sesi Managed Service untuk Apache Spark:

Deskripsi	Sintaksis batasan
Sesi harus menetapkan `sessionTemplate` ke string kosong.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionTemplateMustBeEmpty resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.sessionTemplate == "" actionType: ALLOW displayName: Enforce empty session templates. description: Only allow session creation if session template is empty string.
`sessionTemplate` harus sama dengan ID template yang disetujui.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionTemplateIdMustBeApproved resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.sessionTemplate.startsWith("https://www.googleapis.com/compute/v1/projects/") && resource.sessionTemplate.contains("/locations/") && resource.sessionTemplate.contains("/sessionTemplates/") && ( resource.sessionTemplate.endsWith("/1") \|\| resource.sessionTemplate.endsWith("/2") \|\| resource.sessionTemplate.endsWith("/13") ) actionType: ALLOW displayName: Enforce templateId must be 1, 2, or 13. description: Only allow session creation if session template ID is in the approved list, that is, 1, 2 and 13.
Sesi harus menggunakan kredensial pengguna akhir untuk mengautentikasi beban kerja.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.AllowEUCSessions resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.authenticationConfig.userWorkloadAuthenticationType=="END_USER_CREDENTIALS" actionType: ALLOW displayName: Require end user credential authenticated sessions. description: Allow session creation only if the workload is authenticated using end-user credentials.
Sesi harus menetapkan versi runtime yang diizinkan.	name: organizations/`ORGANIZATION_ID`/custom.sessionMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce session runtime version. description: Only allow session creation if it sets an allowable runtime version.
Sesi harus menetapkan TTL kurang dari 2 jam.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionMustSetLessThan2hTtl resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h')) actionType: ALLOW displayName: Enforce session TTL. description: Only allow session creation if it sets an allowable TTL.
Sesi tidak dapat menyetel lebih dari 20 eksekutor awal Spark.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of session Spark executor instances. description: Deny session creation if it specifies more than 20 Spark executor instances.
Sesi tidak dapat menyetel lebih dari 20 eksekutor awal alokasi dinamis Spark.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of session dynamic allocation initial executors. description: Deny session creation if it specifies more than 20 Spark dynamic allocation initial executors.
Sesi harus menetapkan kunci KMS ke pola yang diizinkan.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionKmsPattern resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce session KMS Key pattern. description: Only allow session creation if it sets the KMS key to an allowable pattern.
Sesi harus menetapkan awalan bucket penyiapan ke nilai yang diizinkan.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionStagingBucketPrefix resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(`ALLOWED_PREFIX`) actionType: ALLOW displayName: Enforce session staging bucket prefix. description: Only allow session creation if it sets the staging bucket prefix to `ALLOWED_PREFIX`.
Setelan memori eksekutor sesi harus diakhiri dengan akhiran `m` dan kurang dari 20000 m.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionExecutorMemoryMax resourceTypes: - dataproc.googleapis.com/Session methodTypes: - CREATE condition: ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000) actionType: ALLOW displayName: Enforce session executor maximum memory. description: Only allow session creation if the executor memory setting ends with a suffix 'm' and is less than 20000 m.

Contoh batasan kustom untuk resource template sesi

Tabel berikut memberikan contoh batasan kustom template sesi Managed Service for Apache Spark:

Deskripsi	Sintaksis batasan
Nama template sesi harus diakhiri dengan `org-name`.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.denySessionTemplateNameNotEndingWithOrgName resourceTypes: - dataproc.googleapis.com/SessionTemplate methodTypes: - CREATE - UPDATE condition: '!resource.name.endsWith(''org-name'')' actionType: DENY displayName: DenySessionTemplateNameNotEndingWithOrgName description: Deny session template creation/update if its name does not end with 'org-name'
Template sesi harus menetapkan versi runtime yang diizinkan.	name: organizations/`ORGANIZATION_ID`/custom.sessionTemplateMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/SessionTemplate methodTypes: - CREATE - UPDATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce session template runtime version. description: Only allow session template creation or update if it sets an allowable runtime version.
Template sesi harus menetapkan TTL kurang dari 2 jam.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionTemplateMustSetLessThan2hTtl resourceTypes: - dataproc.googleapis.com/SessionTemplate methodTypes: - CREATE - UPDATE condition: (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h')) actionType: ALLOW displayName: Enforce session template TTL. description: Only allow session template creation or update if it sets an allowable TTL.
Template sesi tidak dapat menyetel lebih dari 20 eksekutor awal Spark.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionTemplateInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/SessionTemplate methodTypes: - CREATE - UPDATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of session Spark executor instances. description: Deny session template creation or update if it specifies more than 20 Spark executor instances.
Template sesi tidak dapat menyetel lebih dari 20 alokasi dinamis Spark awal eksekutor.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionTemplateDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/SessionTemplate methodTypes: - CREATE - UPDATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of session dynamic allocation initial executors. description: Deny session template creation or update if it specifies more than 20 Spark dynamic allocation initial executors.
Template sesi harus menetapkan kunci KMS ke pola yang diizinkan.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionTemplateKmsPattern resourceTypes: - dataproc.googleapis.com/SessionTemplate methodTypes: - CREATE - UPDATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce session KMS Key pattern. description: Only allow session template creation or update if it sets the KMS key to an allowable pattern.
Template sesi harus menetapkan awalan bucket penyiapan ke nilai yang diizinkan.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionTemplateStagingBucketPrefix resourceTypes: - dataproc.googleapis.com/SessionTemplate methodTypes: - CREATE - UPDATE condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(`ALLOWED_PREFIX`) actionType: ALLOW displayName: Enforce session staging bucket prefix. description: Only allow session template creation or update if it sets the staging bucket prefix to `ALLOWED_PREFIX`.
Setelan memori executor template sesi harus diakhiri dengan sufiks `m` dan kurang dari 20000 m.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.sessionTemplateExecutorMemoryMax resourceTypes: - dataproc.googleapis.com/SessionTemplate methodTypes: - CREATE - UPDATE condition: ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000) actionType: ALLOW displayName: Enforce session executor maximum memory. description: Only allow session template creation or update if the executor memory setting ends with a suffix 'm' and is less than 20000 m.

Langkah berikutnya

Untuk mengetahui informasi selengkapnya tentang kebijakan organisasi, lihat Pengantar Layanan Kebijakan Organisasi.
Pelajari lebih lanjut cara membuat dan mengelola kebijakan organisasi.
Lihat daftar lengkap batasan kebijakan organisasi yang telah ditentukan.