Mengelola resource Dataflow menggunakan batasan kustom

Google Cloud Kebijakan Organisasi memberi Anda kontrol terpusat dan terprogram atas resource organisasi. Sebagai administrator kebijakan organisasi, Anda dapat menentukan kebijakan organisasi, yang merupakan serangkaian batasan yang disebut batasan yang berlaku untukGoogle Cloud resource dan turunan dari resource tersebut dalam hierarki resource Google Cloud Platform. Anda dapat menerapkan kebijakan organisasi di level organisasi, folder, atau project.

Kebijakan Organisasi menyediakan batasan yang telah ditetapkan untuk berbagaiGoogle Cloud layanan. Namun, jika menginginkan kontrol yang lebih terperinci dan dapat disesuaikan atas kolom tertentu yang dibatasi dalam kebijakan organisasi, Anda juga dapat membuat kebijakan organisasi kustom

Manfaat

Anda dapat menggunakan kebijakan organisasi kustom untuk mengizinkan atau menolak pembuatan tugas Dataflow dengan kondisi berdasarkan atribut resource yang didukung, seperti nama, jenis, dan opsi layanan tugas.

Pewarisan kebijakan

Secara default, kebijakan organisasi diwarisi oleh turunan resource tempat Anda menerapkan kebijakan tersebut. Misalnya, jika Anda menerapkan kebijakan pada folder, Google Cloud akan menerapkan kebijakan tersebut pada semua project di folder tersebut. Untuk mempelajari lebih lanjut perilaku ini dan cara mengubahnya, lihat Aturan evaluasi hierarki.

Harga

Layanan Kebijakan Organisasi, termasuk kebijakan organisasi yang telah ditetapkan dan kustom, ditawarkan tanpa biaya.

Batasan

  • Batasan kustom untuk resource Job Dataflow hanya dapat disiapkan menggunakan konsol Google Cloud atau Google Cloud CLI.

  • Batasan kustom hanya dapat diterapkan pada metode CREATE untuk resource Job Dataflow.

  • Batasan kustom yang baru diterapkan tidak berlaku untuk resource yang ada.

Sebelum memulai

Untuk mengetahui informasi selengkapnya tentang apa itu kebijakan dan batasan organisasi serta cara kerjanya, lihat Pengantar Layanan Kebijakan Organisasi.

Peran yang diperlukan

Guna mendapatkan izin yang diperlukan untuk mengelola kebijakan organisasi, minta administrator untuk memberi Anda peran IAM Organization policy administrator (roles/orgpolicy.policyAdmin) di organisasi. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengelola kebijakan organisasi. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengelola kebijakan organisasi:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat batasan kustom

Batasan kustom ditentukan dalam file YAML oleh resource, metode, kondisi, dan tindakan yang didukung oleh layanan tempat Anda menerapkan kebijakan organisasi. Kondisi untuk batasan kustom Anda ditentukan menggunakan Common Expression Language (CEL). Untuk mengetahui informasi selengkapnya tentang cara membuat kondisi dalam batasan kustom menggunakan CEL, lihat bagian CEL tentang Membuat dan mengelola batasan kustom.

Untuk membuat file YAML untuk batasan kustom:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Ganti kode berikut:

  • ORGANIZATION_ID: ID organisasi Anda, seperti 123456789.

  • CONSTRAINT_NAME: nama yang Anda inginkan untuk batasan kustom baru Anda. Batasan kustom harus dimulai dengan custom., dan hanya boleh berisi huruf besar, huruf kecil, atau angka—misalnya, custom.denyPrimeJobs. Panjang maksimum kolom ini adalah 70 karakter, tidak termasuk awalan, misalnya, organizations/123456789/customConstraints/custom.

  • RESOURCE_NAME: nama (bukan URI) resource REST Dataflow API yang berisi objek dan kolom yang ingin Anda batasi. Misalnya, Job.

  • CONDITION: Kondisi CEL yang ditulis berdasarkan representasi resource layanan yang didukung. Kolom ini memiliki panjang maksimum 1.000 karakter. Lihat Resource yang didukung untuk mengetahui informasi selengkapnya tentang resource yang tersedia untuk menulis kondisi. Contoh, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

  • ACTION: tindakan yang akan diambil jika condition terpenuhi. Nilai yang didukung adalah ALLOW dan DENY.

  • DISPLAY_NAME: nama yang mudah dibaca manusia untuk batasan. Kolom ini memiliki panjang maksimum 200 karakter.

  • DESCRIPTION: deskripsi batasan yang mudah dipahami yang akan ditampilkan sebagai pesan error saat kebijakan dilanggar. Kolom ini memiliki panjang maksimum 2.000 karakter.

Untuk mengetahui informasi selengkapnya tentang cara membuat batasan kustom, lihat Menentukan batasan kustom.

Menyiapkan batasan kustom

Setelah membuat file YAML untuk batasan kustom baru, Anda harus menyiapkannya agar tersedia untuk kebijakan organisasi di organisasi Anda. Untuk menyiapkan batasan kustom, gunakan perintah gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
 Ganti CONSTRAINT_PATH dengan jalur lengkap ke file batasan kustom Anda. Contoh, /home/user/customconstraint.yaml. Setelah selesai, batasan kustom Anda akan tersedia sebagai kebijakan organisasi dalam daftar kebijakan organisasi Google Cloud Platform. Untuk memverifikasi ada tidaknya batasan kustom, gunakan perintah gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
 Ganti ORGANIZATION_ID dengan ID resource organisasi Anda. Untuk mengetahui informasi selengkapnya, lihat Melihat kebijakan organisasi.

Menerapkan kebijakan organisasi kustom

Anda dapat menerapkan batasan dengan membuat kebijakan organisasi yang mereferensikannya, lalu menerapkan kebijakan organisasi tersebut ke resource Google Cloud Platform.

Konsol

  1. Di konsol Google Cloud , buka halaman Organization policies.

    Buka Organization policies

  2. Dari pemilih project, pilih project yang ingin Anda tetapkan kebijakan organisasinya.
  3. Dari daftar di halaman Organization policies, pilih batasan Anda untuk melihat halaman Policy details untuk batasan tersebut.
  4. Guna mengonfigurasi kebijakan organisasi untuk resource ini, klik Manage policy.
  5. Di halaman Edit policy, pilih Override parent's policy.
  6. Klik Add a rule.
  7. Di bagian Enforcement, pilih apakah penerapan kebijakan organisasi ini diaktifkan atau dinonaktifkan.
  8. Opsional: Agar kebijakan organisasi menjadi bersyarat pada tag, klik Add condition. Perhatikan bahwa jika menambahkan aturan bersyarat ke kebijakan organisasi, Anda harus menambahkan setidaknya satu aturan tanpa syarat atau kebijakan tidak dapat disimpan. Untuk mengetahui informasi selengkapnya, lihat Menetapkan kebijakan organisasi dengan tag.
  9. Klik Test changes untuk menyimulasikan efek kebijakan organisasi. Simulasi kebijakan tidak tersedia untuk batasan terkelola lama. Untuk mengetahui informasi selengkapnya, lihat Menguji perubahan kebijakan organisasi dengan Policy Simulator.
  10. Untuk menyelesaikan dan menerapkan kebijakan organisasi, klik Set policy. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

gcloud

Untuk membuat kebijakan organisasi dengan aturan boolean, buat file YAML kebijakan yang mereferensikan batasan: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Ganti kode berikut:

  • PROJECT_ID: project tempat Anda ingin menerapkan batasan.
  • CONSTRAINT_NAME: nama yang Anda tentukan untuk batasan kustom. Contoh, custom.denyPrimeJobs.

Untuk menerapkan kebijakan organisasi yang berisi batasan, jalankan perintah berikut: 

    gcloud org-policies set-policy POLICY_PATH

Ganti POLICY_PATH dengan jalur lengkap ke file YAML kebijakan organisasi Anda. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

Contoh: Membuat batasan untuk menolak pembuatan tugas dengan prime diaktifkan

gcloud

  1. Buat file batasan denyPrimeJobs.yaml dengan informasi berikut. Ganti ORGANIZATION_ID dengan ID organisasi Anda.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

  2. Tetapkan batasan kustom.

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

  3. Buat file kebijakan enforce-policy-denyPrimeJobs.yaml dengan informasi berikut. Dalam contoh ini, batasan diterapkan di level project. Anda juga dapat menetapkan batasan ini di tingkat organisasi atau folder. Ganti PROJECT_ID dengan project ID Anda.

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true

  4. Terapkan kebijakan dengan menjalankan perintah berikut. 

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml

  5. Untuk menguji batasan, coba buat tugas Dataflow dengan opsi enable_prime. Ikuti panduan memulai Membuat pipeline Dataflow menggunakan Java untuk membuat tugas WordCount.

    mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

    Outputnya mirip dengan contoh berikut:

    "details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

    Log audit akan menampilkan detail pelanggaran seperti berikut: 

      policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

Kolom ekspresi untuk kondisi

Tabel berikut berisi kolom ekspresi yang dapat Anda gunakan untuk membuat kondisi. Kondisi ditulis dalam Common Expression Language (CEL). Nilai kolom ekspresi peka huruf besar/kecil.

Untuk deskripsi kolom ekspresi berikut dan nilai yang dapat Anda tentukan, lihat Representasi JSON Job Dataflow.

Kolom ekspresi Jenis nilai
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

Contoh kasus penggunaan

Beberapa contoh kasus penggunaan tercantum dalam tabel berikut.

Kasus Penggunaan Tindakan Batasan Kustom
Menolak penggunaan tugas prime TOLAK resource.environment.serviceOptions.exists(value, value=='enable_prime')
Mencegah VM menerima kunci SSH yang disimpan dalam metadata project. TOLAK !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
Tidak mengizinkan tugas tanpa menetapkan jumlah detik maksimum tugas dapat berjalan TOLAK !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

Langkah berikutnya