Kuota serverless Managed Service untuk Apache Spark

Managed Service untuk Apache Spark memiliki batas kuota API yang diberlakukan pada level project dan region. Kuota ini disetel ulang setiap 60 detik (1 menit).

Tabel berikut mencantumkan jenis kuota, batas kuota, dan metode Managed Service untuk Apache Spark API per project spesifik dan default yang diberlakukan.

Jenis Kuota Batas Metode atau Deskripsi API
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation (kuota pembatalan operasi batch sama dengan kuota pembatalan operasi cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion 200 CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion 7.500 GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion 5.000 Batasan pada jumlah total operasi aktif serentak dari semua jenis dalam sebuah project di suatu region.

Kuota Google Cloud lainnya

Batch Managed Service untuk Apache Spark menggunakan produk Google Cloud lain. Produk-produk ini memiliki kuota level project, yang mencakup kuota yang berlaku pada penggunaan Managed Service untuk Apache Spark. Beberapa layanan diwajibkan menggunakan Managed Service untuk Apache Spark, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat digunakan dengan Managed Service untuk Apache Spark secara opsional.

Layanan wajib

Layanan berikut, yang memberlakukan batas kuota, diperlukan untuk membuat batch Managed Service untuk Apache Spark.

Compute Engine

Workload batch Managed Service untuk Apache Spark dapat memilih berbagai resource Compute Engine:

  • Untuk memitigasi masalah ketersediaan CPU dan disk, Managed Service untuk Apache Spark mendukung penggantian di beberapa jenis mesin dan jenis disk. Misalnya, di tingkat Premium, workload batch dapat melakukan penggantian ke N2 dengan SSD persisten, N2D dengan SSD lokal, N2D dengan persistent disk, N4 dengan hyperdisk seimbang, atau N4D dengan hyperdisk seimbang.

  • Beban kerja batch akan gagal jika tidak memiliki kuota yang cukup untuk menggunakan resource pilihan penggantian.

Tabel berikut mencantumkan kuota resource Compute Engine yang berlaku untuk workload batch Managed Service untuk Apache Spark.

Tingkat Komputasi Kuota
Standar CPUS
Premium
  • N2_CPUS
  • N2D_CPUS
  • CPUS_PER_VM_FAMILY dengan Tipe VM N4
  • CPUS_PER_VM_FAMILY dengan Tipe VM N4D
Tingkat Disk Kuota
Standar DISKS_TOTAL_GB
Premium
  • DISKS_TOTAL_GB
  • LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY dengan Kelompok VM N2 dan N2D
  • SSD-TOTAL-GB atau Persistent Disk SSD (GB)
  • HDB-TOTAL-GB atau Hyperdisk Balanced Capacity (GB)
Akselerator GPU Kuota
L4 NVIDIA_L4_GPUS
A100 40GB NVIDIA_A100_GPUS
A100 80GB NVIDIA_A100_80GB_GPUS

Kuota Compute Engine dibagi menjadi dua, yaitu batas regional dan batas global. Batas ini berlaku untuk batch yang Anda buat. Misalnya, untuk menjalankan batch Spark dengan 4 core driver (spark.driver.cores=4) dan dua eksekutor dengan masing-masing 4 core (spark.executor.cores=4), Anda menggunakan 12 CPU virtual (4 * 3). Penggunaan batch ini memengaruhi batas kuota regional 24 CPU virtual.

Resource batch default

Saat Anda membuat batch dengan setelan default, resource Compute Engine berikut akan digunakan:

Item Resource yang digunakan
CPU virtual 12
Instance Mesin Virtual (VM) 3
Persistent disk 1.200 GiB

Cloud Logging

Managed Service untuk Apache Spark menyimpan output dan log batch di Cloud Logging. Kuota Cloud Logging berlaku untuk batch Managed Service untuk Apache Spark Anda.

Layanan opsional

Layanan berikut, yang memiliki batas kuota, dapat digunakan secara opsional dengan batch Managed Service untuk Apache Spark.

BigQuery

Saat membaca atau menulis data ke BigQuery, maka kuota BigQuery akan berlaku.

Bigtable

Saat membaca atau menulis data ke Bigtable, kuota Bigtable akan berlaku.

Mengidentifikasi workload dengan batasan kuota atau alamat IP

Anda dapat menggunakan kueri Cloud Logging berikut untuk mengidentifikasi workload Managed Service untuk Apache Spark yang mencapai kuota Anda atau tidak dapat menskalakan karena kehabisan alamat IP.

Kueri kuota:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"

Kueri kehabisan alamat IP:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"