Managed Service untuk Apache Spark memiliki batas kuota API yang diberlakukan pada level project dan region. Kuota ini disetel ulang setiap enam puluh detik (satu menit).
Tabel berikut mencantumkan jenis kuota, batas kuota, dan metode Managed Service untuk Apache Spark API per project spesifik dan default yang diberlakukan.
| Jenis Kuota | Batas | Metode atau Deskripsi API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (kuota operasi batch yang dibatalkan sama dengan kuota operasi cluster yang dibatalkan). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Batas jumlah total operasi aktif serentak dari semua jenis dalam sebuah project di suatu region. |
Kuota lainnya Google Cloud
Batch Managed Service untuk Apache Spark menggunakan produk lainnya Google Cloud . Produk-produk ini memiliki kuota level project, yang mencakup kuota yang berlaku pada penggunaan Managed Service untuk Apache Spark. Beberapa layanan diwajibkan menggunakan Managed Service untuk Apache Spark, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat digunakan dengan Managed Service untuk Apache Spark secara opsional.
Layanan wajib
Layanan berikut, yang memberlakukan batas kuota, wajib digunakan untuk membuat batch Managed Service untuk Apache Spark.
Compute Engine
Batch Managed Service untuk Apache Spark menggunakan kuota resource Compute Engine berikut:
| Tingkat Komputasi | Quota |
|---|---|
| Standar | CPUS |
| Premium | N2_CPUS |
| Tingkat Disk | Quota |
| Standar | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY dengan VM Family N2 |
| Akselerator GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
Kuota Compute Engine
dibagi menjadi dua, yaitu batas regional dan batas global. Batas ini berlaku pada batch yang Anda buat. Misalnya, untuk menjalankan batch Spark dengan 4 core driver (spark.driver.cores=4) dan dua eksekutor dengan 4 core masing-masing (spark.executor.cores=4), Anda perlu menggunakan 12 CPU virtual (4 * 3). Penggunaan batch ini memengaruhi batas kuota regional 24 CPU virtual.
Resource batch default
Saat Anda membuat batch dengan setelan default, resource Compute Engine berikut ini akan digunakan:
| Item | Resource yang digunakan |
|---|---|
| CPU virtual | 12 |
| Instance Mesin Virtual (VM) | 3 |
| Persistent disk | 1200 GiB |
Cloud Logging
Managed Service untuk Apache Spark menyimpan output dan log batch di Cloud Logging. Kuota Cloud Logging berlaku pada batch Managed Service untuk Apache Spark Anda.
Layanan opsional
Layanan berikut ini, yang memiliki batas kuota, dapat digunakan secara opsional dengan batch Managed Service untuk Apache Spark.
BigQuery
Saat membaca atau menulis data ke BigQuery, maka kuota BigQuery akan berlaku.
Bigtable
Saat membaca atau menulis data ke Bigtable, maka kuota Bigtable akan berlaku.
Mengidentifikasi workload dengan batasan kuota atau alamat IP
Anda dapat menggunakan kueri Cloud Logging berikut untuk mengidentifikasi workload Managed Service untuk Apache Spark yang mencapai kuota atau tidak dapat diskalakan karena kehabisan alamat IP.
Kueri kuota:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"
Kueri kehabisan alamat IP:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"