Halaman ini mencantumkan batas kuota Managed Service untuk Apache Spark API, yang diberlakukan di tingkat project dan region. Kuota ini disetel ulang setiap enam puluh detik (satu menit).
Untuk mengetahui strategi pengoptimalan cluster yang dapat membantu menghindari masalah kuota dan ketersediaan resource, lihat Ketersediaan resource dan strategi zona.
Tabel berikut mencantumkan jenis kuota, batas kuota, dan metode Managed Service untuk Apache Spark API per project spesifik dan default yang diberlakukan.
| Jenis Kuota | Batas | Metode API yang Berlaku |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | Semua operasi lain (terutama operasi Get) |
Tabel berikut mencantumkan batas tambahan untuk total operasi dan tugas aktif di tingkat project dan region.
| Jenis kuota | Batas | Deskripsi |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Batas jumlah total operasi aktif serentak dari semua jenis dalam satu project di satu database regional |
| ActiveJobsPerProjectPerRegion | 5000 | Batas jumlah total tugas aktif dalam status NON_TERMINAL dalam satu project di satu database regional |
Kuota lainnya Google Cloud
Cluster Managed Service untuk Apache Spark menggunakan produk lainnya Google Cloud . Produk-produk ini memiliki kuota level project, yang mencakup kuota yang berlaku pada penggunaan Managed Service untuk Apache Spark. Beberapa layanan diwajibkan menggunakan Managed Service untuk Apache Spark, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat menggunakan Managed Service untuk Apache Spark secara opsional.
Layanan cluster yang diperlukan
Layanan berikut, yang memberlakukan batas kuota, diperlukan untuk membuat cluster Managed Service untuk Apache Spark.
Compute Engine
Cluster Managed Service untuk Apache Spark menggunakan mesin virtual Compute Engine. Kuota
Compute Engine dibagi menjadi dua, yaitu batas regional dan batas global. Batas ini berlaku pada cluster yang Anda buat. Misalnya, pembuatan cluster dengan satu node -m n1-standard-4 dan dua node -w n1-standard-4 menggunakan 12 CPU virtual (4 * 3). Penggunaan cluster ini memengaruhi batas kuota regional 24 CPU virtual.
Resource cluster default
Saat Anda membuat cluster Managed Service untuk Apache Spark dengan setelan default, resource Compute Engine berikut ini akan digunakan.
| Resource | Penggunaan |
|---|---|
| CPU Virtual | 12 |
| Instance Mesin Virtual (VM) | 3 |
| Persistent disk | 1.500 GB |
Cloud Logging
Managed Service untuk Apache Spark menyimpan output driver dan log cluster di Cloud Logging. Kuota Logging berlaku untuk cluster Managed Service untuk Apache Spark.
Layanan cluster opsional
Anda dapat menggunakan layanan berikut secara opsional, yang memiliki batas kuota, dengan cluster Managed Service untuk Apache Spark.
BigQuery
Saat membaca atau menulis data ke BigQuery, maka kuota BigQuery akan berlaku.
Bigtable
Saat membaca atau menulis data ke Bigtable, maka kuota Bigtable akan berlaku.
Ketersediaan resource dan strategi zona
Untuk mengoptimalkan cluster terkait ketersediaan resource dan mengurangi potensi error kehabisan stok, pertimbangkan strategi berikut:
Penempatan Zona Otomatis: Saat membuat cluster, gunakan penempatan zona otomatis. Hal ini memungkinkan Managed Service untuk Apache Spark memilih zona yang optimal dalam region yang Anda tentukan, sehingga meningkatkan peluang keberhasilan pembuatan cluster.
Kuota regional: Pastikan kuota Compute Engine regional Anda mencukupi karena kuota dapat habis meskipun dengan penempatan zona otomatis jika total kapasitas regional tidak mencukupi untuk permintaan Anda.
Fleksibilitas jenis mesin: Jika Anda mengalami kehabisan stok yang terus-menerus dengan jenis mesin tertentu, gunakan jenis mesin lain yang lebih mudah tersedia untuk cluster Anda.