Kuota Managed Service for Apache Spark

Halaman ini mencantumkan batas kuota Managed Service for Apache Spark API, yang diberlakukan di tingkat project dan region. Kuota ini disetel ulang setiap enam puluh detik (satu menit).

Untuk mengetahui strategi pengoptimalan cluster yang dapat membantu menghindari masalah kuota dan ketersediaan resource, lihat Strategi ketersediaan resource dan zona.

Jika Anda menjalankan workload Managed Service for Apache Spark, lihat kuota Managed Service for Apache Spark. Penting: Kuota Managed Service for Apache Spark yang habis dapat menyebabkan kegagalan pembuatan batch dan sesi. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah kegagalan pembuatan batch dan sesi Managed Service for Apache Spark.

Menangani Error Kuota Managed Service for Apache Spark: Jika Anda melebihi batas kuota Managed Service for Apache Spark, pesan RESOURCE_EXHAUSTED (HTTP code 429) akan ditampilkan, dan permintaan Managed Service for Apache Spark API yang terkait akan gagal. Namun, karena kuota Managed Service for Apache Spark project Anda diperbarui setiap enam puluh detik, Anda dapat mencoba kembali permintaan dalam waktu satu menit setelah kegagalan tersebut.

Tabel berikut mencantumkan jenis kuota, batas kuota, dan metode Managed Service for Apache Spark API per project spesifik dan default yang diberlakukan.

Jenis Kuota	Batas	Metode API yang Berlaku
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob, UpdateJob, CancelJob, DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7500	Semua operasi lain (terutama operasi Get)

Meningkatkan Batas Kuota Resource: Buka halaman Google Cloud IAM & admin→Quotas, lalu pilih resource yang ingin diubah. Kemudian, klik Edit Kuota di bagian atas halaman untuk memulai proses penambahan kuota. Jika resource yang ingin Anda tingkatkan tidak terlihat di halaman ini, dan filter saat ini adalah "Kuota dengan penggunaan", ubah filter menjadi "Semua kuota" dengan mengklik menu drop-down "Jenis kuota".

Tabel berikut mencantumkan batas tambahan pada total operasi dan tugas aktif di tingkat project dan region.

Jenis kuota	Batas	Deskripsi
ActiveOperationsPerProjectPerRegion	5000	Batas jumlah total operasi aktif serentak dari semua jenis dalam satu project di satu database regional
ActiveJobsPerProjectPerRegion	5000	Batas jumlah total tugas aktif dalam status NON_TERMINAL di satu project dalam satu database regional

Meningkatkan batas pada total operasi dan tugas aktif: Buka tiket dukungan Google.

Kuota Google Cloud lainnya

Cluster Managed Service untuk Apache Spark menggunakan produk Google Cloud lainnya. Produk-produk ini memiliki kuota level project, yang mencakup kuota yang berlaku pada penggunaan Managed Service for Apache Spark. Beberapa layanan diwajibkan menggunakan Managed Service for Apache Spark, seperti Compute Engine dan Cloud Storage. Layanan lain, seperti BigQuery dan Bigtable, dapat menggunakan Managed Service for Apache Spark secara opsional.

Layanan cluster yang diperlukan

Layanan berikut, yang memberlakukan batas kuota, diperlukan untuk membuat cluster Managed Service for Apache Spark.

Compute Engine

Cluster Managed Service untuk Apache Spark menggunakan mesin virtual Compute Engine. Kuota Compute Engine dibagi menjadi dua, yaitu batas regional dan batas global. Batas ini berlaku untuk kluster yang Anda buat. Misalnya, pembuatan kluster dengan satu node n1-standard-4 -m dan dua node n1-standard-4 -w menggunakan 12 CPU virtual (4 * 3). Penggunaan kluster ini dihitung terhadap batas kuota regional 24 CPU virtual.

Kuota uji coba gratis: Jika Anda menggunakan uji coba gratis Compute Engine, project Anda akan memiliki batas 8 CPU. Untuk meningkatkan batas ini, Anda harus mengaktifkan penagihan pada project.

Resource cluster default

Saat Anda membuat cluster Managed Service for Apache Spark dengan setelan default, resource Compute Engine berikut akan digunakan.

Resource	Penggunaan
CPU Virtual	12
Instance Mesin Virtual (VM)	3
Persistent disk	1.500 GB

Cloud Logging

Managed Service for Apache Spark menyimpan output driver dan log cluster di Cloud Logging. Kuota Logging berlaku untuk cluster Managed Service for Apache Spark.

Layanan cluster opsional

Anda dapat secara opsional menggunakan layanan berikut, yang memiliki batas kuota, dengan cluster Managed Service for Apache Spark.

BigQuery

Saat membaca atau menulis data ke BigQuery, kuota BigQuery akan berlaku.

Bigtable

Saat membaca atau menulis data ke Bigtable, kuota Bigtable akan berlaku.

Ketersediaan resource dan strategi zona

Untuk mengoptimalkan ketersediaan resource cluster dan memitigasi potensi kesalahan kehabisan stok, pertimbangkan strategi berikut:

• Penempatan Zona Otomatis: Saat membuat cluster, gunakan penempatan zona otomatis. Hal ini memungkinkan Managed Service for Apache Spark memilih zona yang optimal dalam region yang Anda tentukan, sehingga meningkatkan peluang keberhasilan pembuatan cluster.

• Kuota regional: Pastikan kuota Compute Engine regional Anda mencukupi karena kuota dapat habis meskipun dengan penempatan zona otomatis jika total kapasitas regional tidak mencukupi untuk permintaan Anda.

• Fleksibilitas jenis mesin: Jika Anda mengalami kehabisan stok yang terus-menerus dengan jenis mesin tertentu, gunakan jenis mesin lain yang lebih mudah tersedia untuk cluster Anda.