Kuota dan batas

Dokumen ini mencantumkan kuota dan batas sistem yang berlaku untuk Dataflow.

• Kuota memiliki nilai default, tetapi biasanya Anda dapat meminta penyesuaian.
• Batas sistem adalah nilai tetap yang tidak dapat diubah.

Google Cloud menggunakan kuota untuk membantu memastikan keadilan dan mengurangi lonjakan penggunaan dan ketersediaan resource. Kuota membatasi jumlah Google Cloud resource yang dapat digunakan Google Cloud project Anda. Kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan. Misalnya, kuota dapat membatasi jumlah panggilan API ke suatu layanan, jumlah load balancer yang digunakan secara bersamaan oleh project Anda, atau jumlah project yang dapat Anda buat. Kuota melindungi komunitas penggunaGoogle Cloud dengan mencegah kelebihan beban layanan. Kuota juga membantu Anda mengelola resource Google Cloud sendiri.

Sistem Kuota Cloud melakukan hal berikut:

• Memantau pemakaian Google Cloud produk dan layanan
• Membatasi pemakaian resource tersebut
• Menyediakan cara untuk meminta perubahan pada nilai kuota dan mengotomatiskan penyesuaian kuota

Dalam sebagian besar kasus, saat Anda mencoba menggunakan resource melebihi kuota yang diizinkan, sistem akan memblokir akses ke resource tersebut, dan tugas yang Anda coba lakukan akan gagal.

Kuota umumnya berlaku di level Google Cloud project. Penggunaan resource dalam satu project tidak memengaruhi kuota yang tersedia dalam project lain. Dalam project Google Cloud , kuota dibagikan ke semua aplikasi dan alamat IP.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Kuota Cloud.

Untuk menyesuaikan sebagian besar kuota, gunakan Google Cloud konsol. Untuk mengetahui informasi selengkapnya, lihat Meminta penyesuaian kuota.

Ada juga batas sistem untuk resource Dataflow. Batas sistem tidak dapat diubah.

Layanan terkelola Dataflow memiliki kuota dan batas berikut:

• Setiap Google Cloud project dapat membuat hingga 3.000.000 permintaan per menit.
• Setiap tugas Dataflow dapat menggunakan maksimum 2.000 instance Compute Engine. Tanpa menentukan zona pekerja, setiap tugas streaming yang menggunakan Streaming Engine atau tugas batch yang menggunakan Dataflow berbasis layanan Shuffle dapat menggunakan maksimum 4.000 instance Compute Engine.
• Setiap Google Cloud project dapat menjalankan paling banyak 25 tugas Dataflow serentak secara default.
• Setiap pekerja Dataflow memiliki batas maksimum log yang dapat dihasilkan dalam interval waktu. Lihat dokumentasi logging untuk mengetahui batas pastinya.
• Jika Anda memilih kuota tingkat organisasi, setiap organisasi dapat menjalankan paling banyak 125 tugas Dataflow serentak secara default.
• Setiap pengguna dapat membuat hingga 15.000 permintaan pemantauan per menit.
• Setiap pengguna dapat membuat hingga 60 permintaan pembuatan tugas per menit.
• Setiap pengguna dapat membuat hingga 60 permintaan template tugas per menit.
• Setiap pengguna dapat membuat hingga 60 permintaan update tugas per menit.
• Setiap Google Cloud project mendapatkan slot shuffle berikut di setiap region:
  • asia-east1: 48 slot
  • asia-northeast1: 24 slot
  • asia-northeast3: 32 slot
  • asia-south1: 64 slot
  • asia-southeast1: 64 slot
  • australia-southeast1: 24 slot
  • europe-west1: 640 slot
  • europe-west2: 32 slot
  • europe-west3: 40 slot
  • europe-west4: 640 slot
  • northamerica-northeast1: 512 slot
  • us-central1: 640 slot
  • us-east1: 640 slot
  • us-east4: 64 slot
  • us-west1: 384 slot
  • us-west2: 24 slot
  • us-west3: 24 slot
  • others: 16 slot
  16 slot cukup untuk mengacak sekitar 10 TB data secara bersamaan.
• Tugas batch Dataflow akan dibatalkan setelah 10 hari.

Kuota Compute Engine

Saat Anda menjalankan pipeline di layanan Dataflow, Dataflow akan membuat instance Compute Engine untuk menjalankan kode pipeline Anda.

Kuota Compute Engine ditentukan per region. Tinjau kuota Compute Engine project Anda dan minta penyesuaian berikut jika diperlukan:

• CPU: Secara default, Dataflow menggunakan Pemilihan VM Otomatis untuk memilih jenis mesin bagi VM pekerja. Fitur ini meningkatkan keandalan tugas dengan otomatis memilih jenis mesin yang tersedia dari berbagai keluarga VM yang kompatibel dan fleksibel saat runtime. Untuk mengetahui informasi selengkapnya, lihat Pemilihan VM Otomatis untuk jenis mesin pekerja.

  Compute Engine menghitung jumlah CPU dengan menjumlahkan total jumlah CPU setiap instance jumlah. Misalnya, menjalankan 10 instance yang masing-masing memiliki 4 vCPU akan dihitung sebagai 40 CPU. Untuk mengetahui pemetaan jenis mesin ke jumlah CPU, lihat Jenis mesin Compute Engine.

• Alamat IP yang Digunakan: Jumlah alamat IP yang digunakan dalam project Anda harus cukup untuk mengakomodasi jumlah instance yang diinginkan. Untuk menggunakan 10 instance Compute Engine, Anda memerlukan 10 alamat IP yang digunakan.
• Persistent Disk: Dataflow melampirkan Persistent Disk ke setiap instance.
  • Ukuran disk default adalah 250 GB untuk pipeline batch dan 400 GB untuk pipeline streaming. Untuk 10 instance, secara default Anda memerlukan 2.500 GB Persistent Disk untuk tugas batch.
  • Ukuran disk default adalah 25 GB untuk pipeline batch Dataflow Shuffle.
  • Ukuran disk default adalah 30 GB untuk pipeline streaming Streaming Engine.
  • Layanan Dataflow saat ini dibatasi hingga 15 persistent disk per instance pekerja saat menjalankan tugas streaming. Setiap persistent disk bersifat lokal untuk setiap virtual machine Compute Engine. Rasio 1:1 antara pekerja dan disk adalah alokasi resource minimum.
  • Penggunaan Compute Engine didasarkan pada jumlah rata-rata pekerja, sedangkan penggunaan Persistent Disk penggunaan didasarkan pada nilai pasti --maxNumWorkers. Persistent Disk didistribusikan ulang sehingga setiap pekerja memiliki jumlah disk terlampir yang sama.
• Grup Instance Terkelola Regional: Dataflow men-deploy instance Compute Engine Anda sebagai Grup Instance Terkelola Regional. Anda harus memastikan bahwa Anda memiliki kuota terkait berikut:
  • Satu Grup Instance per tugas Dataflow
  • Satu Template Instance per tugas Dataflow
  • Satu Grup Instance Terkelola Regional per tugas Dataflow
• Jika Grup Instance Terkelola tidak ada untuk tugas streaming selama lebih dari 7 hari, tugas akan dibatalkan.
• Jika Grup Instance Terkelola tidak ada untuk tugas batch selama lebih dari 1 jam, tugas akan dibatalkan.

Perhatian: Mengubah resource Compute Engine yang dikelola Dataflow secara manual yang terkait dengan tugas Dataflow adalah operasi yang tidak didukung. Anda tidak boleh mencoba menghentikan secara manual, menghapus, atau mengontrol instance Compute Engine yang dibuat Dataflow untuk menjalankan tugas Anda. Selain itu, Anda tidak boleh mengubah resource Persistent Disk yang terkait dengan tugas Dataflow Anda.

Catatan: Jika Anda menggunakan project Uji Coba Gratis, project Anda memiliki maksimum 8 core yang tersedia. Anda harus menentukan kombinasi numWorkers, workerMachineType, dan maxNumWorkers yang sesuai dengan batas uji coba Anda.

Kuota tambahan

Bergantung pada sumber dan sink yang Anda gunakan, Anda mungkin juga memerlukan kuota tambahan.

1. Pub/Sub: Jika Anda menggunakan Pub/Sub, Anda mungkin memerlukan kuota tambahan. Saat merencanakan kuota, perhatikan bahwa memproses 1 pesan dari Pub/Sub melibatkan 3 operasi. Jika Anda menggunakan stempel waktu kustom, Anda harus menggandakan jumlah operasi yang diharapkan, karena Dataflow akan membuat langganan terpisah untuk melacak stempel waktu kustom.
2. BigQuery: Jika Anda menggunakan streaming API untuk BigQuery, batas kuota dan batasan lainnya akan berlaku.

Menemukan dan menambah kuota

Anda dapat memeriksa penggunaan kuota khusus Dataflow saat ini:

1. Di Google Cloud konsol, buka API & layanan.
   Buka API &Layanan
2. Untuk memeriksa penggunaan kuota slot Shuffle saat ini, di tab Kuota, temukan baris Slot shuffle di tabel, dan di kolom Diagram Penggunaan, klik Tampilkan diagram penggunaan.

Jika Anda ingin menambah kuota tugas, hubungi Google Cloud Dukungan, dan kami akan menambah batas ke nilai yang lebih sesuai dengan kebutuhan Anda. Kuota default adalah 25 tugas Dataflow serentak untuk project Anda atau 125 tugas Dataflow serentak untuk organisasi Anda.

Selain itu, Anda dapat menambah kuota Slot shuffle untuk tugas batch dengan mengirimkan permintaan dukungan dan menentukan ukuran set data Shuffle serentak maksimum yang diharapkan untuk semua tugas di project Anda. Sebelum meminta kuota Shuffle tambahan, jalankan pipeline Anda menggunakan Dataflow Shuffle dan periksa penggunaan kuota Shuffle yang sebenarnya.

Untuk tugas streaming, Anda dapat meningkatkan throughput Streaming Engine dengan mengirimkan permintaan dukungan ke Dukungan Google Cloud Platform. Dalam permintaan Anda, tentukan jumlah data maksimum yang ingin Anda acak antar-pekerja setiap menit untuk setiap region tempat tugas Anda berjalan.

Layanan Dataflow juga menggunakan berbagai komponen Google Cloud, seperti BigQuery, Cloud Storage, Pub/Sub, dan Compute Engine. Layanan ini (dan layanan lainnya Google Cloud layanan) menggunakan kuota untuk membatasi jumlah maksimum resource yang dapat Anda gunakan dalam project. Saat menggunakan Dataflow, Anda mungkin perlu menyesuaikan setelan kuota untuk layanan ini.

Dataflow Prime

Kuota dan batasnya sama untuk Dataflow dan Dataflow Prime. Jika Anda memiliki kuota untuk Dataflow, Anda tidak memerlukan kuota tambahan untuk menjalankan tugas menggunakan Dataflow Prime.

Batas

Bagian ini menjelaskan batas produksi praktis untuk Dataflow.

Catatan: Nilai ini dapat berubah, dan berlaku untuk versi terbaru Apache Beam SDK. Pipeline yang dikompilasi dengan versi Dataflow SDK sebelumnya mungkin mengalami batas runtime yang lebih ketat.

Batas	Jumlah
Jumlah maksimum pekerja per pipeline.	2.000
Ukuran maksimum untuk permintaan pembuatan tugas. Deskripsi pipeline dengan banyak langkah dan nama yang sangat panjang dapat mencapai batas ini.	10 MB
Ukuran maksimum untuk permintaan peluncuran template.	1 MB
Jumlah maksimum shard input samping.	20.000
Ukuran maksimum untuk satu elemen (kecuali jika kondisi yang lebih ketat berlaku, misalnya Streaming Engine).	2 GB
Ukuran kunci maksimum dalam pipeline batch.	1,5 MB
Jumlah maksimum entri log dalam jangka waktu tertentu, per pekerja.	15.000 pesan setiap 30 detik
Jumlah maksimum metrik kustom per project.	100
Jangka waktu penyimpanan rekomendasi.	30 hari

Batas Streaming Engine	Jumlah
Byte maksimum untuk pesan Pub/Sub.	7 MB
Ukuran maksimum untuk satu nilai elemen.	80 MB
Ukuran maksimum kunci besar. Kunci yang berukuran lebih dari 64 KB menyebabkan penurunan performa.	2 MB
Ukuran maksimum untuk input samping.	80 MB
Panjang maksimum untuk tag status yang digunakan oleh TagValue dan TagBag.	64 KB