Dokumen ini mencantumkan kuota yang berlaku untuk Katalog Universal Dataplex.
Google Cloud menggunakan kuota untuk membantu memastikan keadilan dan mengurangi lonjakan penggunaan dan ketersediaan resource. Kuota membatasi jumlah Google Cloud resource yang dapat digunakan Google Cloud project Anda. Kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan. Misalnya, kuota dapat membatasi jumlah panggilan API ke suatu layanan, jumlah load balancer yang digunakan secara bersamaan oleh project Anda, atau jumlah project yang dapat Anda buat. Kuota melindungi komunitas penggunaGoogle Cloud dengan mencegah kelebihan beban layanan. Kuota juga membantu Anda mengelola resource Google Cloud sendiri.
Sistem Kuota Cloud melakukan hal berikut:
- Memantau pemakaian Google Cloud produk dan layanan
- Membatasi pemakaian resource tersebut
- Menyediakan cara untuk meminta perubahan pada nilai kuota dan mengotomatiskan penyesuaian kuota
Dalam sebagian besar kasus, saat Anda mencoba menggunakan resource melebihi kuota yang diizinkan, sistem akan memblokir akses ke resource tersebut, dan tugas yang Anda coba lakukan akan gagal.
Kuota umumnya berlaku di level Google Cloud project. Penggunaan resource dalam satu project tidak memengaruhi kuota yang tersedia dalam project lain. Dalam project Google Cloud , kuota dibagikan ke semua aplikasi dan alamat IP.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Kuota Cloud.
Ada juga batas sistem pada resource Katalog Universal Dataplex. Batas sistem tidak dapat diubah.
Dataplex Universal Catalog menerapkan kuota pada jumlah permintaan API selama jangka waktu tertentu dan jumlah resource yang dapat dibuat dalam suatu project. Kuota melindungi Anda dari lonjakan penggunaan yang tidak terduga dan layanan yang kelebihan beban. Pelajari lebih lanjut alasan kuota diterapkan.
Kebutuhan kuota Anda mungkin meningkat seiring dengan meningkatnya penggunaan Dataplex Universal Catalog. Jika kuota terlalu rendah untuk memenuhi kebutuhan Anda, atau Anda memperkirakan peningkatan penggunaan di masa mendatang, Anda dapat secara proaktif meminta penambahan kuota.
Kuota untuk permintaan Dataplex API
Dataplex API menerapkan kuota untuk permintaan penelusuran dan pengelolaan resource Katalog Universal Dataplex di berbagai tingkat, terlepas dari asalnya. Hal ini mencakup permintaan yang berasal dari panggilan API secara langsung, library klien, Google Cloud CLI, dan konsol Google Cloud .
Kuota berikut berlaku untuk permintaan Katalog Universal Dataplex:
| Kuota | Default |
|---|---|
| Permintaan baca untuk entri dan aspek per project per region per menit | 6000 |
| Permintaan tulis untuk entri dan aspek per project per region per menit | 1500 |
| Membaca permintaan untuk jenis aspek, jenis entri, dan grup entri per project per pengguna per menit | 100 |
| Membaca permintaan untuk jenis aspek, jenis entri, dan grup entri per project per menit | 200 |
| Menulis permintaan untuk jenis aspek, jenis entri, dan grup entri per project per pengguna per menit | 10 |
| Menulis permintaan untuk jenis aspek, jenis entri, dan grup entri per project per menit | 20 |
| Permintaan penelusuran per project per pengguna per menit | 900 |
| Permintaan penelusuran per project per menit | 1200 |
| Permintaan penelusuran per organisasi per menit | 2400 |
| Permintaan penelusuran per organisasi per hari | 345600 |
| Permintaan baca untuk tugas metadata per project per region per menit | 400 |
| Membaca permintaan untuk tugas metadata per project per pengguna per region per menit | 200 |
| Menulis permintaan untuk tugas metadata per project per region per menit | 20 |
| Menulis permintaan untuk tugas metadata per project per pengguna per region per menit | 10 |
| Jumlah metadata yang diekspor oleh tugas ekspor metadata, per organisasi per hari | 10 GB |
|
Jumlah metadata yang dipindai untuk diekspor oleh tugas ekspor metadata, per organisasi per hari Kuota ini mengevaluasi total volume metadata yang ada di organisasi, project, atau grup entri yang berada dalam cakupan tugas ekspor metadata. |
100 GB |
Untuk setiap permintaan Dataplex Universal Catalog yang tercantum dalam tabel berikut, kuota diberlakukan di tingkat per project dan per project per pengguna.
| Kuota | Contoh |
|---|---|
| Permintaan baca untuk pengelolaan resource | Mendapatkan data lake, mencantumkan zona |
| Permintaan tulis untuk pengelolaan resource | Membuat data lake, menghapus aset |
| Mendapatkan permintaan untuk metadata | Mendapatkan entity, mendapatkan partisi |
| Mencantumkan permintaan metadata | Mencantumkan entitas, mencantumkan partisi |
| Menulis permintaan untuk metadata | Memperbarui entity, menghapus partisi |
| Permintaan baca untuk resource tugas dan pekerjaan | Mendapatkan tugas, mencantumkan tugas |
| Permintaan tulis untuk resource tugas dan pekerjaan | Membuat tugas, membatalkan tugas |
| Permintaan penetapan kebijakan IAM | Menetapkan kebijakan IAM |
Kuota untuk permintaan Data Lineage API
Data Lineage API menerapkan kuota untuk hal berikut:
- Permintaan baca yang hanya menampilkan data
- Menulis permintaan yang membuat atau mengubah data
- Buat Open Lineage
Kuota berikut berlaku untuk permintaan silsilah data:
| Kuota | Nilai default |
|---|---|
| Permintaan baca per project per pengguna per region per menit | 1000 |
| Permintaan tulis per project per pengguna per region per menit | 6000 |
| Permintaan Open Lineage per project per pengguna per region per menit | 3000 |
Kuota untuk resource
Kuota resource diterapkan di tingkat per project untuk jenis resource berikut: lake, zone, aset, tugas sesuai permintaan, tugas berulang. Anda dapat memeriksa penggunaan kuota Katalog Universal Dataplex saat ini di halaman Quotas di konsol Google Cloud .
Meminta penambahan kuota
Di konsol Google Cloud , buka halaman Quotas.
Pilih kuota yang ingin Anda ubah.
Klik Tindakan lainnya > Edit kuota.
Masukkan nilai kuota baru dan deskripsi permintaan.
Klik Berikutnya.
Masukkan detail kontak.
Klik Submit request.
Untuk menyesuaikan sebagian besar kuota, gunakan konsol Google Cloud . Untuk mengetahui informasi selengkapnya, lihat Meminta penyesuaian kuota.
Dependensi kuota
Penggunaan Dataplex Universal Catalog Anda mungkin melibatkan produk Google Cloud lainnya. Misalnya, penemuan data memerlukan pemanggilan Cloud Storage dan/atau BigQuery API untuk berinteraksi dengan resource pokok. Produk-produk ini memiliki kuota level project, yang mencakup kuota yang berlaku pada penggunaan Katalog Universal Dataplex.
Halaman kuota produk lain yang mungkin Anda gunakan dengan Katalog Universal Dataplex:
Ini bukan merupakan daftar lengkap.
Batas
Batas berikut berlaku untuk Dataplex Universal Catalog:
| Batas | Nilai |
|---|---|
| Ukuran permintaan untuk entri dan aspek (termasuk aspek skema) | 2 MB |
| Panjang ID entri | 4000 characters |
| Panjang nama yang sepenuhnya memenuhi syarat dalam entri | 4000 characters |
| Panjang nama tampilan sumber entri dalam entri | 500 karakter |
| Panjang deskripsi sumber entri dalam entri | 2.000 karakter |
| Panjang resource sumber entri dalam entri | 4000 characters |
| Panjang sistem sumber entri dalam entri | 64 karakter |
| Panjang platform sumber entri dalam entri | 64 karakter |
| Panjang label sumber entri dalam entri | 128 karakter untuk setiap kunci dan nilai |
| Ukuran konten JSON dalam aspek (kecuali aspek skema) | 120 KB |
| Ukuran total entri | 5 MB |
| Jumlah aspek maksimum dalam entri | 10.000 |
| Panjang nama tampilan jenis entri, jenis aspek, dan grup entri | 256 |
| Panjang deskripsi jenis entri, jenis aspek, dan grup entri | 1024 |
| Panjang nama kolom dalam template jenis aspek | 63 |
| Jumlah maksimum jenis aspek yang diperlukan dalam jenis entri | 20 |
| Jumlah maksimum nilai enum dalam template jenis aspek | 1024 |
| Jumlah maksimum item dalam hasil penelusuran Dataplex Universal Catalog | 500 (mode penelusuran khusus kata kunci di konsol Google Cloud atau
semanticSearch=false saat menggunakan API)100 (semua kasus penelusuran lainnya) |