Dokumen ini mencantumkan kuota yang berlaku untuk Knowledge Catalog (sebelumnya Dataplex Universal Catalog).
Google Cloud menggunakan kuota untuk membantu memastikan keadilan dan mengurangi lonjakan penggunaan dan ketersediaan resource. Kuota membatasi jumlah Google Cloud resource yang dapat digunakan Google Cloud project Anda. Kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan. Misalnya, kuota dapat membatasi jumlah panggilan API ke suatu layanan, jumlah load balancer yang digunakan secara bersamaan oleh project Anda, atau jumlah project yang dapat Anda buat. Kuota melindungi komunitas penggunaGoogle Cloud dengan mencegah kelebihan beban layanan. Kuota juga membantu Anda mengelola resource Google Cloud sendiri.
Sistem Kuota Cloud melakukan hal berikut:
- Memantau pemakaian Google Cloud produk dan layanan
- Membatasi pemakaian resource tersebut
- Menyediakan cara untuk meminta perubahan pada nilai kuota dan mengotomatiskan penyesuaian kuota
Dalam sebagian besar kasus, saat Anda mencoba menggunakan resource melebihi kuota yang diizinkan, sistem akan memblokir akses ke resource tersebut, dan tugas yang Anda coba lakukan akan gagal.
Kuota umumnya berlaku di level Google Cloud project. Penggunaan resource dalam satu project tidak memengaruhi kuota yang tersedia dalam project lain. Dalam project Google Cloud , kuota dibagikan ke semua aplikasi dan alamat IP.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan Kuota Cloud.
Ada juga batas sistem untuk resource Knowledge Catalog. Batas sistem tidak dapat diubah.
Knowledge Catalog menerapkan kuota pada jumlah permintaan API selama jangka waktu tertentu dan jumlah resource yang dapat dibuat dalam project. Kuota melindungi Anda dari lonjakan penggunaan yang tidak terduga dan layanan yang kelebihan beban. Pelajari lebih lanjut alasan kuota diterapkan.
Kebutuhan kuota Anda mungkin meningkat seiring dengan penggunaan Knowledge Catalog. Jika kuota terlalu rendah untuk memenuhi kebutuhan Anda, atau Anda memperkirakan akan ada peningkatan penggunaan, Anda dapat secara proaktif meminta penambahan kuota.
Memahami jenis permintaan API
Permintaan API di berbagai fitur Knowledge Catalog, seperti pengelolaan resource, metadata, tugas, dan pemindaian data, dikategorikan ke dalam bucket umum untuk mengelola penggunaan dan perlindungan layanan.
Permintaan baca
Permintaan baca adalah operasi yang dirancang untuk mengambil informasi tentang resource, metadata, atau histori eksekusi yang ada tanpa mengubah konfigurasi atau status apa pun. Operasi ini tidak bermutasi dan tidak memicu tugas pemrosesan baru.
Operasi permintaan baca mencakup Get, List, dan Describe. Misalnya, melihat definisi pemindaian data atau status tugas pemindaian adalah permintaan baca.
Permintaan tulis
Permintaan tulis mencakup semua operasi yang membuat, memperbarui, atau menghapus definisi resource, serta operasi yang mengubah kebijakan keamanan. Ini adalah operasi yang mengubah status lingkungan.
Operasi permintaan tulis mencakup Create, Update, Delete, Cancel, dan
SetIamPolicy. Misalnya, mengonfigurasi pemindaian kualitas data atau memperbarui pemindaian profil data yang ada adalah permintaan tulis.
Menjalankan permintaan
Permintaan operasi secara khusus mengacu pada pemicuan eksekusi aktif dari resource yang telah dikonfigurasi sebelumnya. Tidak seperti permintaan tulis (yang mungkin membuat jadwal berulang), permintaan jalankan sering digunakan untuk eksekusi logika yang dikonfigurasi sesuai permintaan.
Misalnya, memulai eksekusi pemindaian data secara manual adalah permintaan operasi.
Kuota untuk permintaan Dataplex API
Dataplex API menerapkan kuota untuk pengelolaan resource Knowledge Catalog dan permintaan penelusuran di berbagai tingkat, terlepas dari asalnya. Hal ini mencakup permintaan yang berasal dari panggilan API secara langsung, library klien, Google Cloud CLI, dan konsol Google Cloud .
Kuota berikut berlaku untuk permintaan Knowledge Catalog:
| Kuota | Default |
|---|---|
| Permintaan baca untuk entri dan aspek per project per region per menit | 6000 |
| Permintaan tulis untuk entri dan aspek per project per region per menit | 1500 |
| Permintaan baca untuk jenis aspek, jenis entri, dan grup entri per project per pengguna per menit | 100 |
| Permintaan baca untuk jenis aspek, jenis entri, dan grup entri per project per menit | 200 |
| Permintaan tulis untuk jenis aspek, jenis entri, dan grup entri per project per pengguna per menit | 10 |
| Permintaan tulis untuk jenis aspek, jenis entri, dan grup entri per project per menit | 20 |
| Permintaan penelusuran per project per pengguna per menit | 900 |
| Permintaan penelusuran per project per menit | 1200 |
| Permintaan penelusuran per organisasi per menit | 2400 |
| Permintaan penelusuran per organisasi per hari | 345600 |
| Permintaan baca untuk tugas metadata per project per region per menit | 400 |
| Permintaan baca untuk tugas metadata per project per pengguna per region per menit | 200 |
| Permintaan tulis untuk tugas metadata per project per region per menit | 20 |
| Permintaan tulis untuk tugas metadata per project per pengguna per region per menit | 10 |
| Permintaan baca untuk pemindaian data per project per region per menit | 1200 |
| Permintaan baca untuk pemindaian data per project per pengguna per region per menit | 600 |
| Permintaan tulis untuk pemindaian data per project per region per menit | 200 |
| Permintaan tulis untuk pemindaian data per project per pengguna per region per menit | 100 |
| Menjalankan permintaan untuk pemindaian data per project per region per menit | 60 |
| Menjalankan permintaan untuk pemindaian data per project per pengguna per region per menit | 30 |
| Total eksekusi harian pemindaian profil data untuk data tidak terstruktur di tabel objek BigQuery per project | 140 |
| Jumlah metadata yang diekspor oleh tugas ekspor metadata, per organisasi per hari | 10 GB |
|
Jumlah metadata yang dipindai untuk diekspor oleh tugas ekspor metadata, per organisasi per hari Kuota ini mengevaluasi total volume metadata yang ada di organisasi, project, atau grup entri yang berada dalam cakupan tugas ekspor metadata. |
100 GB |
Untuk setiap permintaan Knowledge Catalog yang tercantum dalam tabel berikut, kuota diterapkan di level per project dan per project per pengguna.
| Kuota | Contoh |
|---|---|
| Permintaan baca untuk pengelolaan resource | Mendapatkan data lake, mencantumkan zona |
| Permintaan tulis untuk pengelolaan resource | Membuat data lake, menghapus aset |
| Mendapatkan permintaan GET untuk metadata | Mendapatkan entity, mendapatkan partisi |
| Permintaan daftar untuk metadata | Mencantumkan entity, mencantumkan partisi |
| Permintaan tulis untuk metadata | Memperbarui entity, menghapus partisi |
| Membaca permintaan untuk resource tugas dan tugas | Mendapatkan tugas, mencantumkan tugas |
| Menulis permintaan untuk resource tugas dan pekerjaan | Membuat tugas, membatalkan tugas |
| Menetapkan permintaan kebijakan IAM | Menetapkan kebijakan IAM |
Kuota untuk permintaan API Data Lineage
Data Lineage API menerapkan kuota untuk hal berikut:
- Permintaan baca yang hanya menampilkan data
- Permintaan tulis yang membuat atau mengubah data
- Membuat Open Lineage
Kuota berikut berlaku untuk permintaan silsilah data:
| Kuota | Nilai default |
|---|---|
| Permintaan baca per project per pengguna per region per menit | 1000 |
| Permintaan tulis per project per pengguna per region per menit | 6000 |
| Permintaan Open Lineage per project per pengguna per region per menit | 3000 |
Kuota untuk permintaan API produk data
Dataplex API menerapkan pembatasan kapasitas pada operasi metadata dan permintaan siklus proses untuk produk data dan aset data. Batas ini berlaku terlepas dari apakah permintaan berasal dari konsol Google Cloud , Google Cloud CLI, library klien, atau panggilan API langsung.
Kuota berikut berlaku untuk permintaan produk data dan aset data:
| Kuota | Nilai default |
|---|---|
| Permintaan baca untuk produk data per project per region per menit | 500 |
| Permintaan baca untuk produk data per project per pengguna per region per menit | 250 |
| Membuat dan menghapus permintaan untuk produk data per project per region per menit | 250 |
| Membuat dan menghapus permintaan untuk produk data per project per pengguna per region per menit | 125 |
| Permintaan update untuk produk data per project per menit | 10 |
| Permintaan update untuk produk data per project per pengguna per menit | 5 |
| Permintaan baca untuk aset data per project per region per menit | 500 |
| Permintaan baca untuk aset data per project per pengguna per region per menit | 250 |
| Permintaan tulis untuk aset data per project per region per menit | 30 |
| Permintaan tulis untuk aset data per project per pengguna per region per menit | 15 |
Kuota dan batas untuk tugas pengayaan Knowledge Studio
Dataplex API menerapkan kuota kapasitas dan resource pada tugas pengayaan Knowledge Studio (resource AgentTask) dan operasi tugas (resource AgentRun).
Kuota berikut berlaku untuk tugas pengayaan Knowledge Studio:
| Kuota | Nilai default |
|---|---|
Permintaan baca untuk resource tugas pengayaan (seperti Get dan
List untuk tugas dan operasi) per project per region per menit |
1200 |
Permintaan tulis untuk resource tugas pengayaan (seperti Create,
Update, dan Delete) per project per region per
menit |
60 |
| Menjalankan permintaan untuk resource tugas pengayaan per project per region per menit | 20 |
Jumlah maksimum tugas pengayaan (resource AgentTask) per
project per region |
100 |
Kuota untuk resource
Kuota resource diterapkan di level per project untuk jenis resource berikut: lake, zona, aset, tugas on-demand, tugas berulang. Anda dapat memeriksa penggunaan kuota Knowledge Catalog saat ini di halaman Quotas di konsol Google Cloud .
Meminta penambahan kuota
Di konsol Google Cloud , buka halaman Quotas.
Pilih kuota yang ingin Anda ubah.
Klik More actions > Edit quota.
Masukkan nilai kuota baru dan deskripsi permintaan.
Klik Berikutnya.
Masukkan detail kontak.
Klik Submit request.
Untuk menyesuaikan sebagian besar kuota, gunakan konsol Google Cloud . Untuk mengetahui informasi selengkapnya, lihat Meminta penyesuaian kuota.
Dependensi kuota
Penggunaan Knowledge Catalog Anda mungkin melibatkan produk Google Cloud lainnya. Misalnya, penemuan data memerlukan pemanggilan API Cloud Storage atau BigQuery untuk berinteraksi dengan resource yang mendasarinya. Produk ini memiliki kuota level project, yang mencakup kuota yang berlaku untuk penggunaan Knowledge Catalog.
Halaman kuota produk lain yang mungkin Anda gunakan dengan Knowledge Catalog:
Ini bukan merupakan daftar lengkap.
Batas
Batasan berikut berlaku untuk Knowledge Catalog:
| Batas | Nilai |
|---|---|
| Ukuran permintaan untuk entri dan aspek (termasuk aspek skema) | 2 MB |
| Panjang ID entri | 4000 characters |
| Panjang nama yang sepenuhnya memenuhi syarat dalam entri | 4000 characters |
| Panjang nama tampilan sumber entri dalam entri | 500 karakter |
| Panjang deskripsi sumber entri dalam entri | 2.000 karakter |
| Panjang resource sumber entri dalam entri | 4000 characters |
| Panjang sistem sumber entri dalam entri | 64 karakter |
| Panjang platform sumber entri dalam entri | 64 karakter |
| Panjang label sumber entri dalam entri | 128 karakter untuk setiap kunci dan nilai |
| Ukuran konten JSON dalam aspek (kecuali aspek skema dan profil data) | 120 KB |
| Ukuran konten JSON dalam aspek profil data | 1 MB |
| Ukuran total entri | 5 MB |
| Jumlah maksimum aspek dalam entri | 10.000 |
| Panjang nama tampilan jenis entri, jenis aspek, dan grup entri | 256 |
| Panjang deskripsi jenis entri, jenis aspek, dan grup entri | 1024 |
| Panjang nama kolom dalam template jenis aspek | 63 |
| Jumlah maksimum jenis aspek yang diperlukan dalam jenis entri | 20 |
| Jumlah maksimum nilai enum dalam template jenis aspek | 1024 |
| Jumlah maksimum item dalam hasil penelusuran Knowledge Catalog | 500 (mode penelusuran khusus kata kunci di konsol Google Cloud atau
semanticSearch=false saat menggunakan API)100 (semua kasus penelusuran lainnya) |
| Jumlah maksimum pemindaian data per project per region | 1000 |
| Jumlah maksimum produk data per project per region | 200 |
| Jumlah maksimum aset data per produk data | 50 |
| Jumlah maksimum tag kebijakan per taksonomi | 100 |