Kuota dan batas sistem untuk Lakehouse tanpa batas

Dokumen ini mencantumkan kuota dan batas sistem yang berlaku untuk Lakehouse.

  • Kuota memiliki nilai default, tetapi biasanya Anda dapat meminta penyesuaian.
  • Batas sistem adalah nilai tetap yang tidak dapat diubah.

Google Cloud menggunakan kuota untuk membantu memastikan keadilan dan mengurangi lonjakan penggunaan dan ketersediaan resource. Kuota membatasi jumlah Google Cloud resource yang dapat digunakan Google Cloud project Anda. Kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan. Misalnya, kuota dapat membatasi jumlah panggilan API ke suatu layanan, jumlah load balancer yang digunakan secara bersamaan oleh project Anda, atau jumlah project yang dapat Anda buat. Kuota melindungi komunitas penggunaGoogle Cloud dengan mencegah kelebihan beban layanan. Kuota juga membantu Anda mengelola resource Google Cloud sendiri.

Sistem Kuota Cloud melakukan hal berikut:

Dalam sebagian besar kasus, saat Anda mencoba menggunakan resource melebihi kuota yang diizinkan, sistem akan memblokir akses ke resource tersebut, dan tugas yang Anda coba lakukan akan gagal.

Kuota umumnya berlaku di level Google Cloud project. Penggunaan resource dalam satu project tidak memengaruhi kuota yang tersedia dalam project lain. Dalam project Google Cloud , kuota dibagikan ke semua aplikasi dan alamat IP.

Untuk mengetahui informasi selengkapnya, lihat Ringkasan Kuota Cloud.

Ada juga batas sistem pada resource Lakehouse. Batas sistem tidak dapat diubah.

Mendapatkan nama metrik kuota dan batas sistem

Kuota dan batas sistem memiliki dua jenis nama: nama tampilan dan nama metrik. Nama tampilan memiliki spasi dan kapitalisasi yang memudahkan manusia untuk membacanya. Nama metrik cenderung menggunakan huruf kecil dan dibatasi oleh garis bawah, bukan spasi; format pastinya bergantung pada layanan.

Petunjuk berikut menunjukkan cara mendapatkan nama metrik untuk kuota dan batas sistem menggunakan konsol Google Cloud atau Google Cloud CLI.

Konsol

  1. Di Google Cloud konsol, buka halaman Identity and Access Management (IAM) & Admin > Quotas & System Limits:

    Buka Quotas &System Limits

    Tabel di halaman ini menampilkan kuota dan batas sistem yang memiliki penggunaan atau telah menyesuaikan nilai, serta entri referensi untuk kuota lainnya. Entri referensi memiliki kata "default" dalam tanda kurung di akhir listingan di kolom Name. Misalnya, SetIAM Policy requests per minute per region (default) adalah entri referensi untuk kuota SetIamPolicyRequestsPerMinutePerProject.

  2. Jika Anda tidak melihat kolom Metric, lakukan langkah-langkah berikut.

    1. Klik Column display options.
    2. Pilih Metric.
    3. Klik OK. Kolom Metric akan muncul di tabel.

    Kolom Metric menampilkan nama metrik. Untuk memfilter hasil, masukkan a nama atau nilai properti di kolom di samping Filter.

gcloud

Untuk mendapatkan nama metrik untuk layanan menggunakan gcloud CLI, jalankan perintah quotas info list. Untuk melewati baris yang tidak mencantumkan nama metrik, teruskan output ke a perintah seperti grep dengan metric: sebagai istilah penelusuran, atau gunakan flag --format gcloud CLI:

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

Ganti kode berikut:

  • PROJECT_ID_OR_NUMBER: project ID atau nomor project.
  • SERVICE_NAME: nama layanan yang metrik kuotanya ingin Anda lihat—misalnya, nama layanan untuk Compute Engine adalah compute.googleapis.com. Sertakan bagian googleapis.com dari nama layanan.

Meminta penambahan kuota

Untuk menyesuaikan sebagian besar kuota, gunakan Google Cloud konsol. Untuk mengetahui informasi selengkapnya, lihat Meminta penyesuaian kuota.

Kuota

Kuota berikut berlaku untuk Lakehouse:

Katalog runtime Lakehouse

Batas berikut berlaku untuk katalog runtime Lakehouse:

Batas Default Catatan
Modifikasi tabel per hari 1.500 modifikasi

Project Anda dapat membuat hingga 1.500 modifikasi tabel per tabel per hari. Tugas pemuatan, tugas penyalinan, atau tugas kueri yang menambahkan atau menimpa data tabel dihitung sebagai satu modifikasi pada tabel. Batas ini tidak dapat diubah.

Pernyataan DML dikecualikan dan tidak diperhitungkan dalam jumlah modifikasi tabel per hari.

Data streaming dikecualikan dan tidak diperhitungkan dalam jumlah modifikasi tabel per hari.
Kapasitas maksimum operasi update metadata tabel per tabel 5 operasi per 10 detik Project Anda dapat membuat hingga lima operasi update metadata tabel per 10 detik per tabel. Batas ini berlaku untuk semua operasi update metadata tabel, yang dilakukan oleh hal berikut: Batas ini juga mencakup total gabungan dari semua tugas pemuatan, tugas penyalinan, dan tugas kueri yang menambahkan ke atau menimpa tabel tujuan atau yang menggunakan pernyataan DML DELETE, INSERT, MERGE, TRUNCATE TABLE, atau, UPDATE untuk menulis data ke tabel. Perhatikan bahwa meskipun pernyataan DML diperhitungkan terhadap batas ini, pernyataan tersebut tidak akan dikenai jika batas tersebut tercapai. Operasi DML memiliki batas kapasitas khusus.

Jika melebihi batas ini, Anda akan mendapatkan pesan error seperti Exceeded rate limits: too many table update operations for this table. Error ini bersifat sementara; Anda dapat mencoba lagi dengan backoff eksponensial.

Untuk mengidentifikasi operasi yang diperhitungkan terhadap batas ini, Anda dapat Memeriksa log. Lihat Memecahkan masalah error kuota untuk mendapatkan panduan tentang cara mendiagnosis dan mengatasi error ini.

Jumlah kolom maksimum per tabel 10.000 kolom Setiap definisi tabel, hasil kueri, atau tampilan dapat memiliki hingga 10.000 kolom. Hal ini mencakup kolom bertingkat dan berulang.

Akses data lintas cloud

Quota Nilai
Jumlah total maksimum namespace dalam katalog gabungan 100 namespace
Jumlah maksimum tabel per namespace dalam katalog gabungan 300 tabel per namespace
Jumlah total maksimum tabel dalam katalog gabungan 10.000 tabel
Jumlah maksimum filter namespace dalam katalog gabungan 16 filter namespace

Batas sistem

Tabel berikut mencantumkan batas sistem yang berlaku untuk Lakehouse dan nilai untuk setiap batas sistem:

Batas sistem Nilai
Jumlah maksimum tabel Apache Iceberg yang dikelola oleh Lakehouse per bucket Cloud Storage yang didukung oleh pemindaian penemuan 1.000 tabel per bucket