Kuota dan batas sistem untuk Lakehouse tanpa batas

Resource Lakehouse Tanpa Batas memiliki kuota yang dapat dikonfigurasi dan batas sistem tetap untuk membantu mengontrol konsumsi resource dan menjaga stabilitas layanan. Kuota menetapkan alokasi dasar yang dapat Anda sesuaikan dengan meminta penambahan atau menggunakan pengatur kuota, sedangkan batas sistem adalah batas operasional tetap yang tidak dapat diubah.

Untuk mempelajari cara kerja kuota di tingkat project Google Cloud dan cara melacak konsumsi, lihat Ringkasan Kuota Cloud.

Mendapatkan nama metrik kuota dan batas sistem

Kuota dan batas sistem memiliki dua jenis nama: nama tampilan dan nama metrik. Nama tampilan memiliki spasi dan huruf kapital yang membuatnya lebih mudah dibaca manusia. Nama metrik cenderung menggunakan huruf kecil dan dibatasi oleh garis bawah, bukan spasi; format persisnya bergantung pada layanan.

Petunjuk berikut menunjukkan cara mendapatkan nama metrik untuk kuota dan batas sistem menggunakan konsol Google Cloud atau Google Cloud CLI.

Konsol

  1. Di konsol Google Cloud , buka halaman Identity and Access Management (IAM) & Admin > Quotas & System Limits:

    Buka Quotas & System Limits

    Tabel di halaman ini menampilkan kuota dan batas sistem yang memiliki penggunaan atau telah menyesuaikan nilai, serta entri referensi untuk kuota lainnya. Entri referensi memiliki kata "default" dalam tanda kurung di akhir listingan di kolom Name. Misalnya, SetIAM Policy requests per minute per region (default) adalah entri referensi untuk kuota SetIamPolicyRequestsPerMinutePerProject.

  2. Jika Anda tidak melihat kolom Metrik, lakukan langkah-langkah berikut.

    1. Klik Column display options.
    2. Pilih Metrik.
    3. Klik Oke. Kolom Metrik akan muncul di tabel.

    Kolom Metric menampilkan nama metrik. Untuk memfilter hasil, masukkan nama atau nilai properti di kolom di samping Filter.

gcloud

Untuk mendapatkan nama metrik layanan menggunakan gcloud CLI, jalankan perintah quotas info list. Untuk melewati baris yang tidak mencantumkan nama metrik, teruskan output ke perintah seperti grep dengan metric: sebagai istilah penelusuran, atau gunakan flag --format gcloud CLI:

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

Ganti kode berikut:

  • PROJECT_ID_OR_NUMBER: project ID atau nomor project.
  • SERVICE_NAME: nama layanan yang metrik kuotanya ingin Anda lihat—misalnya, nama layanan untuk Compute Engine adalah compute.googleapis.com. Sertakan bagian googleapis.com dari nama layanan.

Meminta penambahan kuota

Untuk menyesuaikan sebagian besar kuota, gunakan konsol Google Cloud . Untuk mengetahui informasi selengkapnya, lihat Meminta penyesuaian kuota.

Kuota

Kuota berikut berlaku untuk Lakehouse:

Katalog runtime Lakehouse

Batasan berikut berlaku untuk katalog runtime Lakehouse:

Batas Default Catatan
Modifikasi tabel per hari 1.500 modifikasi

Project Anda dapat membuat hingga 1.500 modifikasi tabel per tabel per hari. Tugas pemuatan, tugas penyalinan, atau tugas kueri yang menambahkan atau menimpa data tabel dihitung sebagai satu modifikasi pada tabel. Batas ini tidak dapat diubah.

Pernyataan DML dikecualikan dan tidak diperhitungkan dalam jumlah modifikasi tabel per hari.

Data streaming dikecualikan dan tidak diperhitungkan dalam jumlah modifikasi tabel per hari.
Kapasitas maksimum operasi update metadata tabel per tabel 5 operasi per 10 detik Project Anda dapat membuat hingga lima operasi update metadata tabel per 10 detik per tabel. Batas ini berlaku untuk semua operasi update metadata tabel, yang dilakukan oleh hal berikut: Batas ini juga mencakup total gabungan dari semua tugas pemuatan, tugas penyalinan, dan tugas kueri yang menambahkan ke atau menimpa tabel tujuan atau yang menggunakan pernyataan DML DELETE, INSERT, MERGE, TRUNCATE TABLE, atau, UPDATE untuk menulis data ke tabel. Perhatikan bahwa meskipun pernyataan DML diperhitungkan terhadap batas ini, pernyataan tersebut tidak akan dikenai jika batas tersebut tercapai. Operasi DML memiliki batas kapasitas khusus.

Jika melebihi batas ini, Anda akan mendapatkan pesan error seperti Exceeded rate limits: too many table update operations for this table. Error ini bersifat sementara; Anda dapat mencoba lagi dengan backoff eksponensial.

Untuk mengidentifikasi operasi yang diperhitungkan terhadap batas ini, Anda dapat Memeriksa log. Lihat Memecahkan masalah error kuota untuk mendapatkan panduan tentang cara mendiagnosis dan mengatasi error ini.

Jumlah kolom maksimum per tabel 10.000 kolom Setiap definisi tabel, hasil kueri, atau tampilan dapat memiliki hingga 10.000 kolom. Hal ini mencakup kolom bertingkat dan berulang.

Akses data lintas cloud

Kuota Nilai
Jumlah total maksimum namespace dalam katalog gabungan 100 namespace
Jumlah maksimum tabel per namespace dalam katalog gabungan 300 tabel per namespace
Jumlah total maksimum tabel dalam katalog gabungan 10.000 tabel
Jumlah maksimum filter namespace dalam katalog gabungan 16 filter namespace

Batas sistem

Tabel berikut mencantumkan batas sistem yang berlaku untuk Lakehouse dan nilai untuk setiap batas sistem:

Batas sistem Nilai
Jumlah maksimum tabel Apache Iceberg yang dikelola oleh Lakehouse per bucket Cloud Storage yang didukung oleh pemindaian penemuan 1.000 tabel per bucket