Kontingente und Systemlimits für das grenzenlose Lakehouse

Borderless Lakehouse-Ressourcen haben konfigurierbare Kontingente und feste Systemlimits, um den Ressourcenverbrauch zu steuern und die Dienststabilität aufrechtzuerhalten. Kontingente legen grundlegende Zuweisungen fest, die Sie anpassen können, indem Sie eine Erhöhung anfordern oder die Kontingentanpassung verwenden. Systemlimits sind dagegen feste Betriebsschwellenwerte, die nicht geändert werden können.

Informationen zur Funktionsweise von Kontingenten auf Google Cloud -Projektebene und zum Erfassen des Verbrauchs finden Sie in der Übersicht zu Cloud-Kontingenten.

Messwertnamen für Kontingente und Systemlimits abrufen

Kontingente und Systemlimits haben zwei Arten von Namen: Anzeigenamen und Messwertnamen. Anzeigenamen enthalten Leerzeichen und Großbuchstaben, damit sie für Menschen leichter zu lesen sind. Messwertnamen werden eher in Kleinbuchstaben geschrieben und durch Unterstriche anstelle von Leerzeichen getrennt. Das genaue Format hängt vom Dienst ab.

In der folgenden Anleitung wird beschrieben, wie Sie Messwertnamen für Kontingente und Systemlimits entweder über die Google Cloud Console oder die Google Cloud CLI abrufen.

Console

  1. Gehen Sie in der Google Cloud Console zu Identity and Access Management (IAM) und Verwaltung > Kontingente und Systemlimits:

    Zur Seite „Kontingente und Systemlimits“

    In der Tabelle auf dieser Seite werden Kontingente und Systemlimits mit Nutzung oder angepassten Werten sowie ein Referenzeintrag für andere Kontingente angezeigt. Der Referenzeintrag enthält am Ende der Auflistung in der Spalte Name das Wort „default“ in Klammern. SetIAM Policy requests per minute per region (default) ist beispielsweise der Referenzeintrag für das Kontingent SetIamPolicyRequestsPerMinutePerProject.

  2. Wenn die Spalte Messwert nicht angezeigt wird, gehen Sie wie beschrieben vor:

    1. Klicken Sie auf Spaltenanzeigeoptionen.
    2. Wählen Sie Metric (Messwert) aus.
    3. Klicken Sie auf OK. Die Spalte Messwert wird in der Tabelle angezeigt.

    In der Spalte Messwert werden die Messwertnamen angezeigt. Wenn Sie die Ergebnisse filtern möchten, geben Sie einen Namen oder Wert für das Attribut in das Feld neben Filter ein.

gcloud

Führen Sie den Befehl quotas info list aus, um die Messwertnamen für einen Dienst mithilfe der gcloud CLI abzurufen. Wenn Sie Zeilen überspringen möchten, in denen keine Messwertnamen aufgeführt sind, übergeben Sie die Ausgabe an einen Befehl wie grep mit metric: als Suchbegriff oder verwenden Sie das --format-Flag der gcloud CLI:

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

Ersetzen Sie Folgendes:

  • PROJECT_ID_OR_NUMBER: die Projekt-ID oder Projektnummer.
  • SERVICE_NAME: Der Name des Dienstes, dessen Kontingentmesswerte Sie sehen möchten, z. B. compute.googleapis.com für Compute Engine. Geben Sie den Teil googleapis.com des Dienstnamens an.

Kontingenterhöhung anfordern

Verwenden Sie die Google Cloud Console, um die meisten Kontingente anzupassen. Weitere Informationen finden Sie unter Kontingentanpassung anfordern.

Kontingente

Für Lakehouse gelten die folgenden Kontingente:

Lakehouse-Laufzeitkatalog

Für den Lakehouse-Laufzeitkatalog gelten die folgenden Limits:

Limit Standard Notes
Tabellenänderungen pro Tag 1,500 Änderungen

Ihr Projekt kann bis zu 1.500 Tabellenänderungen pro Tabelle und Tag vornehmen. Ein Ladejob, Kopierjob oder Abfragejob, der Tabellendaten anhängt oder überschreibt, zählt als eine Änderung an der Tabelle. Dieses Limit kann nicht erhöht werden.

DML-Anweisungen sind ausgeschlossen und werden nicht auf die Anzahl der Tabellenänderungen pro Tag angerechnet.

Streamingdaten sind ausgeschlossen und werden nicht auf die Anzahl der Tabellenänderungen pro Tag angerechnet.
Maximale Aktualisierungsrate für Tabellenmetadaten pro Tabelle 5 Vorgänge pro 10 Sekunden Ihr Projekt kann bis zu fünf Tabellenaktualisierungsvorgänge pro 10 Sekunden pro Tabelle durchführen. Dieses Limit gilt für alle Aktualisierungsvorgänge für Tabellenmetadaten, die durch Folgendes ausgeführt werden: Dieses Limit umfasst die Gesamtsumme aller Ladejobs, Kopierjobs und Abfragejobs, die Daten an eine Zieltabelle anfügen, eine Zieltabelle überschreiben oder eine DML-Anweisung DELETE, INSERT, MERGE, TRUNCATE TABLE oder UPDATE verwenden, um Daten in eine Tabelle zu schreiben. Beachten Sie, dass DML-Anweisungen zwar auf dieses Limit angerechnet werden, sie jedoch nicht unterliegen, wenn sie erreicht werden. Für DML-Vorgänge gelten dedizierte Ratenbegrenzungen.

Wenn Sie dieses Limit überschreiten, erhalten Sie eine Fehlermeldung wie Exceeded rate limits: too many table update operations for this table. Dieser Fehler ist nur vorübergehend. Sie können es mit einem exponentiellen Backoff noch einmal versuchen.

Um die Vorgänge zu ermitteln, die auf dieses Limit angerechnet werden, können Sie Ihre Logs prüfen. Informationen zum Diagnostizieren und Beheben dieses Fehlers finden Sie unter Kontingentfehler beheben.

Maximale Anzahl von Spalten pro Tabelle 10.000 Spalten Jede Tabelle, jedes Abfrageergebnis und jede Ansichtsdefinition kann bis zu 10.000 Spalten enthalten. Dies schließt verschachtelte und wiederkehrende Spalten ein.

Cloudübergreifender Datenzugriff

Kontingent Wert
Maximale Gesamtzahl der Namespaces in einem föderierten Katalog 100 Namespaces
Maximale Anzahl von Tabellen pro Namespace in einem föderierten Katalog 300 Tabellen pro Namespace
Maximale Gesamtzahl der Tabellen in einem föderierten Katalog 10.000 Tabellen
Maximale Anzahl von Namespace-Filtern in einem föderierten Katalog 16 Namespace-Filter

Systemlimits

In der folgenden Tabelle sind die Systemlimits für Lakehouse und der Wert für jedes Systemlimit aufgeführt:

Systemlimit Wert
Maximale Anzahl von Apache Iceberg-Tabellen, die von Lakehouse pro Cloud Storage-Bucket verwaltet werden und von einem Erkennungsscan unterstützt werden 1.000 Tabellen pro Bucket