Datenaufbewahrung mit TTL-Indizes verwalten

Auf dieser Seite wird beschrieben, wie Sie die MongoDB API, die Google Cloud -Konsole und die Google Cloud CLI verwenden, um TTL-Indizes (Time-to-Live) zu konfigurieren.

Gültigkeitsdauer – Übersicht

Mit TTL-Indexen werden veraltete Daten automatisch aus Ihren Datenbanken entfernt. Mit einem TTL-Index wird ein bestimmtes Feld als Ablaufzeit für Dokumente in einer bestimmten Sammlung festgelegt. Mit TTL können Sie die Speicherkosten senken, indem Sie veraltete Daten löschen. Daten werden in der Regel innerhalb von 24 Stunden nach ihrem Ablaufdatum gelöscht.

Preise

Für TTL-Löschvorgänge werden verwaltete Löscheinheiten verwendet. Informationen zu den Preisen finden Sie unter Firestore Enterprise-Version – Preise.

Limits und Einschränkungen

  • Sie können nur einen TTL-Index pro Sammlung erstellen.
  • Sie können maximal 500 TTL-Indizes haben.

TTL-Löschvorgang

Beachten Sie die folgenden wichtigen Verhaltensweisen beim TTL-basierten Löschen:

  • Das Löschen über TTL erfolgt nicht sofort. Abgelaufene Dokumente werden weiterhin in Abfragen und Suchanfragen angezeigt, bis sie durch den TTL-Prozess tatsächlich gelöscht werden. Bei TTL wird die Aktualität des Löschens zugunsten geringerer Gesamtbetriebskosten für Löschvorgänge geopfert. Daten werden in der Regel innerhalb von 24 Stunden nach ihrem Ablaufdatum gelöscht.

  • Wenn Sie einen TTL-Index für eine vorhandene Sammlung erstellen, werden alle abgelaufenen Daten gemäß dem neuen TTL-Index in einem Bulk-Vorgang gelöscht. Hinweis: Das Löschen von Daten in großen Mengen erfolgt nicht sofort, sondern hängt davon ab, wie viele Daten für die jeweilige Sammlung vorhanden sind.

  • Wenn ein Dokument ein Ablaufdatum in der Vergangenheit hat und Sie der Sammlung einen neuen TTL-Index hinzufügen, wird das Dokument innerhalb von 24 Stunden nach Abschluss der Einrichtung und Aktivierung des TTL-Index gelöscht.

  • Dokumente werden durch TTL nicht unbedingt in der Reihenfolge ihrer Ablaufzeitstempel gelöscht.

  • Löschvorgänge werden nicht transaktional ausgeführt. Dokumente mit derselben Ablaufzeit werden nicht unbedingt gleichzeitig gelöscht. Wenn Sie dieses Verhalten benötigen, führen Sie die Löschvorgänge mit einer Clientbibliothek aus.

  • Bei Firestore mit MongoDB-Kompatibilität wird immer das neueste TTL-Feld verwendet, um das Ablaufdatum zu bestimmen. Wenn beispielsweise das TTL-Feld eines abgelaufenen, aber noch nicht gelöschten Dokuments auf ein späteres Datum aktualisiert wird, läuft das Dokument nicht ab und das neue Datum wird verwendet.

  • Bei Firestore mit MongoDB-Kompatibilität läuft ein Dokument nur ab, wenn das TTL-Feld auf einen Date and time-/BSON Date-Wert oder einen Array-Wert mit einem Date and time-/BSON Date-Wert festgelegt ist. Lassen Sie das Feld weg oder legen Sie einen Wert wie null fest, um das Ablaufen von Dokumenten auf Dokumentbasis zu deaktivieren.

  • TTL soll die Auswirkungen auf andere Datenbankaktivitäten minimieren. Löschungen, die durch die TTL ausgelöst werden, haben eine niedrigere Priorität. Es gibt auch andere Strategien, um Trafficspitzen durch TTL-basierte Löschvorgänge zu vermeiden.

Unterschiede zu TTL-Indexen

Im Gegensatz zu anderen Firestore-Indexen werden TTL-Indexe nicht während der Abfrageplanung verwendet, um die Leistung zu verbessern. Um die Abfrageleistung für ein Feld zu verbessern, das mit TTL verwendet wird, müssen Sie es einem separaten Index ohne TTL hinzufügen.

Da in TTL-Feldern Zeitstempel verwendet werden, kann das Hinzufügen von TTL-Feldern zu einem Index, der nicht für TTL verwendet wird, zu Hotspots führen. Hotspots treten auf, wenn hohe Schreib- und Löschraten auf einen kleinen Dokumentbereich konzentriert sind. Dies kann sich in Zeiten mit hohem Schreibtraffic negativ auf die Skalierungsleistung auswirken.

Berechtigungen

Das Hauptkonto, das einen TTL-Index erstellt oder löscht, benötigt die folgende Berechtigung im Projekt:

  • Zum Aufrufen von TTL-Indizes sind die Berechtigungen datastore.indexes.list und datastore.indexes.get erforderlich.
  • Zum Erstellen oder Löschen von TTL-Indizes ist die Berechtigung datastore.indexes.update erforderlich.
  • Zum Prüfen des Status von TTL-Vorgängen sind datastore.operations.list und datastore.operations.get erforderlich.

Rollen, mit denen diese Berechtigungen zugewiesen werden, finden Sie unter Firestore-Rollen für Identity and Access Management.

TTL-Index erstellen

Wenn Sie einen TTL-Index erstellen, legen Sie ein Dokumentfeld als Ablaufzeit für Dokumente in einer Sammlung fest.

TTL verwendet ein angegebenes Feld, um Dokumente zu identifizieren, die gelöscht werden können. Das TTL-Feld muss entweder auf einen Timestamp-/BSON Date-Wert oder auf einen Array-Wert mit einem Timestamp-/BSON Date-Wert gesetzt werden. Sie können ein vorhandenes Feld auswählen oder ein Feld angeben, das Sie später hinzufügen möchten.

Beachten Sie Folgendes, bevor Sie den Wert des TTL-Felds festlegen:

  • Der Wert des TTL-Felds kann eine Zeit in der Zukunft, die aktuelle Zeit oder eine Zeit in der Vergangenheit sein. Wenn der Wert ein Zeitpunkt in der Vergangenheit ist, kann das Dokument sofort gelöscht werden. Sie können beispielsweise einen TTL-Index mit dem Feld expireAt erstellen, den Sie dann vorhandenen Dokumenten hinzufügen.

  • Wenn Sie einen anderen Datentyp verwenden oder den TTL-Feldwert nicht festlegen, wird die TTL für das einzelne Dokument deaktiviert.

So erstellen Sie einen TTL-Index:

MongoDB API

Fügen Sie die Indexoption expireAfterSeconds beim Aufrufen der Methode createIndex() ein:

db.COLLECTION_NAME.createIndex({"TTL_FIELD": 1, "expireAfterSeconds": EXPIRATION_OFFSET_SECONDS})

Beispiel:

db.restaurants.createIndex({"ts": 1, "expireAfterSeconds": 3600})

expireAfterSeconds gibt die TTL als TTL-Index an und ist der Offset zwischen dem Zeitstempelwert aus dem TTL-Feld und der Ablaufzeit. Wenn expireAfterSeconds auf 0 gesetzt ist, wird die Ablaufzeit direkt durch den Zeitstempelwert aus dem TTL-Feld angegeben.

Beachten Sie die folgenden Beschränkungen:

  • TTL-Indexe müssen genau ein Feld enthalten.
  • TTL-Indizes werden bei der Abfrageplanung nicht verwendet und verbessern die Leistung von Abfragen nicht.
  • Sie können nur einen TTL-Index pro Sammlung erstellen.
  • Audit-Logs für die Erstellung von TTL-Indizes mit der MongoDB API verwenden den Methodennamen google.firestore.admin.v1.FirestoreAdmin.UpdateField.

Google Cloud Console

  1. Rufen Sie in der Google Cloud Console die Seite Datenbanken auf.

    Zur Seite „Datenbanken“

  2. Wählen Sie die benötigte Datenbank aus der Liste der Datenbanken aus.

  3. Klicken Sie im Navigationsmenü auf Time-to-Live.

  4. Klicken Sie auf Richtlinie erstellen.

  5. Geben Sie einen Namen für die Sammlung und einen Namen für das Zeitstempelfeld ein.

  6. Klicken Sie auf Erstellen.

Die Console kehrt zur Seite Time-to-live zurück. Wenn der Vorgang erfolgreich gestartet wird, fügt die Seite der Tabelle „TTL-Indizes“ einen Eintrag hinzu. Bei einem Fehler wird auf der Seite eine Fehlermeldung angezeigt.

gcloud

  1. Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

    Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

  2. Verwenden Sie den Befehl firestore fields ttls update, um einen TTL-Index zu konfigurieren. Fügen Sie das Flag --async hinzu, um zu verhindern, dass die gcloud CLI auf den Abschluss des Vorgangs wartet.

     gcloud firestore fields ttls update
ttl_field --collection-group=collection_name
--enable-ttl

Dauer der TTL-Indexierung

Das Erstellen eines TTL-Index kann mindestens zehn Minuten oder länger dauern. Wenn Sie einen Vorgang gestartet haben, wird er durch Schließen des Terminals nicht abgebrochen.

TTL-Indizes ansehen

So rufen Sie TTL-Indizes auf:

MongoDB API

Verwenden Sie die Methode listIndexes(), um TTL-Indizes aufzurufen. Beispiel:

db.restaurants.listIndexes()

Die Ausgabe enthält sowohl TTL- als auch Nicht-TTL-Indizes. TTL-Indizes enthalten die Option expireAfterSeconds.

Google Cloud Console

  1. Rufen Sie in der Google Cloud Console die Seite Datenbanken auf.

    Zur Seite „Datenbanken“

  2. Wählen Sie die benötigte Datenbank aus der Liste der Datenbanken aus.

  3. Klicken Sie im Navigationsmenü auf Time-to-Live.

In der Konsole werden TTL-Indizes für Ihre Datenbank aufgeführt, einschließlich des Status jedes Index.

gcloud

  1. Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

    Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

  2. Verwenden Sie den Befehl firestore fields ttls list, um einen TTL-Index zu konfigurieren. Mit dem folgenden Befehl werden alle TTL-Indizes aufgelistet.

    gcloud firestore fields ttls list

    Verwenden Sie Folgendes, um TTL-Indizes unter einer bestimmten Sammlung aufzulisten:

    gcloud firestore fields ttls list  --collection-group=collection_name

Betriebsdetails anzeigen

Mit der gcloud CLI können Sie weitere Details zu einem TTL-Index im Status CREATING aufrufen.

Verwenden Sie den Befehl operations list, um alle laufenden und kürzlich abgeschlossenen Vorgänge anzeigen zu lassen:

gcloud firestore operations list

Die Antwort enthält eine Schätzung des Fortschritts des Vorgangs.

TTL-Index löschen

So löschen Sie einen TTL-Index:

MongoDB API

Verwenden Sie die Methode dropIndex(), um einen TTL-Index zu löschen. Beispiel:

TTL-Index anhand des Indexnamens löschen

db.restaurants.dropIndex("ts_1")

TTL-Index mit Indexdefinition löschen

db.restaurants.dropIndex({"ts": 1})

Audit-Logs zum Löschen eines TTL-Index mit der MongoDB API verwenden den Methodennamen google.firestore.admin.v1.FirestoreAdmin.UpdateField.

Google Cloud Console

  1. Rufen Sie in der Google Cloud Console die Seite Datenbanken auf.

    Zur Seite „Datenbanken“

  2. Wählen Sie die benötigte Datenbank aus der Liste der Datenbanken aus.

  3. Klicken Sie im Navigationsmenü auf Time-to-Live.

  4. Suchen Sie in der TTL-Indextabelle nach der Zeile für den TTL-Index. Klicken Sie in dieser Tabellenzeile auf die Schaltfläche Löschen (Papierkorb).

  5. Klicken Sie zur Bestätigung auf Löschen.

Die Console kehrt zur Seite Time-to-live zurück. Bei Erfolg wird der TTL-Index von Firestore mit MongoDB-Kompatibilität aus der Tabelle entfernt.

gcloud

  1. Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

    Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

  2. Verwenden Sie den Befehl firestore fields ttls update, um einen TTL-Index zu konfigurieren. Fügen Sie das Flag --async hinzu, um zu verhindern, dass die gcloud CLI auf den Abschluss des Vorgangs wartet.

    gcloud firestore fields ttls update ttl_field --collection-group=collection_name --disable-ttl

TTL-Löschvorgänge überwachen

Mit Cloud Monitoring können Sie Messwerte zu TTL-gesteuerten Löschvorgängen ansehen. Firestore mit MongoDB-Kompatibilität bietet die folgenden Messwerte für die TTL:

Messwerttyp Messwertname Messwertbeschreibung
firestore.googleapis.com/document/ttl_deletion_count Anzahl der Löschvorgänge für die Gültigkeitsdauer

Gesamtzahl der Dokumente, die durch TTL-Indizes gelöscht wurden.
firestore.googleapis.com/document/ttl_expiration_to_deletion_delays Verzögerungen beim Löschen nach Ablauf der Gültigkeitsdauer

Die Zeit, die zwischen dem Ablauf eines Dokuments in einem TTL-Index und dem tatsächlichen Löschen vergangen ist.

Informationen zum Einrichten eines Dashboards mit Messwerten für Firestore mit MongoDB-Kompatibilität finden Sie unter Benutzerdefinierte Dashboards verwalten und Dashboard-Widgets hinzufügen.