In diesem Dokument wird das Listencaching für Cloud Storage FUSE beschrieben. Dadurch werden Verzeichnisauflistungsvorgänge für Arbeitslasten beschleunigt, bei denen häufig der gesamte Inhalt eines Verzeichnisses aufgelistet wird, z. B. beim Durchlaufen einer großen Anzahl von Dateien am Anfang eines Verarbeitungsjobs. Dies verbessert die Geschwindigkeit der Verzeichnissuche.
Vorteile des Listen-Caching
Schnellere Verzeichnisauflistungsvorgänge: Durch das Zwischenspeichern von Listen wird die Leistung von Vorgängen verbessert, bei denen der Inhalt von Verzeichnissen aufgelistet wird. Wenn die Listencache-Funktion aktiviert ist, werden die Ergebnisse von Cloud Storage-Objektlisten für ein Verzeichnis im Arbeitsspeicher zwischengespeichert. Nachfolgende Auflistungen desselben Verzeichnisses können direkt aus diesem Cache bereitgestellt werden.
Geringere Latenz: Da Listenergebnisse aus dem lokalen Cache bereitgestellt werden, werden Netzwerk-Roundtrips zu Cloud Storage vermieden, um die Objektliste abzurufen. Dadurch wird die Latenz von Verzeichnisauflistungsvorgängen erheblich reduziert, insbesondere bei Verzeichnissen mit vielen Objekten oder bei hoher Netzwerklatenz.
Verbesserte Leistung für sich wiederholende Arbeitslasten: Arbeitslasten, bei denen dieselben Verzeichnisse wiederholt gescannt werden, z. B. KI-/ML-Trainingsjobs (Künstliche Intelligenz/Maschinelles Lernen), Build-Prozesse oder Tools zur Dateisynchronisierung, können von einer Leistungssteigerung profitieren.
Speicher im Arbeitsspeicher: Der Listen-Cache wird im Arbeitsspeicher des Seitencache gespeichert. Dieser wird vom Kernel basierend auf der Arbeitsspeicherverfügbarkeit gesteuert. Im Gegensatz dazu werden Statistik- und Typ-Caches im Arbeitsspeicher Ihres Computers gespeichert und von Cloud Storage FUSE gesteuert.
Listen-Caching konfigurieren
Sie haben folgende Möglichkeiten, das Zwischenspeichern von Listen zu aktivieren:
- Option
gcsfuse:--kernel-list-cache-ttl-secs - Feld in der Konfigurationsdatei:
file-system:kernel-list-cache-ttl-secs
Cache-Entwertung auflisten
Die Listen-Cache-Invalidierung wird festgelegt, indem Sie mit einer der folgenden Methoden einen Wert angeben, der größer als 0 ist:
gcsfuse option:--kernel-list-cache-ttl-secs- Feld in der Konfigurationsdatei:
file-system:kernel-list-cache-ttl-secs
Die Antwort der Verzeichnisliste wird auf der Cache-Seite des Kernels gespeichert und bleibt für die von Ihnen angegebene Zeit gültig. Wenn Sie den Wert -1 angeben, deaktiviert Cloud Storage FUSE den Ablauf des Listen-Cache und gibt die Listenantwort aus dem Cache zurück, wenn sie verfügbar ist. Wenn Sie den Wert 0 angeben, wird der Listen-Cache deaktiviert.