Listen-Caching in Cloud Storage FUSE

In diesem Dokument finden Sie Details zum Listen-Caching für Cloud Storage FUSE. Dadurch werden Verzeichnisauflistungsvorgänge für Arbeitslasten beschleunigt, bei denen häufig der gesamte Inhalt eines Verzeichnisses aufgelistet wird, z. B. bei der Iteration über eine große Anzahl von Dateien am Anfang eines Verarbeitungsjobs. Außerdem wird die Geschwindigkeit der Verzeichnisdurchläufe verbessert.

Vorteile des Listen-Caching

  • Schnellere Verzeichnisauflistungsvorgänge: Das Listen-Caching verbessert die Leistung von Vorgängen, bei denen der Inhalt von Verzeichnissen aufgelistet wird. Wenn das Listen-Caching aktiviert ist, werden die Ergebnisse von Cloud Storage-Objektlisten für ein Verzeichnis im Arbeitsspeicher gespeichert. Nachfolgende Auflistungen desselben Verzeichnisses können direkt aus diesem Cache bereitgestellt werden.

  • Geringere Latenz: Da die Auflistungsergebnisse aus dem lokalen Cache bereitgestellt werden, vermeidet Cloud Storage Netzwerk-Roundtrips zu Cloud Storage, um die Objektliste abzurufen. Dadurch wird die Latenz von Verzeichnisauflistungsvorgängen erheblich reduziert, insbesondere bei Verzeichnissen mit vielen Objekten oder bei hoher Netzwerklatenz.

  • Verbesserte Leistung für wiederholte Arbeitslasten: Arbeitslasten, bei denen dieselben Verzeichnisse wiederholt gescannt werden, z. B. Trainingsjobs für künstliche Intelligenz und maschinelles Lernen (KI/ML), Build-Prozesse oder Tools zur Dateisynchronisierung, können von Leistungssteigerungen profitieren.

  • In-Memory-Speicher: Der Listen-Cache wird im Arbeitsspeicher des Seitencache gespeichert, der vom Kernel basierend auf der Arbeitsspeicherverfügbarkeit gesteuert wird. Im Gegensatz dazu wird der Statistik-Cache im Arbeitsspeicher Ihres Computers gespeichert und von Cloud Storage FUSE gesteuert.

Listen-Caching konfigurieren

Sie können das Listen-Caching mit einer der folgenden Methoden aktivieren:

Cache-Entwertung auflisten

Die Cache-Entwertung auflisten wird festgelegt, indem Sie mit einer der folgenden Methoden einen Wert größer als 0 angeben:

  • gcsfuse option: --kernel-list-cache-ttl-secs
  • Feld in der Konfigurationsdatei: file-system:kernel-list-cache-ttl-secs

Die Antwort der Verzeichnisliste wird im Seitencache des Kernels gespeichert und bleibt für die von Ihnen angegebene Zeit gültig. Wenn Sie den Wert -1 angeben, deaktiviert Cloud Storage FUSE den Ablauf des Listen-Cache und gibt die Listenantwort aus dem Cache zurück, wenn sie verfügbar ist. Wenn Sie den Wert 0 angeben, wird der Listen-Cache deaktiviert.

Nächste Schritte