In diesem Dokument finden Sie Details zu den für Cloud Storage FUSE verfügbaren Caching-Optionen und dazu, wie die einzelnen Cachetypen konfiguriert werden können.
Cloud Storage FUSE bietet vier Arten von optionalem Caching, um die Leistung des Datenabrufs zu erhöhen. In der folgenden Tabelle finden Sie weitere Informationen zu den einzelnen Caching-Typen:
| Caching-Typ | Beschreibung |
|---|---|
| Datei-Caching | Beschleunigt das Lesen von Dateidaten für leseintensive Arbeitslasten, bei denen wiederholt auf Daten zugegriffen wird, insbesondere für KI- und ML-Training (maschinelles Lernen), bei dem dieselben großen Dateien mehrmals gelesen werden. Dadurch wird die Latenz erheblich reduziert. |
| Listen-Caching | Beschleunigt Vorgänge zum Auflisten von Verzeichnissen für Arbeitslasten, bei denen häufig der gesamte Inhalt eines Verzeichnisses aufgelistet wird, z. B. beim Durchlaufen einer großen Anzahl von Dateien am Anfang eines Verarbeitungsjobs. Dadurch wird die Geschwindigkeit der Verzeichnissuche verbessert. |
| Stat-Caching | Beschleunigt Vorgänge für Dateimetadaten für Anwendungen, die häufig Dateiattribute prüfen. Das ist bei vielen Anwendungen üblich, die wiederholt prüfen, ob sich eine Datei geändert hat. Dadurch wird die Anzahl der `GetMetadata`-Aufrufe für Cloud Storage reduziert. |
| Typ-Caching | Beschleunigt die Überprüfung des Vorhandenseins von Dateien oder Verzeichnissen für Arbeitslasten, bei denen viele Überprüfungen des Vorhandenseins oder Pfadsuchen durchgeführt werden. Die Latenz wird verbessert, da die Anzahl der Anfragen an Cloud Storage reduziert wird, um zu prüfen, ob ein Pfad vorhanden ist. |
Hinweise
Durch Aktivieren des Caching kann die Leistung gesteigert werden, die Konsistenz wird jedoch verringert. Dies tritt in der Regel auf, wenn Sie mit mehreren Clients mit einer hohen Änderungsrate auf denselben Bucket zugreifen. Um die Auswirkungen auf die Konsistenz zu verringern, empfehlen wir, Buckets schreibgeschützt zu mounten. Weitere Informationen zum Caching-Verhalten finden Sie unter Cloud Storage FUSE-Semantik in der GitHub-Dokumentation zu Cloud Storage FUSE.
Achten Sie darauf, dass Ihr gesamtes Dataset in den Cache passt, um einen Cache-Überlauf zu vermeiden. Berücksichtigen Sie auch die maximale Kapazität und Leistung, die Ihre Cachemedien bieten können. Wenn Sie die maximale Leistung oder das Kapazitätslimit des bereitgestellten Cache oder beides erreichen, ist es sinnvoll, direkt aus Cloud Storage zu lesen, da dort viel höhere Limits als bei Cloud Storage FUSE gelten.
Lesepfad für im Cache gespeicherte Daten
Der Cloud Storage FUSE-Cache beschleunigt wiederholte Lesevorgänge, nachdem sie in den Cache aufgenommen wurden. Sowohl erstmalige Lesevorgänge als auch Cache-Fehler werden direkt an Cloud Storage übertragen und unterliegen den normalen Cloud Storage-Netzwerklatenzen. Informationen zur Verbesserung der Leseleistung beim ersten Mal finden Sie unter Metadaten-Cache vorab füllen.
Nächste Schritte
Weitere Informationen zu den einzelnen Caching-Typen: