In diesem Dokument finden Sie Details zu den für Cloud Storage FUSE verfügbaren Caching-Optionen und zur Konfiguration der einzelnen Cache-Typen.
Cloud Storage FUSE bietet drei Arten von optionalem Caching, um die Leistung des Datenabrufs zu erhöhen. In der folgenden Tabelle finden Sie weitere Informationen zu den einzelnen Caching-Typen:
| Caching-Typ | Beschreibung |
|---|---|
| Datei-Caching | Beschleunigt das Lesen von Dateidaten für leseintensive Arbeitslasten, bei denen wiederholt auf Daten zugegriffen wird. Dies gilt insbesondere für KI- und ML-Training, bei dem dieselben großen Dateien mehrmals gelesen werden. Dadurch wird die Latenz erheblich reduziert. |
| Listen-Caching | Beschleunigt Verzeichnisauflistungsvorgänge für Arbeitslasten, bei denen häufig der gesamte Inhalt eines Verzeichnisses aufgelistet wird, z. B. beim Durchlaufen einer großen Anzahl von Dateien am Anfang eines Verarbeitungsjobs. Dadurch wird die Geschwindigkeit der Verzeichnisdurchläufe verbessert. |
| Stat-Caching | Beschleunigt Dateimetadatenvorgänge für Anwendungen, die häufig Dateiattribute prüfen. Dies ist bei vielen Anwendungen üblich, die wiederholt prüfen, ob sich eine Datei geändert hat. Dadurch wird die Anzahl der `GetMetadata`-Aufrufe für Cloud Storage reduziert. |
Hinweise
Durch das Aktivieren des Caching kann die Leistung gesteigert werden, aber die Konsistenz kann abnehmen. Dies tritt in der Regel auf, wenn Sie mit mehreren Clients mit einer hohen Änderungsrate auf denselben Bucket zugreifen. Um die Auswirkungen auf die Konsistenz zu reduzieren, empfehlen wir, Buckets als schreibgeschützt bereitzustellen. Weitere Informationen zum Caching-Verhalten finden Sie unter Cloud Storage FUSE-Semantik in der GitHub-Dokumentation zu Cloud Storage FUSE.
Achten Sie darauf, dass Ihr gesamtes Dataset in den Cache passt, um einen Cache-Überlauf zu vermeiden. Berücksichtigen Sie auch die maximale Kapazität und Leistung, die Ihre Cache-Medien bieten können. Wenn Sie die maximale Leistung, das Kapazitätslimit oder beides des bereitgestellten Caches erreichen, ist es vorteilhaft, direkt aus Cloud Storage zu lesen, da dort viel höhere Limits gelten als bei Cloud Storage FUSE.
Lesepfad für im Cache gespeicherte Daten
Der Cloud Storage FUSE-Cache beschleunigt wiederholte Lesevorgänge, nachdem sie in den Cache aufgenommen wurden. Sowohl erstmalige Lesevorgänge als auch Cache-Fehler werden direkt an Cloud Storage übertragen und unterliegen den normalen Cloud Storage-Netzwerklatenzen. Informationen zur Verbesserung der Leistung bei erstmaligen Lesevorgängen finden Sie unter Metadaten-Cache vorab füllen.
Nächste Schritte
Weitere Informationen zu den einzelnen Caching-Typen: