Cloud Storage FUSE-Befehlszeilenreferenz

In diesem Dokument werden die gcsfuse-Befehlsoptionen beschrieben, die zur Interaktion mit Cloud Storage FUSE verwendet werden. Wenn Sie den Cloud Storage FUSE-CSI-Treiber verwenden, um Ihre Buckets in Ihrem lokalen Dateisystem in Google Kubernetes Engine bereitzustellen, lesen Sie Bereitstellungsoptionen für den Cloud Storage FUSE-CSI-Treiber.

Die Cloud Storage FUSE-Befehlszeile (CLI) oder gcsfuse-Befehlszeile wird verwendet, um Cloud Storage-Buckets als Dateisysteme auf einem lokalen Computer bereitzustellen.

gcsfuse-Befehlszeilenbefehle – Struktur

Das folgende Beispiel zeigt die Struktur des gcsfuse-Befehls, einschließlich erforderlicher Befehle und optionaler gcsfuse-Optionen.

gcsfuse GLOBAL_OPTIONS BUCKET_NAME MOUNT_POINT

Ersetzen Sie Folgendes:

  • GLOBAL_OPTIONS sind die gcsfuse-Optionen, mit denen gesteuert wird, wie die Bereitstellung eingerichtet wird und wie sich Cloud Storage FUSE verhält.

  • BUCKET_NAME ist der Name des Buckets, der bereitgestellt werden soll. Beispiel: my-mount-bucket. Optional. Schließen Sie einen Bucket-Namen aus diesem Befehl aus, um eine dynamische Bereitstellung durchzuführen.

  • MOUNT_POINT ist das lokale Verzeichnis, in dem der Bucket bereitgestellt wird. Beispiel: /path/to/mount/point.

gcsfuse-CLI-Optionen

gcsfuse-Option Beschreibung Gültiger Wert Standardwert
Deaktiviert die Authentifizierung für Anfragen. Diese Option sollte festgelegt werden, wenn Sie einen benutzerdefinierten Endpunkt verwenden, der keine Authentifizierung unterstützt. Diese Option sollte auch festgelegt werden, wenn Sie Cloud Storage FUSE mit öffentlichen Buckets verwenden. Boolescher Wert: true, false. false
Der Anwendungsname der Bereitstellung. Stringwert, z. B. my-bucket-mount ""
Gibt ein Projekt an, das für die Abrechnung verwendet werden soll, wenn auf den bereitgestellten Bucket zugegriffen wird. Diese Option ist häufig erforderlich, wenn Sie einen Bucket bereitstellen, für den Anforderer bezahlt aktiviert ist. Stringwert für eine Projekt-ID ""

Aktiviert den Datei-Cache und gibt das Verzeichnis zum Speichern der Datei-Cache-Daten an.

 Ein Pfad, z. B. /tmp/gcsfuse-cache-path Ein leerer Wert gibt an, dass diese Option deaktiviert ist. Diese gcsfuse-Option ist standardmäßig deaktiviert. ""
Gibt das Protokoll für die Kommunikation mit dem Cloud Storage-Backend an. http1

Exportiert Messwerte im angegebenen Intervall in Cloud Monitoring.

 Ganzzahl für einen Wert in Sekunden, z. B. 10 (10 Sekunden). 0 bedeutet kein Export. 0
Gibt den Pfad zur Konfigurationsdatei an, die Sie zum Konfigurieren des Verhaltens von Cloud Storage FUSE verwenden möchten. Ein Pfad, z. B. /etc/gcsfuse.yaml ""
Gibt einen alternativen benutzerdefinierten Endpunkt zum Abrufen von Daten an. Der benutzerdefinierte Endpunkt muss die gleichen Ressourcen und Vorgänge wie der Cloud Storage-JSON-Endpunkt storage.UNIVERSE_DOMAIN_NAME:443 unterstützen. Wenn kein benutzerdefinierter Endpunkt angegeben ist, verwendet Cloud Storage FUSE den globalen Cloud Storage JSON API-Endpunkt storage.googleapis.com:443. Wenn auf dem angegebenen benutzerdefinierten Endpunkt keine Authentifizierung unterstützt wird, setzen Sie die Option --anonymous-access gcsfuse auf true, um die Authentifizierung zu umgehen. Ein Endpunkt, z. B. storage.googleapis.com:443 ""
Aktiviert die FUSE-bezogene Debugging-Ausgabe. Diese Option wurde durch die Option --log-severity gcsfuse ersetzt. Um die Debugging-Ausgabe zu aktivieren, setzen Sie die Option --log-severity gcsfuse auf trace. Dies umfasst Trace-, Debug-, Info-, Warn- und Fehler-Logs. Boolescher Wert: true, false. false
Gibt Informationen zu Cloud Storage-Anfragen und Zeitangaben aus. Diese gcsfuse-Option wurde durch die --log-severity-gcsfuse-Option ersetzt. Wenn Sie die Debugging-Ausgabe aktivieren möchten, legen Sie die Option --log-severity gcsfuse auf trace fest. Dies umfasst Trace-, Debug-, Info-, Warn- und Fehler-Logs. Boolescher Wert: true, false. false
Beendet das Programm, wenn interne Invariantenverstöße erkannt werden. Boolescher Wert: true, false. false
Gibt Debug-Nachrichten aus, wenn ein Mutex zu lange gehalten wird. Wenn diese gcsfuse-Option angegeben ist, wird der Schweregrad der Logs automatisch auf trace gesetzt, einschließlich Trace-, Debug-, Info-, Warn- und Fehler-Logs. Boolescher Wert: true, false. false
Berechtigungs-Bits für Verzeichnisse in Oktal. Ganzzahl zwischen 000 und 777 (einschließlich). 755
Gibt das asynchrone Prefetching von Teilen eines Cloud Storage-Objekts in einen Arbeitsspeicher-Puffer an. Dadurch können nachfolgende Lesevorgänge aus dem Puffer bedient werden, ohne dass Netzwerkaufrufe erforderlich sind. Boolescher Wert: true, false false
Erstellt einen Typ-Cache-Eintrag vom Typ NonexistentType, wenn eine Datei in Cloud Storage nicht gefunden wird. Wenn die Datei in Cloud Storage erstellt, der Eintrag NonexistentType für die Datei jedoch im Cache gespeichert wird, kann Cloud Storage FUSE diese Datei erst anfragen, nachdem der Eintrag NonexistentType aus dem Typ-Cache entfernt wurde. Boolescher Wert: true, false. false
Steuert den Fluss des Schreibpfads, sodass Daten während des Schreibens direkt in Cloud Storage hochgeladen werden. Andernfalls wird der Schreibvorgang vollständig lokal zwischengespeichert und die Daten werden bei close() oder fsync() hochgeladen. Weitere Informationen zu Streaming-Schreibvorgängen finden Sie in der GitHub-Dokumentation zu Cloud Storage FUSE unter Cloud Storage FUSE-Semantik. Boolescher Wert: true, false. true

Gibt die maximale Größe in MiB an, die der Datei-Cache verwenden kann. Damit können Sie die Gesamtkapazität begrenzen, die der Datei-Cache in seinem bereitgestellten Verzeichnis verwenden kann.
  • Ganzzahl
  • -1: gibt an, dass die gesamte verfügbare Kapazität des Cache in dem Verzeichnis verwendet wird, das Sie für cache-dir angeben. Dies ist nur die Standardeinstellung, wenn cache-dir übergeben wird.
  • 0: deaktiviert den Datei-Cache.
 -1
Gibt an, ob das vollständige Objekt asynchron heruntergeladen und im Cloud Storage FUSE-Cache-Verzeichnis gespeichert werden soll, wenn der erste Lesevorgang von einem Offset ungleich null abgeschlossen wird. Diese gcsfuse-Option sollte auf true festgelegt werden, wenn Sie mehrere zufällige oder teilweise Lesevorgänge ausführen möchten. Boolescher Wert: true, false. false
Gibt die Größe jeder Leseanfrage in MiB an, die jede goroutine an Cloud Storage senden kann, wenn das Objekt in den Datei-Cache heruntergeladen wird Ganzzahl 200

Beschleunigt das Lesen großer Dateien, indem das Datei-Cache-Verzeichnis als Prefetch-Puffer verwendet wird. Dabei werden mehrere Worker eingesetzt, um mehrere Teile einer Datei parallel herunterzuladen.

Wenn Sie das Datei-Caching aktivieren, werden automatisch parallele Downloads aktiviert. Weitere Informationen zum Datei-Caching finden Sie unter Datei-Caching in Cloud Storage FUSE.

Weitere Informationen zu parallelen Downloads und zum Konfigurieren unterstützender Eigenschaften

 Boolescher Wert: true, false. true
Die maximale Anzahl "goroutines", die jederzeit für alle Downloadjobs für Dateien erstellt werden können
  • Ganzzahl
  • -1: gibt unbegrenzte parallele Downloads an.
  • 0: deaktiviert parallele Downloads. Kann nur verwendet werden, wenn --enable-parallel-downloads nicht oder als false übergeben wird.
 Die doppelte Anzahl der CPU-Kerne auf Ihrer Maschine oder 16, je nachdem, welcher Wert höher ist
Die Anzahl der gleichzeitigen Downloadanfragen pro Datei. Ganzzahl 16
Gibt Berechtigungs-Bits für Dateien in Oktal an. Ganzzahl zwischen 000 und 777 (einschließlich). 644
Führt den Befehl gcsfuse im Vordergrund aus. Boolescher Wert: true, false. false
Gibt den Gruppen-ID-Inhaber (GID) aller Inodes an.
  • Ganzzahl für eine Gruppen-ID.
  • -1: verwendet die GID des Aufrufers.
 -1
Zeigt Hilfe zu Cloud Storage FUSE an. Keine Keine
Zeigt die von Ihnen installierte Cloud Storage FUSE-Version an. Keine Keine
Gibt an, wie lange der Cloud Storage FUSE-HTTP-Client auf die Antwort vom Server warten kann, bevor eine Zeitüberschreitung auftritt. Dauer, z. B. 1h10m10s für 1 Stunde, 10 Minuten und 10 Sekunden. Mit 0s wird kein Zeitlimit festgelegt. 0s
Weist Cloud Storage FUSE an, Systemunterbrechungssignale wie SIGINT zu ignorieren, die durch Control+C ausgelöst werden. So wird verhindert, dass laufende Vorgänge durch Signale beendet werden. Boolescher Wert: true, false. true
Umfasst implizit Ordner und verwaltete Ordner. Weitere Informationen finden Sie in der GitHub-Dokumentation zu Cloud Storage FUSE unter Files and directories. Boolescher Wert: true, false. false

Aktiviert den Listen-Cache und legt die Gültigkeitsdauer (TTL) für im Cache gespeicherte Listeneinträge in Sekunden fest. Der Listen-Cache wird im Arbeitsspeicher im Seiten-Cache gespeichert. Dieser wird vom Kernel gemäß dem verfügbaren Arbeitsspeicher gesteuert.
  • Ganzzahl für Sekunden, z. B. 10 (10 Sekunden)
  • 0: deaktiviert das Listen-Caching.
  • -1: umgeht den Ablauf von Einträgen und gibt immer die Listenantwort aus dem Cache zurück, wenn verfügbar.
 0
Gibt einen absoluten Pfad zur JSON-Schlüsseldatei für Anmeldedaten zur Authentifizierung von Anfragen an Cloud Storage an. Standardmäßig verwendet Cloud Storage FUSE Standardanmeldedaten für Anwendungen zur Authentifizierung von Anfragen. Ein Pfad, z. B. /home/example_user/gcloud-key.json Wenn diese Option nicht festgelegt ist, werden die Standardanmeldedaten für Anwendungen verwendet.
Gibt das Bandbreitenlimit an, mit dem Cloud Storage FUSE Daten aus Cloud Storage lesen kann, gemessen über ein 30-Sekunden-Fenster Gleitkommazahl. -1 bedeutet kein Limit. -1
Gibt ein Limit für Vorgänge pro Sekunde an, die über ein 30-Sekunden-Fenster gemessen werden. Gleitkommazahl. -1 bedeutet kein Limit. -1
Gibt die Datei zum Speichern von Logs an, die von Fluentd geparst werden können. Ein Pfad, z. B. /tmp/user-example-bucket-gcsfuse-logs.txt stdout, wenn Cloud Storage FUSE im Vordergrund ausgeführt wird, oder syslog, wenn Cloud Storage FUSE im Hintergrund ausgeführt wird
Gibt das Format der Protokolldatei an.
  • text
  • json
 json
Die maximale Anzahl rotierter Logdateien, ohne die aktive Datei, die beibehalten werden sollen.
  • Ganzzahl
  • 0: behält alle rotierten Logdateien bei.
 10
Gibt an, ob rotierte Logdateien mit gzip komprimiert werden sollen Boolescher Wert: true, false. true
Die maximale Größe in Megabyte (MB) für Logdateien, bevor sie rotiert werden. Ganzzahl. Der Mindestwert beträgt 1. 512

Der Schweregrad, für den Cloud Storage FUSE Logs generieren soll. Die Schweregrade sind vom niedrigsten zum höchsten geordnet. Wenn Sie beispielsweise warning angeben, generiert Cloud Storage FUSE Logs bei Warnungen und Fehlern. Im Allgemeinen empfehlen wir die Verwendung des Schweregrads info.
  • off: deaktiviert das gesamte Logging.
  • error: enthält Meldungen zu schwerwiegenden Problemen, die verhindern, dass Cloud Storage FUSE einen Vorgang abschließen kann. Oder weist auf einen Fehler hin, z. B. Bereitstellungsfehler, Berechtigungsfehler und kritische Ein-/Ausgabe-Fehler (E/A-Fehler).
  • warning: enthält Meldungen, die auf mögliche Probleme hinweisen, die zwar nicht kritisch sind, aber zu Problemen führen können, wenn sie nicht behoben werden. Dazu gehören auch nicht schwerwiegende Verbindungsprobleme, Warnungen zur Einstellung von Funktionen, Ressourcenkonflikte, die zu leichten Leistungseinbußen führen können, und Wiederholungsversuche bei vorübergehenden Fehlern. Dieser Schweregrad enthält auch die Informationen für den Schweregrad error.
  • info: enthält allgemeine Protokollierungsinformationen wie Meldungen zum Starten und Herunterfahren oder Informationen zu erfolgreichen Bereitstellungsvorgängen, Fortschrittsaktualisierungen und Konfigurationseinstellungen. Dieser Schweregrad enthält auch die Informationen für die Schweregrade warning und error.
  • debug: enthält Meldungen zum Starten und Herunterfahren oder Informationen zu erfolgreichen Bereitstellungsvorgängen, Fortschrittsaktualisierungen und Konfigurationseinstellungen. Dieser Schweregrad enthält auch die Informationen für die Schweregrade info, warning und error.
  • trace: enthält detaillierte Informationen zu allen Cloud Storage FUSE-Vorgängen und -Funktionsaufrufen sowie zu den gcsfuse-Interaktionen mit dem Kernel-FUSE-Treiber und Cloud Storage. Dieser Schweregrad enthält auch die Informationen für die Schweregrade debug, info, warning und error.
 info
Gibt die maximal zulässige Anzahl von TCP-Verbindungen pro Server an. Gilt, wenn --client-protocol auf http1 festgelegt ist. Ganzzahl zwischen 0 und 2147483647. 0 bedeutet kein Limit für die TCP-Verbindungsanzahl. 0
Gibt die maximal zulässige Anzahl inaktiver Verbindungen pro Server an. Gilt, wenn --client-protocol auf http1 festgelegt ist. Ganzzahl zwischen 0 und 2147483647. 0 bedeutet kein Limit für die Anzahl inaktiver Verbindungen. 0
Gibt die maximale Anzahl an Wiederholungsversuchen für einen fehlgeschlagenen Vorgang an, um endlose Wiederholungsschleifen zu vermeiden.
  • Ganzzahl für die maximale Anzahl der Wiederholungsversuche, z. B. 10.
  • 0: erlaubt unbegrenzte Wiederholungsversuche.
 0
Gibt die Höchstdauer an, die Cloud Storage FUSE in einer Wiederholungsschleife mit exponentiellem Backoff warten darf. Wenn die Backoff-Dauer die angegebene maximale Dauer überschreitet, wird der Wiederholungsversuch mit der angegebenen maximalen Dauer fortgesetzt. Die Dauer, z. B. 1h5m50s (1 Stunde, 5 Minuten und 50 Sekunden) oder 60s (60 Sekunden). 30s

Legt die Gültigkeitsdauer (Time to Live, TTL) für negative Einträge im Statistik-Cache in Sekunden fest. Die Einträge speichern die Ergebnisse für nicht vorhandene Dateien im Cache.
  • Ganzzahl für Sekunden, z. B. 10 (10 Sekunden)
  • 0: deaktiviert das negative Statistik-Caching.
  • -1: ermöglicht unbegrenztes negatives Statistik-Caching und deaktiviert den TTL-Ablauf.
 5
Legt die Gültigkeitsdauer (TTL) für im Cache gespeicherte Metadateneinträge in Sekunden fest
  • Ganzzahl für Sekunden, z. B. 30 (30 Sekunden)
  • -1: umgeht den TTL-Ablauf und stellt Dateien aus dem Cache bereit, sobald sie verfügbar sind.
  • 0: verwendet die aktuellste Datei. Mit diesem Wert wird ein Get-Metadatenaufruf ausgegeben, um sicherzustellen, dass die Objektgeneration der Datei im Cache mit der in Cloud Storage gespeicherten Generation übereinstimmt.
 60
Gibt zusätzliche systemspezifische Bereitstellungsoptionen an. Die meisten generischen Bereitstellungsoptionen in FUSE, z. B. suid, werden von Cloud Storage FUSE unterstützt und können zusammen mit der Option -o übergeben werden. Bereitstellungsoptionen in FUSE, z. B.:
  • rw: Als Lese-/Schreibzugriff bereitstellen.
  • ro: Als schreibgeschützt bereitstellen.
 ""
Stellt nur ein bestimmtes Verzeichnis in einem Bucket bereit. Ein Pfad, z. B. /etc/gcsfuse.yaml ""
Wendet einen vordefinierten, optimierten Satz an Cloud Storage FUSE-Konfigurationen für Caching, Threading und Puffergrößen an. So können Sie für bestimmte Arbeitslasttypen wie Training, Bereitstellung und Prüfpunkte eine hohe Leistung erzielen. Weitere Informationen zu den einzelnen vordefinierten Konfigurationen für verschiedene Arbeitslasttypen finden Sie unter Profilbasierte Konfigurationen für KI/ML-Arbeitslasten.
  • Ein String, z. B. "aiml-checkpointing".
  • "aiml-training": optimiert die Leistung für durchsatzstarke Lesevorgänge in großen Datasets und verhindert, dass Cloud-GPUs und Cloud TPU-Hardware auf Daten warten müssen.
  • aiml-checkpointing: optimiert die Leistung für durchsatzstarke Schreibvorgänge an großen Dateien, indem der Zeitaufwand zum Speichern von Prüfpunkten mit mehreren Gigabyte stark verkürzt wird und Trainingspausen minimiert werden.
  • aiml-serving: optimiert die Leistung für die Bereitstellung von Arbeitslasten durch einen verbesserten Datenzugriff und die Anwendung von Caching-Mechanismen.
 ""

Stellt den Prometheus-Messwertendpunkt auf dem angegebenen Port und Pfad /metrics bereit.

 Ganzzahl für den Port, den Sie angeben möchten. 0

Gibt die maximale Anzahl an Blöcken an, die für gepufferte Lesevorgänge für alle Datei-Handles verfügbar sind.

.
  • Ganzzahl
  • 0: deaktiviert gepufferte Lesevorgänge.
  • -1: legt den Wert auf unbegrenzte Blöcke fest.
 40
Ermöglicht das Umbenennen von Verzeichnissen, die weniger Nachfolgerelemente als das angegebene Limit enthalten. Ganzzahl zwischen 0 und 2147483647. 0
Gibt den Multiplikator für den exponentiellen Backoff zwischen aufeinanderfolgenden Wiederholungsversuchen an Gleitkommazahl. 2
Gibt an, ob das über --token-url abgerufene Token wiederverwendet werden soll Boolescher Wert: true, false. true
Gibt die Blockgröße für die aus Cloud Storage herunterzuladenden Daten in Megabyte (MB) an. Ganzzahl zwischen 1 und 1024. 200
Gibt die Anzahl der Einträge an, die der Statistik-Cache enthalten kann. Die Option gcsfuse wurde durch die Option --stat-cache-max-size-mb gcsfuse ersetzt. Ganzzahl 4096
Die maximale Größe des Arbeitsspeichers in MiB, den der Statistik-Cache verwenden kann. Der Statistik-Cache wird immer vollständig im Arbeitsspeicher gespeichert.
  • Ganzzahl. Wir empfehlen folgende Einstellung:
    • 32, wenn Ihre Arbeitslast bis zu 20.000 Dateien umfasst.
    • Wenn Ihre Arbeitslast mehr als 20.000 Dateien enthält, erhöhen Sie den Wert pro weitere 6.000 Dateien in 10er Schritten. Der Statistik-Cache belegt durchschnittlich 1.500 MiB pro Datei.
  • -1: es wird kein Limit festgelegt. Der Statistik-Cache kann so viel Speicherplatz belegen, wie nötig.
  • 0: deaktiviert den Statistik-Cache.
 32
Gibt an, wie lange StatObject-Ergebnisse und Inode-Attribute im Cache gespeichert werden sollen. Diese Option wurde durch die Option --metadata-cache-ttl-secs gcsfuse ersetzt. Dauer, z. B. 20s (20 Sekunden). 60s
Gibt einen Pfad zum temporären Verzeichnis an, in dem Schreibvorgänge vor dem Hochladen in Cloud Storage bereitgestellt werden. Ein Pfad, z. B. /mnt/ssd/example-user-gcsfuse-temp-dir /tmp
Gibt eine URL zum Abrufen eines Zugriffstokens an, wenn --key-file nicht vorhanden ist. Eine URL ""
Gibt an, wie lange die Zuordnung zwischen Namen und Dateien oder Verzeichnissen in Verzeichnis-Inodes im Cache gespeichert werden soll (in Sekunden). Diese gcsfuse-Option wurde durch die --metadata-cache-ttl-secs-gcsfuse-Option ersetzt. Dauer in Sekunden, z. B. 20s (20 Sekunden). 60s
Die maximale Größe in MiB pro Verzeichnis, die der Typ-Cache verwenden kann. Der Typ-Cache wird immer vollständig im Arbeitsspeicher gespeichert.
  • Ganzzahl. Wir empfehlen folgende Einstellung:
    • 4, wenn die maximale Anzahl an Dateien in einem einzelnen Verzeichnis des bereitgestellten Bucket höchstens 20.000 Dateien beträgt.
    • Wenn ein einzelnes Verzeichnis mehr als 20.000 Dateien enthält, erhöhen Sie den Wert pro 5.000 Dateien um 1, also durchschnittlich ca. 200 Byte pro Datei.
  • -1: es wird kein Limit festgelegt. Der Typ-Cache kann so viel Speicherplatz belegen, wie nötig.
  • 0: deaktiviert den Typ-Cache.
 4
Gibt den Inhaber der User Identifier (UID) aller Inodes an.
  • Ganzzahl für eine UID.
  • -1: verwendet die UID des Aufrufers.
 -1

Gibt die maximale Anzahl an Datenblöcken an, die für Streaming-Schreibvorgänge für alle Dateien verfügbar sind. Pro Datei wird standardmäßig ein 32 MiB großer Datenblock verwendet.
  • Ganzzahl
  • 0: deaktiviert Streaming-Schreibvorgänge.
  • -1: legt den Wert auf eine unbegrenzte Blockanzahl fest.
  • Standardwert für Maschinen mit wenigen Spezifikationen und begrenzten Ressourcen: 4
  • Standardwert für Maschinen mit vielen Spezifikationen und zahlreichen Ressourcen: 1600

Nach oben