Wenn Sie einen Cluster erstellen, wird HDFS als Standard-Dateisystem verwendet. Sie können dieses Verhalten überschreiben, indem Sie den StandardFS als Cloud Storage-Bucket festlegen. Standardmäßig erstellt Managed Service for Apache Spark auch ein Cloud Storage-Staging und einen temporären Cloud Storage-Bucket in Ihrem Projekt oder verwendet vorhandene von Managed Service for Apache Spark erstellte Staging- und temporäre Buckets aus vorherigen Anfragen zur Clustererstellung wieder.
Staging-Bucket: Wird zum Staging von Clusterjob-Abhängigkeiten, Job-Treiberausgabe und Clusterkonfigurationsdateien verwendet. Es wird auch eine Ausgabe von Erfassung von Snapshot-Diagnosedaten empfangen.
Temporärer Bucket: Wird zum Speichern sitzungsspezifischer Cluster- und Jobdaten wie Spark- und MapReduce-Verlaufsdateien verwendet. Hier werden auch Diagnosedaten für Prüfpunkte gespeichert, die während des Lebenszyklus eines Clusters erfasst werden.
Wenn Sie beim Erstellen eines Clusters keinen Staging- oder temporären Bucket angeben, legt Managed Service for Apache Spark einen Cloud Storage-Speicherort in den USA, ASIEN oder der EU für die Staging- und temporären Buckets Ihres Clusters entsprechend der Compute Engine-Zone fest, in der Ihr Cluster bereitgestellt wird. Anschließend werden diese Buckets auf Projektebene pro Speicherort erstellt und verwaltet. Von Managed Service for Apache Spark erstellte Staging- und temporäre Buckets werden von Clustern in derselben Region gemeinsam genutzt und mit einer Aufbewahrungsdauer für das vorläufige Löschen von Cloud Storage erstellt, die auf 0 Sekunden festgelegt ist. Wenn Sie eigene Staging- und temporäre Buckets angeben, sollten Sie die Aufbewahrungsdauer für das vorläufige Löschen anpassen, um die Speicherkosten für vorläufig gelöschte Objekte zu senken.
Der temporäre Bucket enthält kurzlebige Daten und hat eine TTL von 90 Tagen. Der Staging-Bucket, der Konfigurationsdaten und Abhängigkeitsdateien enthalten kann, die von mehreren Clustern benötigt werden, hat keine TTL. Sie können jedoch eine Lebenszyklusregel auf Ihre Abhängigkeitsdateien anwenden (Dateien mit der Dateinamenerweiterung „.jar“ im Staging-Bucket-Ordner), um das Entfernen Ihrer Abhängigkeitsdateien zu planen, wenn sie von Ihren Clustern nicht mehr benötigt werden.
Eigene Staging- und temporäre Buckets erstellen
Anstatt auf die Erstellung eines standardmäßigen Staging- und temporären Buckets zu warten, können Sie vorhandene Cloud Storage-Buckets angeben, die Managed Service for Apache Spark als Staging- und temporären Bucket Ihres Clusters verwendet.
Google Cloud Console
So geben Sie den Staging-Bucket des Clusters an oder wählen ihn aus:
- Öffnen Sie die Seite Cluster erstellen.
- Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
- Bearbeiten Sie Anpassung und Sonstiges.
- Geben Sie im angezeigten Bereich im Abschnitt Cloud Storage-Staging-Bucket einen Bucket an.
Hinweis: Die Angabe eines temporären Buckets über die Google Cloud -Konsole wird nicht unterstützt.
gcloud-CLI
Führen Sie den Befehl gcloud dataproc clusters create mit den Flags --bucket und/oder --temp-bucket lokal in einem Terminalfenster oder in Cloud Shell aus, um den Staging- und/oder temporären Bucket Ihres Clusters anzugeben.
gcloud dataproc clusters create cluster-name \ --region=region \ --bucket=bucket-name \ --temp-bucket=bucket-name \ other args ...
REST API
Verwenden Sie die Felder ClusterConfig.configBucket und ClusterConfig.tempBucket in einer clusters.create-Anfrage zur Angabe der Staging- und temporären Buckets Ihres Clusters.
Managed Service for Apache Spark verwendet eine definierte Ordnerstruktur für Cloud Storage-Buckets, die Clustern zugeordnet sind, und unterstützt auch das Zuordnen mehrerer Cluster zu einem Bucket. Zum Speichern von Jobtreiberausgaben in Cloud Storage wird folgende Ordnerstruktur verwendet:
cloud-storage-bucket-name
- google-cloud-dataproc-metainfo
- list of cluster IDs
- list of job IDs
- list of output logs for a job
Sie können mit dem gcloud-Befehlszeilentool, der Dataproc API oder derGoogle Cloud -Konsole den Namen des Staging- und des temporären Buckets eines Clusters auflisten.
Google Cloud Console
- Sie können die Clusterdetails, einschließlich des Namens des Staging-Buckets des Clusters, in der Google Cloud -Konsole auf der Seite Cluster aufrufen.
- Filtern Sie auf der Seite Google Cloud Console Cloud Storage-Browser Ergebnisse, die „dataproc-temp-“ enthalten.
gcloud-CLI
Führen Sie den gcloud dataproc clusters describe-Befehl lokal in einem Terminalfenster oder in Cloud Shell aus.
Die mit dem Cluster verknüpften Staging- und temporären Buckets werden in der Ausgabe aufgeführt.
gcloud dataproc clusters describe cluster-name \
--region=region \
...
clusterName: cluster-name
clusterUuid: daa40b3f-5ff5-4e89-9bf1-bcbfec ...
config:
configBucket: dataproc-...
...
tempBucket: dataproc-temp...
REST API
Rufen Sie clusters.get auf, um die Clusterdetails einschließlich des Namens der Staging- und temporären Buckets des Clusters aufzulisten.
{
"projectId": "vigilant-sunup-163401",
"clusterName": "cluster-name",
"config": {
"configBucket": "dataproc-...",
...
"tempBucket": "dataproc-temp-...",
}
defaultFS
Sie können core:fs.defaultFS auf einen Bucket-Speicherort in Cloud Storage (gs://defaultFS-bucket-name) festlegen, um Cloud Storage als Standarddateisystem festzulegen. Dadurch wird auch core:fs.gs.reported.permissions festgelegt, die vom Cloud Storage-Connector zurückgegebene Berechtigung für alle Dateien auf 777.
Wenn Cloud Storage nicht als Standarddateisystem festgelegt ist, wird HDFS verwendet und das Attribut core:fs.gs.reported.permissions gibt den Standardwert 700 zurück.
gcloud dataproc clusters create cluster-name \ --properties=core:fs.defaultFS=gs://defaultFS-bucket-name \ --region=region \ --bucket=staging-bucket-name \ --temp-bucket=temp-bucket-name \ other args ...