Staging-Buckets für Serverless for Apache Spark

Dieses Dokument enthält Informationen zu Staging-Buckets für Serverless for Apache Spark. Serverless for Apache Spark erstellt einen Cloud Storage-Staging-Bucket in Ihrem Projekt oder verwendet einen vorhandenen Staging-Bucket aus vorherigen Anfragen zur Batcherstellung wieder. Dies ist der Standard-Bucket, der von Dataproc in Compute Engine-Clustern erstellt wird. Weitere Informationen finden Sie unter Dataproc-Staging- und temporäre Buckets.

In Serverless for Apache Spark werden Arbeitslastabhängigkeiten, Konfigurationsdateien und die Konsolenausgabe des Job-Treibers im Staging-Bucket gespeichert.

Serverless for Apache Spark legt regionale Staging-Buckets an Cloud Storage-Speicherorten entsprechend der Compute Engine-Zone fest, in der Ihre Arbeitslast bereitgestellt wird. Anschließend werden diese Buckets auf Projektebene pro Speicherort erstellt und verwaltet. Von Serverless for Apache Spark erstellte Staging-Buckets werden für Arbeitslasten in derselben Region freigegeben und mit einer Aufbewahrungsdauer für das vorläufige Löschen von 0 Sekunden für Cloud Storage erstellt.