Mit Managed Service for Apache Spark können Sie Arbeitslastdaten mithilfe des Hadoop Distributed File System (HDFS) und Cloud Storage parallel speichern und verarbeiten. Mit dem vorinstallierten Cloud Storage-Connector können Sie Daten in Ihre Cluster und aus Ihren Clustern übertragen und gleichzeitig den zugrunde liegenden VM-Laufwerkspeicher an die Leistungsanforderungen Ihrer Jobs anpassen.
Speicheroptionen und Überlegungen
Die folgenden Features und Überlegungen können bei der Auswahl von Rechen- und Datenspeicheroptionen für Managed Service for Apache Spark-Cluster und ‑Jobs wichtig sein:
- HDFS mit Cloud Storage: Managed Service for Apache Spark verwendet das Hadoop Distributed File System (HDFS) für die Speicherung. Außerdem installiert Managed Service for Apache Spark automatisch den HDFS-kompatiblen Cloud Storage-Connector, mit dem Cloud Storage parallel zu HDFS verwendet werden kann. Daten können durch Upload und Download in HDFS oder Cloud Storage in einen Cluster und aus einem Cluster verschoben werden.
- VM-Laufwerke:
- Wenn keine lokalen SSDs bereitgestellt werden, werden HDFS-Daten und Zwischen-Shuffle-Daten standardmäßig auf VM-Bootlaufwerken gespeichert. Dies sind nichtflüchtige Speicher.
- Wenn Sie lokale SSDs verwenden, werden HDFS-Daten und Zwischen-Shuffle-Daten auf den SSDs gespeichert.
- Die Größe und der Typ des nichtflüchtigen Speichers (Persistent Disk, PD) wirken sich auf die Leistung und die VM-Größe aus, unabhängig davon, ob HDFS oder Cloud Storage für die Datenspeicherung verwendet wird.
- VM-Bootlaufwerke werden gelöscht, wenn der Cluster gelöscht wird.