„Managed Service for Apache Spark“ ist der neue Name für das Produkt, das früher als „Dataproc on Compute Engine“ (Clusterbereitstellung) und „Google Cloud Serverless for Apache Spark“ (serverlose Bereitstellung) bekannt war.
Google uses AI technology to translate content into your preferred language. AI translations can contain errors.
Hadoop-Datenspeicher
Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Managed Service for Apache Spark ist in Apache Hadoop und das Hadoop Distributed File System (HDFS) eingebunden. Die folgenden Features und Überlegungen können bei der Auswahl von Computing- und Datenspeicheroptionen für Managed Service for Apache Spark-Cluster und -Jobs wichtig sein:
HDFS mit Cloud Storage: Managed Service for Apache Spark verwendet zum Speichern das Hadoop Distributed File System (HDFS). Darüber hinaus installiert
Managed Service for Apache Spark automatisch den HDFS-kompatiblen
Cloud Storage-Connector,
der die gleichzeitige Verwendung von Cloud Storage
und HDFS ermöglicht. Daten können dem Cluster über die Upload-/Download-Funktion in HDFS oder Cloud Storage hinzugefügt bzw. daraus entfernt werden.
VM-Laufwerke:
Wenn keine lokalen SSDs bereitgestellt werden, werden HDFS-Daten und Zwischen-Shuffle-Daten standardmäßig auf VM-Bootlaufwerken gespeichert. Dies sind nichtflüchtige Speicher.
Wenn Sie lokale SSDs verwenden,
werden HDFS-Daten und Zwischen-Shuffle-Daten auf den SSDs gespeichert.
Größe und Typ des nichtflüchtigen Speichers wirken sich auf die Leistung und die VM-Größe aus, unabhängig davon, ob HDFS oder Cloud Storage zum Speichern von Daten verwendet werden.
VM-Bootlaufwerke werden gelöscht, wenn der Cluster gelöscht wird.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2026-05-12 (UTC)."],[],[]]
