Wenn Sie das Cluster-Caching für Managed Service for Apache Spark aktivieren, werden im Cluster Cloud Storage-Daten zwischengespeichert, auf die von Ihren Spark-Jobs häufig zugegriffen wird.
Vorteile
- Verbesserte Leistung:Durch das Caching kann die Jobleistung verbessert werden, da weniger Zeit für das Abrufen von Daten aus dem Speicher benötigt wird.
- Geringere Speicherkosten:Da Hot-Daten auf dem lokalen Laufwerk zwischengespeichert werden, sind weniger API-Aufrufe an den Speicher erforderlich, um Daten abzurufen.
- Anwendbarkeit von Spark-Jobs: Wenn das Cluster-Caching in einem Cluster aktiviert ist, gilt es für alle Spark-Jobs, die im Cluster ausgeführt werden, unabhängig davon, ob sie an den Managed Service for Apache Spark gesendet oder unabhängig im Cluster ausgeführt werden.
Beschränkungen und Anforderungen
- Das Caching gilt nur für Managed Service for Apache Spark-Jobs.
- Es werden nur Cloud Storage-Daten zwischengespeichert.
- Das Caching gilt nur für Cluster, die die folgenden Anforderungen erfüllen:
- Der Cluster hat einen Master und
nWorker (Hochverfügbarkeit (HA) und einzelne Knoten Cluster werden nicht unterstützt). - Diese Funktion ist in den Managed Service for Apache Spark
Imageversionen
2.0.72+,2.1.20+und2.2.0+verfügbar. - An jeden Clusterknoten müssen lokale SSDs mit der NVME-Schnittstelle (Non-Volatile Memory Express) angehängt sein. Persistent Disks (PDs) werden nicht unterstützt. Daten werden nur auf lokalen NVME-SSDs zwischengespeichert.
- Der Cluster verwendet das Standarddienstkonto der VM zur Authentifizierung. Benutzerdefinierte VM-Dienstkonten werden nicht unterstützt.
- Der Cluster hat einen Master und
Cluster-Caching aktivieren
Sie können das Cluster-Caching aktivieren, wenn Sie einen Managed Service for Apache Spark-Cluster über die Google Cloud Console, die Google Cloud CLI oder die Dataproc API erstellen.
Google Cloud Console
- Öffnen Sie in der Google Cloud console die Seite Cluster erstellen.
- Klicken Sie auf Zusätzliche Konfiguration , um den Bereich zu maximieren.
- Bearbeiten Sie Anpassung und Sonstiges.
- Klicken Sie im daraufhin geöffneten Bereich im Abschnitt Cluster-Eigenschaften auf + Eigenschaften hinzufügen.
- Wählen Sie in der Liste Präfix die Option dataproc aus und fügen Sie den Schlüssel
dataproc.cluster.caching.enabledund den Werttruehinzu.
gcloud CLI
Führen Sie den Befehl gcloud dataproc clusters create lokal in einem Terminalfenster oder in Cloud Shell mit der Cluster-Eigenschaft aus.dataproc:dataproc.cluster.caching.enabled=true
Beispiel:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --properties dataproc:dataproc.cluster.caching.enabled=true \ --num-master-local-ssds=2 \ --master-local-ssd-interface=NVME \ --num-worker-local-ssds=2 \ --worker-local-ssd-interface=NVME \ other args ...
REST API
Legen Sie SoftwareConfig.properties so fest, dass die Cluster-Eigenschaft als Teil einer clusters.create-Anfrage enthalten ist."dataproc:dataproc.cluster.caching.enabled": "true"