Zero-Scale-Cluster für Managed Service for Apache Spark erstellen

In diesem Dokument wird beschrieben, wie Sie einen Managed Service for Apache Spark-Cluster mit Null-Skalierung erstellen.

Managed Service for Apache Spark-Cluster mit Null-Skalierung sind eine kostengünstige Möglichkeit, Managed Service for Apache Spark-Cluster zu verwenden. Im Gegensatz zu Standard-Managed Service for Apache Spark-Clustern , für die mindestens zwei primäre Worker erforderlich sind, verwenden Managed Service for Apache Spark-Cluster mit Null-Skalierung nur sekundäre Worker , die auf null skaliert werden können.

Managed Service for Apache Spark-Cluster mit Null-Skalierung eignen sich ideal für die Verwendung als Cluster mit langer Laufzeit, die Leerlaufzeiten aufweisen, z. B. ein Cluster, auf dem ein Jupiter-Notebook gehostet wird. Sie bieten eine verbesserte Ressourcennutzung durch die Verwendung von Autoscaling-Richtlinien mit Null-Skalierung.

Merkmale und Einschränkungen

Ein Managed Service for Apache Spark-Cluster mit Null-Skalierung ähnelt einem Standardcluster, hat aber die folgenden einzigartigen Merkmale und Einschränkungen:

  • Erfordert die Image-Version 2.2.53 oder höher.
  • Unterstützt nur sekundäre Worker, keine primären Worker.

  • Enthält Dienste wie YARN, unterstützt aber nicht das HDFS-Dateisystem.

    • Wenn Sie Cloud Storage als Standarddateisystem verwenden möchten, legen Sie das core:fs.defaultFS Clusterattribut auf einen Cloud Storage-Bucket-Speicherort (gs://BUCKET_NAME) fest.
    • Wenn Sie eine Komponente während der Clustererstellung deaktivieren, deaktivieren Sie auch HDFS.

  • Kann nicht in einen Standardcluster konvertiert werden und umgekehrt.

  • Erfordert eine Autoscaling-Richtlinie für ZERO_SCALE-Clustertypen.

  • Erfordert die Auswahl flexibler VMs als Maschinentyp.

  • Unterstützt die Oozie-Komponente nicht.

  • Kann nicht über die Google Cloud console erstellt werden.

Optional: Autoscaling-Richtlinie konfigurieren

Sie können eine Autoscaling-Richtlinie konfigurieren, um die Skalierung sekundärer Worker für einen Cluster mit Null-Skalierung zu definieren. Beachten Sie dabei Folgendes:

  • Legen Sie den Clustertyp auf ZERO_SCALE fest.
  • Konfigurieren Sie eine Autoscaling-Richtlinie nur für die Konfiguration sekundärer Worker.

Weitere Informationen finden Sie unter Autoscaling-Richtlinie erstellen.

Managed Service for Apache Spark-Cluster mit Null-Skalierung erstellen

Erstellen Sie einen Cluster mit Null-Skalierung mit der gcloud CLI oder der Dataproc API.

gcloud

Führen Sie gcloud dataproc clusters create Befehl lokal in einem Terminalfenster oder in Cloud Shellaus.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --cluster-type=zero-scale \
    --autoscaling-policy=AUTOSCALING_POLICY \
    --properties=core:fs.defaultFS=gs://BUCKET_NAME \
    --secondary-worker-machine-types="type=MACHINE_TYPE1[,type=MACHINE_TYPE2...][,rank=RANK]"
    ...other args

Ersetzen Sie Folgendes:

  • CLUSTER_NAME: Name des Managed Service for Apache Spark -Clusters mit Null-Skalierung.
  • REGION: eine verfügbare Compute Engine-Region.
  • AUTOSCALING_POLICY: Die ID oder der Ressourcen-URI der Autoscaling-Richtlinie.
  • BUCKET_NAME: Name Ihres Cloud Storage-Bucket.
  • MACHINE_TYPE: Bestimmter Compute Engine Maschinentyp, z. B. n1-standard-4, e2-standard-8.
  • RANK: Definiert die Priorität einer Liste von Maschinen typen.

REST

Erstellen Sie einen Cluster mit Null-Skalierung mit einer Managed Service for Apache Spark REST API cluster.create Anfrage:

Nächste Schritte