Cluster mit einzelnem Knoten

Einzelknotencluster sind Managed Service for Apache Spark-Cluster mit nur einem Knoten. Der einzelne Knoten fungiert als Master und Worker für den Managed Service for Apache Spark-Cluster. Obwohl Einzelknotencluster nur einen Knoten haben, sind die meisten Managed Service for Apache Spark-Konzepte und -Funktionen weiter relevant. Ausnahmen sind in der Liste unten aufgeführt.

Managed Service for Apache Spark-Cluster mit nur einem Knoten können in vielen Situationen sinnvoll sein:

  • Beim Testen neuer Versionen von Spark und Hadoop sowie anderen Open-Source-Komponenten
  • Beim Erstellen von PoC-Demonstrationen (Proof of Concept)
  • Leichtere Projekte im Bereich Data Science
  • Nicht kritische Datenverarbeitung in kleinem Umfang
  • Schulungen zum Spark- und Hadoop-Ökosystem

Semantik von Clustern mit einzelnem Knoten

Die folgende Semantik bezieht sich auf Managed Service for Apache Spark-Cluster mit nur einem Knoten.

  • Cluster mit einem einzelnen Knoten werden auf dieselbe Weise wie Managed Service for Apache Spark-Cluster mit mehreren Knoten konfiguriert.
  • Cluster mit einzelnem Knoten werden als Masterknoten für Initialisierungsaktionen angegeben.
  • Bei Clustern mit einem einzelnen Knoten werden 0 Worker angezeigt, da der einzelne Knoten sowohl als Master als auch als Worker fungiert.
  • Cluster mit nur einem Knoten erhalten Hostnamen gemäß dem Muster clustername-m. Mit diesem Hostnamen können Sie eine SSH-Verbindung oder eine Verbindung zur Web-UI auf dem Knoten erstellen.
  • Cluster mit einzelnem Knoten können nicht auf Cluster mit mehreren Knoten aufgerüstet werden. Cluster mit einzelnem Knoten sind nach ihrer Erstellung auf einen einzigen Knoten beschränkt. Cluster mit mehreren Knoten können nicht auf Cluster mit einzelnem Knoten herunterskaliert werden.

Beschränkungen

  • Cluster mit einem einzelnen Knoten werden nicht für die parallele Datenverarbeitung in großem Umfang empfohlen. Wenn Sie die Ressourcen für einen Cluster mit einem einzelnen Knoten überschreiten, wird ein Managed Service for Apache Spark-Cluster mit mehreren Knoten empfohlen.

  • Cluster mit einem einzelnen Knoten werden nicht mit hoher Verfügbarkeit angeboten, da der Cluster nur einen Knoten enthält.

  • Cluster mit einzelnem Knoten können keine VMs auf Abruf verwenden.

Cluster mit einem einzelnen Knoten erstellen

gcloud-Befehl

Mit dem gcloud-Befehlszeilentool können Sie einen Managed Service for Apache Spark-Cluster mit nur einem Knoten erstellen. Um einen Cluster mit nur einem Knoten zu erstellen, übergeben Sie das Flag --single-node an den Befehl gcloud dataproc clusters create. 

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

REST API

Sie können einen Cluster mit einem einzelnen Knoten über die Managed Service for Apache Spark REST API mithilfe der Anfrage clusters.create erstellen. Bei dieser Anfrage müssen Sie Folgendes angeben:

  1. Fügen Sie der SoftwareConfig der Clusteranfrage das Attribut "dataproc:dataproc.allow.zero.workers":"true" hinzu.
  2. Senden Sie keine Werte für workerConfig und secondaryWorkerConfig (siehe ClusterConfig).

Console

Sie können einen Cluster mit einem einzelnen Knoten erstellen. Dazu wählen Sie im Bereich „Clustertyp“ des Steuerfelds Cluster erstellen die Option „Einzelner Knoten (1 Master, 0 Worker)“ aus.