Cluster mit einzelnem Knoten

Cluster mit einzelnem Knoten sind Managed Service for Apache Spark-Cluster mit nur einem Knoten. Der einzelne Knoten fungiert als Master und Worker für den Managed Service for Apache Spark-Cluster. Obwohl Cluster mit einzelnem Knoten nur einen Knoten haben, sind die meisten Managed Service for Apache Spark-Konzepte und -Funktionen weiter relevant. Ausnahmen sind in der Liste unten aufgeführt.

Cluster mit einzelnem Knoten können in vielen Situationen sinnvoll sein:

• Beim Testen neuer Versionen von Spark und Hadoop sowie anderen Open-Source-Komponenten
• Beim Erstellen von PoC-Demonstrationen (Proof of Concept)
• Leichtere Projekte im Bereich Data Science
• Nicht kritische Datenverarbeitung in kleinem Umfang
• Schulungen zum Spark- und Hadoop-Ökosystem

Semantik von Clustern mit einzelnem Knoten

Die folgende Semantik bezieht sich auf Managed Service for Apache Spark-Cluster mit einzelnem Knoten.

• Cluster mit nur einem Knoten werden auf dieselbe Weise wie Managed Service for Apache Spark-Cluster mit mehreren Knoten konfiguriert und umfassen Dienste wie HDFS und YARN.
• Cluster mit einzelnem Knoten werden als Masterknoten für Initialisierungsaktionen angegeben.
• Bei Clustern mit einem einzelnen Knoten werden 0 Worker angezeigt, da der einzelne Knoten sowohl als Master als auch als Worker fungiert.
• Cluster mit nur einem Knoten erhalten Hostnamen gemäß dem Muster clustername-m. Mit diesem Hostnamen können Sie eine SSH-Verbindung oder eine Verbindung zur Web-UI auf dem Knoten erstellen.
• Cluster mit einzelnem Knoten können nicht auf Cluster mit mehreren Knoten aufgerüstet werden. Cluster mit einzelnem Knoten sind nach ihrer Erstellung auf einen einzigen Knoten beschränkt. Cluster mit mehreren Knoten können nicht auf Cluster mit einzelnem Knoten herunterskaliert werden.

Beschränkungen

• Cluster mit einem einzelnen Knoten werden nicht für die parallele Datenverarbeitung in großem Umfang empfohlen. Wenn Sie die Ressourcen für einen Cluster mit nur einem Knoten überschreiten, wird ein Managed Service for Apache Spark-Cluster mit mehreren Knoten empfohlen.

• Cluster mit einem einzelnen Knoten werden nicht mit hoher Verfügbarkeit angeboten, da der Cluster nur einen Knoten enthält.

• Cluster mit einzelnem Knoten können keine VMs auf Abruf verwenden.

Cluster mit einzelnem Knoten erstellen

gcloud-Befehl

Sie können Managed Service for Apache Spark-Cluster mit nur einem Knoten mit dem gcloud-Befehlszeilentool erstellen. Übergeben Sie das --single-node Flag an den gcloud dataproc clusters create Befehl, um einen Cluster mit einem einzelnen Knoten zu erstellen.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

REST API

Sie können Cluster mit einzelnem Knoten über die Managed Service for Apache Spark REST API mithilfe der clusters.create erstellen. Gehen Sie beim Erstellen der Anfrage so vor:

1. Fügen Sie der SoftwareConfig der Clusteranfrage das Attribut "dataproc:dataproc.allow.zero.workers":"true" hinzu.
2. Senden Sie keine Werte für workerConfig und secondaryWorkerConfig (siehe ClusterConfig).

Wenn Sie den JSON-Text einer Dataproc API-Clustererstellungsanfrage untersuchen und erstellen möchten, öffnen Sie die Seite „Cluster erstellen“ von Managed Service for Apache Spark. Füllen Sie die entsprechenden Felder aus und klicken Sie dann unten im linken Bereich auf die Schaltfläche „Entsprechende REST“, um die POST-Anfrage mit dem vollständigen JSON-Anfragetext aufzurufen.

Console

Sie können einen Cluster mit einem einzelnen Knoten erstellen. Dazu wählen Sie im Bereich „Clustertyp“ des Steuerfelds „Cluster erstellen“ auf der Seite „Cluster erstellen“ von Managed Service for Apache Spark die Option „Einzelner Knoten (1 Haupt, 0 Worker)“ aus.