Managed Service for Apache Spark-Cluster erstellen
Voraussetzungen:
Name: Der Clustername muss mit einem Kleinbuchstaben beginnen, gefolgt von bis zu 51 Kleinbuchstaben, Ziffern und Bindestrichen. Das letzte Zeichen darf kein Bindestrich sein.
Clusterregion: Sie müssen eine Compute Engine-Region für den Cluster angeben, z. B.
us-east1odereurope-west1, um Clusterressourcen wie VM-Instanzen und in Cloud Storage gespeicherte Clustermetadaten innerhalb der Region zu isolieren.- Weitere Informationen zu Compute Engine-Regionen finden Sie unter Clusterregion.
- Informationen zum Auswählen von Regionen finden Sie unter Verfügbare Regionen und Zonen. Sie können auch den Befehl
gcloud compute regions listausführen, um eine Liste der verfügbaren Regionen aufzurufen.
Konnektivität: Compute Engine-VM-Instanzen (VMs) in einem Managed Service for Apache Spark-Cluster, bestehend aus Master- und Worker-VMs, erfordern eine vollständige interne IP-Adressen-Netzwerkverbindung. Das
default-VPC-Netzwerk stellt diese Verbindung bereit (siehe Netzwerkkonfiguration für Managed Service for Apache Spark-Cluster).
Console
Öffnen Sie in Ihrem Browser die Seite Cluster erstellen für Managed Service for Apache Spark in der Google Cloud Console und klicken Sie dann auf der Seite Dataproc-Cluster in Compute Engine erstellen in der Zeile Compute Engine auf Erstellen. Der Bereich Cluster einrichten wird mit Feldern ausgewählt, die mit Standardwerten gefüllt sind. Sie können jeden Bereich auswählen und die Standardwerte bestätigen oder ändern, um Ihren Cluster anzupassen.
Klicken Sie auf Erstellen, um den Cluster zu erstellen. Der Clustername wird auf der Seite Cluster angezeigt und der Status wird nach der Bereitstellung des Clusters in „Wird ausgeführt“ geändert. Klicken Sie auf den Clusternamen, um die Seite „Clusterdetails“ zu öffnen. Hier können Sie Jobs, Instanzen und Konfigurationseinstellungen für den Cluster überprüfen und eine Verbindung zu den Weboberflächen herstellen, die auf Ihrem Cluster ausgeführt werden.
gcloud
Wenn Sie einen Managed Service for Apache Spark-Cluster über die Befehlszeile erstellen möchten, führen Sie den Befehl gcloud dataproc clusters create lokal in einem Terminalfenster oder in Cloud Shell aus.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION
Mit dem Befehl wird ein Cluster mit den Standardeinstellungen von Managed Service for Apache Spark für Ihre Master- und Worker-VM-Instanzen, Laufwerksgrößen und -typen, Netzwerktyp, Region und Zone, in der Ihr Cluster bereitgestellt wird, sowie andere Clustereinstellungen erstellt. Weitere Informationen dazu, wie Sie mit Befehlszeilen-Flags Clustereinstellungen anpassen können, finden Sie im Befehl gcloud dataproc clusters create.
Erstellen Sie einen Cluster mit einer YAML-Datei
- Führen Sie den folgenden
gcloud-Befehl aus, um die Konfiguration eines vorhandenen Managed Service for Apache Spark-Clusters in einecluster.yaml-Datei zu exportieren.gcloud dataproc clusters export EXISTING_CLUSTER_NAME \ --region=REGION \ --destination=cluster.yaml
- Erstellen Sie einen neuen Cluster. Dazu importieren Sie die Konfiguration der YAML-Datei.
gcloud dataproc clusters import NEW_CLUSTER_NAME \ --region=REGION \ --source=cluster.yaml
Hinweis: Während des Exportvorgangs werden clusterspezifische Felder wie Clustername, reine Ausgabefelder und automatisch angewendete Labels gefiltert. Diese Felder sind in der importierten YAML-Datei, die zum Erstellen eines Clusters verwendet wurde, nicht zulässig.
REST
In diesem Abschnitt wird erläutert, wie Sie einen Cluster mit erforderlichen Werten und der Standardkonfiguration (1 Hauptcluster, 2 Worker) erstellen.
Ersetzen Sie diese Werte in den folgenden Anfragedaten:
- CLUSTER_NAME: Clustername
- PROJECT: Google Cloud -Projekt-ID
- REGION: Eine verfügbare Compute Engine-Region, in der der Cluster erstellt wird.
- ZONE: Eine optionale Zone innerhalb der ausgewählten Region, in der der Cluster erstellt wird.
- MASTER_MACHINE_TYPE: (Empfohlen) Der Maschinentyp für den Masterknoten (z. B.
n4-standard-4). - WORKER_MACHINE_TYPE: (Empfohlen) Der Maschinentyp für Worker-Knoten (z. B.
n4-standard-4).
HTTP-Methode und URL:
POST https://dataproc.googleapis.com/v1/projects/PROJECT/regions/REGION/clusters
JSON-Text anfordern:
{
"project_id":"PROJECT",
"cluster_name":"CLUSTER_NAME",
"config":{
"master_config":{
"num_instances":1,
"machine_type_uri":"MASTER_MACHINE_TYPE",
"image_uri":""
},
"softwareConfig": {
"imageVersion": "",
"properties": {},
"optionalComponents": []
},
"worker_config":{
"num_instances":2,
"machine_type_uri":"WORKER_MACHINE_TYPE",
"image_uri":""
},
"gce_cluster_config":{
"zone_uri":"ZONE"
}
}
}
Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:
Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:
{
"name": "projects/PROJECT/regions/REGION/operations/b5706e31......",
"metadata": {
"@type": "type.googleapis.com/google.cloud.dataproc.v1.ClusterOperationMetadata",
"clusterName": "CLUSTER_NAME",
"clusterUuid": "5fe882b2-...",
"status": {
"state": "PENDING",
"innerState": "PENDING",
"stateStartTime": "2019-11-21T00:37:56.220Z"
},
"operationType": "CREATE",
"description": "Create cluster with 2 workers",
"warnings": [
"For PD-Standard without local SSDs, we strongly recommend provisioning 1TB ...""
]
}
}
Go
- Installieren Sie die Clientbibliothek.
- Standardanmeldedaten für Anwendungen einrichten
- Führen Sie den Code aus.
Java
- Installieren Sie die Clientbibliothek.
- Standardanmeldedaten für Anwendungen einrichten
- Führen Sie den Code aus.
Node.js
- Installieren Sie die Clientbibliothek.
- Standardanmeldedaten für Anwendungen einrichten
- Führen Sie den Code aus.
Python
- Installieren Sie die Clientbibliothek.
- Standardanmeldedaten für Anwendungen einrichten
- Führen Sie den Code aus.