In diesem Dokument werden häufige Fehlermeldungen bei der Clustererstellung erläutert und Tipps zur Fehlerbehebung bei Problemen mit der Clustererstellung gegeben.
Häufige Fehlermeldungen bei der Clustererstellung
User not authorized to act as service account
Ursache: Das Hauptkonto, das versucht, den Managed Service for Apache Spark-Cluster zu erstellen, hat nicht die erforderlichen Berechtigungen, um das angegebene Dienstkonto zu verwenden. Managed Service for Apache Spark-Nutzer benötigen die Berechtigung für das Dienstkonto
ActAs, um Managed Service for Apache Spark-Ressourcen bereitzustellen. Diese Berechtigung ist in der Rolle Dienstkontonutzer (roles/iam.serviceAccountUser) enthalten (siehe Managed Service for Apache Spark-Rollen).Lösung: Ermitteln Sie den Nutzer oder das Dienstkonto, das versucht, den Managed Service for Apache Spark-Cluster zu erstellen. Weisen Sie diesem Hauptkonto die Rolle Dienstkontonutzer (
roles/iam.serviceAccountUser) für das Dienstkonto zu, das der Cluster verwenden soll (in der Regel das Dienstkonto der Managed Service for Apache Spark-VM).Operation timed out: Only 0 out of 2 minimum required datanodes/node managers running.
Ursache: Der Controllerknoten kann den Cluster nicht erstellen, da er nicht mit Worker-Knoten kommunizieren kann.
Lösung:
- Überprüfen Sie die Warnungen für Firewallregeln.
- Prüfen Sie, ob die richtigen Firewallregeln vorhanden sind. Weitere Informationen finden Sie unter Übersicht über die standardmäßigen Managed Service for Apache Spark-Firewallregeln.
- Führen Sie in der Google Cloud Console einen Konnektivitätstest durch, um zu ermitteln, was die Kommunikation zwischen den Controller- und Worker-Knoten blockiert.
Required
compute.subnetworks.usepermission forprojects/{projectId}/regions/{region}/subnetworks/{subnetwork}Ursache: Dieser Fehler kann auftreten, wenn Sie versuchen, einen Managed Service for Apache Spark Cluster mit einem VPC-Netzwerk in einem anderen Projekt einzurichten und das Managed Service for Apache Spark Dienstkonto Dienst-Agent nicht die erforderlichen Berechtigungen für das freigegebene VPC Projekt hat, in dem das Netzwerk gehostet wird.
Lösung: Führen Sie die unter Cluster erstellen, der ein VPC-Netzwerk in einem anderen Projekt verwendet aufgeführten Schritten aus.
The zone
projects/zones/{zone}does not have enough resources available to fulfill the request(resource type:compute)Ursache: Die Zone, die zum Erstellen des Clusters verwendet wird, hat nicht genügend Ressourcen.
Lösung:
Fehler bei Kontingentüberschreitung
Unzureichendes CPUS-/CPUS_ALL_REGIONS-Kontingent
Unzureichendes Kontingent "DISKS_SUM_GB"
Unzureichendes Kontingent "IN_USE_ADDRESSES"Ursache: Ihre CPU, Laufwerk, oder IP-Adress-Anfrage überschreitet Ihr verfügbares Kontingent.
Lösung: Fordern Sie in der Google Cloud Console zusätzliches Kontingent an.
Initialisierungsaktion fehlgeschlagen
Ursache: Die während der Clustererstellung angegebene Initialisierungsaktion konnte nicht installiert werden.
Lösung:
- Siehe Überlegungen und Richtlinien für Initialisierungsaktionen.
- Untersuchen Sie die Ausgabelogs. Die Fehlermeldung sollte einen Link zu den Logs in Cloud Storage enthalten.
Failed to initialize node
CLUSTER-NAME-m. ... See output in:<gs://PATH_TO_STARTUP_SCRIPT_OUTPUT>Ursache: Der Controllerknoten des Managed Service for Apache Spark-Clusters konnte nicht initialisiert werden.
Lösung:
- Prüfen Sie die Ausgabelogs des Startskripts, die in der Fehlermeldung aufgeführt sind
(
gs://PATH_TO_STARTUP_SCRIPT_OUTPUT) und ermitteln Sie die Ursache für die fehlgeschlagene Knoteninitialisierung. - Ursachen können Probleme mit der Netzwerkkonfiguration des Managed Service for Apache Spark-Clusters und eine fehlgeschlagene Installation von Python-Paketabhängigkeiten sein.
- Wenn das Problem nach dem Prüfen der Startskriptlogs nicht behoben ist, beheben Sie alle Probleme auf Nutzerseite und versuchen Sie es dann noch einmal mit exponentiellem Backoff. Wenden Sie sich an den Google Cloud-Support.
- Prüfen Sie die Ausgabelogs des Startskripts, die in der Fehlermeldung aufgeführt sind
(
Cluster creation failed: IP address space exhausted
Ursache: Der für die Bereitstellung der angeforderten Clusterknoten erforderliche IP-Adressbereich ist nicht verfügbar.
Lösung:
- Erstellen Sie einen Cluster mit weniger Worker-Knoten, aber einem größeren Maschinentyp.
- Erstellen Sie einen Cluster in einem anderen Subnetzwerk oder Netzwerk.
- Reduzieren Sie die Nutzung des Netzwerks, um IP-Adressbereich freizugeben.
- Warten Sie, bis im Netzwerk genügend IP-Adressbereich verfügbar ist.
Initialization script error message: The repository REPO_NAME no longer has a Release file
Ursache: Das Debian-Backports-Repository für die alte stabile Version wurde gelöscht.
Lösung:
Fügen Sie den folgenden Code vor dem Code ein, der
apt-getin Ihrem Initialisierungsskript ausführt.oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}'); stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}'); matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)" if [[ -n "$matched_files" ]]; then for filename in "$matched_files"; do grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \ sed -i -e 's/^.*-backports.*$//' "$filename" done fiTimeout waiting for instance
DATAPROC_CLUSTER_VM_NAMEto report in oder Network is unreachable:dataproccontrol-REGION.googleapis.comUrsache: Diese Fehlermeldungen weisen darauf hin, dass die Netzwerkeinrichtung Ihres Managed Service for Apache Spark-Clusters unvollständig ist. Möglicherweise fehlt die Route zum Standard-Internetgateway oder zu Firewallregeln.
Lösung:
Um dieses Problem zu beheben, können Sie die folgenden Konnektivitätstests erstellen:
- Erstellen Sie einen Konnektivitätstest zwischen zwei Managed Service for Apache Spark-Cluster-VMs. Das Ergebnis dieses Tests hilft Ihnen zu verstehen, ob die Firewallregeln für eingehenden und ausgehenden Traffic Ihres Netzwerks korrekt auf die Cluster-VMs angewendet werden.
- Erstellen Sie einen Konnektivitätstest zwischen einer Managed Service for Apache Spark-Cluster-VM und einer aktuellen Managed Service for Apache Spark Steuerungs-API-IP-Adresse. Verwenden Sie den folgenden Befehl, um eine aktuelle IP-Adresse der Managed Service for Apache Spark-Steuerungs-API abzurufen:
dig dataproccontrol-REGION.googleapis.com A
Verwenden Sie eine der IPv4-Adressen im Antwortbereich der Ausgabe.
Das Ergebnis des Konnektivitätstests hilft Ihnen zu verstehen, ob die Route zum Standard-Internetgateway und die Firewall für ausgehenden Traffic richtig konfiguriert sind.
Basierend auf den Ergebnissen der Konnektivitätstests:
- Fügen Sie Ihrem VPC-Netzwerk des Clusters eine Route zum Internet hinzu:
0.0.0.0/0für IPv4 und::/0für IPv6 mit--next-hop-gateway=default-internet-gateway. - Fügen Sie Firewallregeln für die Zugriffssteuerung hinzu.
Fehler aufgrund von Update
Ursache: Der Cluster hat einen Job akzeptiert, der an den Managed Service for Apache Spark-Dienst gesendet wurde, konnte aber nicht manuell oder durch Autoscaling skaliert werden. Dieser Fehler kann auch durch eine nicht standardmäßige Clusterkonfiguration verursacht werden.
Lösung:
Cluster zurücksetzen: Erstellen Sie ein Supportticket, fügen Sie eine Diagnosetar-Datei hinzu und bitten Sie darum, den Cluster auf den Status „WIRD AUSGEFÜHRT“ zurückzusetzen.
Neuer Cluster: Erstellen Sie den Cluster mit derselben Konfiguration neu. Diese Lösung kann schneller sein als ein vom Support bereitgestelltes Zurücksetzen.
Tipps zur Fehlerbehebung bei Clustern
In diesem Abschnitt finden Sie weitere Informationen zur Behebung häufiger Probleme, die die Erstellung von Managed Service for Apache Spark-Clustern verhindern können.
Wenn die Bereitstellung eines Managed Service for Apache Spark-Clusters fehlschlägt, wird häufig eine allgemeine Fehlermeldung angezeigt oder der Status PENDING oder PROVISIONING gemeldet, bevor der Fehler auftritt. Der Schlüssel zur Diagnose und Behebung von Problemen mit Clusterfehlern ist die Untersuchung von Clusterlogs und die Bewertung häufiger Fehlerpunkte.
Häufige Symptome
Die folgenden Symptome treten häufig bei Fehlern bei der Clustererstellung auf:
- Der Clusterstatus bleibt für längere Zeit
PENDINGoderPROVISIONING. - Der Cluster wechselt in den Status
ERROR. - Allgemeine API-Fehler bei der Clustererstellung, z. B.
Operation timed out. Protokollierte Fehlermeldungen oder API-Antwortfehlermeldungen, z. B.:
RESOURCE_EXHAUSTED: im Zusammenhang mit CPU-, Laufwerk- oder IP-AdresskontingentenInstance failed to startPermission deniedUnable to connect to service_name.googleapis.comoderCould not reach required Google APIsConnection refusedodernetwork unreachable- Fehler im Zusammenhang mit fehlgeschlagenen Initialisierungsaktionen, z. B. Skriptausführungsfehler und Datei nicht gefunden.
Clusterlogs prüfen
Ein wichtiger erster Schritt bei der Diagnose von Fehlern bei der Clustererstellung ist die Überprüfung der detaillierten Clusterlogs in Cloud Logging.
- Rufen Sie den Log-Explorer auf: Öffnen Sie den Log-Explorer in der Google Cloud Console.
- Nach Managed Service for Apache Spark-Clustern filtern:
- Wählen Sie im Drop-down-Menü Ressource die Option
Cloud Managed Service for Apache Spark Clusteraus. - Geben Sie
cluster_nameundproject_idein. Sie können auch nachlocation(Region) filtern.
- Wählen Sie im Drop-down-Menü Ressource die Option
- Logeinträge prüfen:
- Suchen Sie nach Nachrichten der Stufe
ERRORoderWARNING, die kurz vor dem Fehler bei der Clustererstellung auftreten. - Achten Sie auf Logs von
master-startup-,worker-startup- undagent-Komponenten, um Einblicke in Probleme auf VM-Ebene oder mit dem Managed Service for Apache Spark-Agent zu erhalten. - Um Probleme mit der VM-Startzeit zu untersuchen,
filtern Sie Logs nach
resource.type="gce_instance"und suchen Sie nach Nachrichten von den Instanznamen, die mit Ihren Clusterknoten verknüpft sind, z. B.CLUSTER_NAME-moderCLUSTER_NAME-w-0. Serielle Konsolenlogs können Probleme mit der Netzwerkkonfiguration, Festplattenprobleme und Skriptfehler aufdecken, die früh im VM-Lebenszyklus auftreten.
- Suchen Sie nach Nachrichten der Stufe
Häufige Ursachen für Clusterfehler und Tipps zur Fehlerbehebung
In diesem Abschnitt werden häufige Gründe für das Fehlschlagen der Erstellung von Managed Service for Apache Spark-Clustern aufgeführt und Tipps zur Fehlerbehebung bei Clusterfehlern gegeben.
Unzureichende IAM-Berechtigungen
Das VM-Dienstkonto das von Ihrem Managed Service for Apache Spark-Cluster verwendet wird, muss die entsprechenden IAM-Rollen haben, um Compute Engine-Instanzen bereitzustellen, auf Cloud Storage Buckets zuzugreifen, Logs zu schreiben und mit anderen Google Cloud Diensten zu interagieren.
- Erforderliche Worker-Rolle: Prüfen Sie, ob das VM-Dienstkonto die
Managed Service for Apache Spark-Worker
Rolle (
roles/dataproc.worker) hat. Diese Rolle enthält die Mindestberechtigungen, die für Managed Service for Apache Spark zum Verwalten von Clusterressourcen erforderlich sind. - Berechtigungen für den Datenzugriff: Wenn Ihre Jobs Daten aus Cloud Storage oder BigQuery lesen oder in diese schreiben, benötigt das Dienstkonto entsprechende Rollen, z. B.
Storage Object Viewer,Storage Object CreatoroderStorage Object Adminfür Cloud Storage oderBigQuery Data VieweroderBigQuery Editorfür BigQuery. - Logging-Berechtigungen: Das Dienstkonto muss eine Rolle mit den Berechtigungen haben, die zum Schreiben von Logs in Cloud Logging erforderlich sind, z. B. die Rolle
Logging Writer.
Tipps zur Fehlerbehebung:
Dienstkonto ermitteln: Ermitteln Sie das VM-Dienstkonto das von Ihrem Cluster verwendet werden soll. Wenn nicht angegeben, ist das Compute Engine-Standarddienstkonto die Standardeinstellung.
IAM-Rollen prüfen: Rufen Sie in der Google Cloud Console die Seite IAM & Verwaltung > IAM auf, suchen Sie nach dem Dienstkonto der Cluster-VM und prüfen Sie dann, ob es die erforderlichen Rollen für Clusteroperationen hat. Weisen Sie alle fehlenden Rollen zu.
Ressourcenkontingente überschritten
Managed Service for Apache Spark-Cluster verbrauchen Ressourcen von Compute Engine und anderen Google Cloud Diensten. Das Überschreiten von Projekt- oder regionalen Kontingenten kann zu Fehlern bei der Clustererstellung führen.
- Häufige Managed Service for Apache Spark-Kontingente, die geprüft werden sollten:
CPUs(regional)DISKS_TOTAL_GB(regional)IN_USE_ADDRESSES(regional für interne IPs, global für externe IPs)- Dataproc API-Kontingente, z. B.
ClusterOperationRequestsPerMinutePerProjectPerRegion
Tipps zur Fehlerbehebung:
- Kontingente prüfen: Rufen Sie in der Google Cloud Console die Seite IAM & Verwaltung > IAM auf. Filtern Sie nach „Dienst“ für „Compute Engine API“ und „Dataproc API“.
- Nutzung im Vergleich zum Limit prüfen: Ermitteln Sie alle Kontingente, die ihr Limit erreicht haben oder fast erreicht haben.
- Fordern Sie bei Bedarf eine Kontingenterhöhung an.
Probleme mit der Netzwerkkonfiguration
Probleme mit der Netzwerkkonfiguration, z. B. eine falsche VPC-Netzwerk-, Subnetz-, Firewall- oder DNS-Konfiguration, sind eine häufige Ursache für Fehler bei der Clustererstellung. Clusterinstanzen müssen miteinander und mit Google APIs kommunizieren können.
- VPC-Netzwerk und Subnetz:
- Prüfen Sie, ob das VPC-Netzwerk und das Subnetz des Clusters vorhanden und richtig konfiguriert sind.
- Prüfen Sie, ob das Subnetz einen ausreichenden Bereich verfügbarer IP-Adressen hat.
- Privater Google-Zugriff (PGA): Wenn Cluster-VMs interne IP-Adressen haben und Google APIs für Cloud Storage, Cloud Logging und andere Vorgänge erreichen müssen, prüfen Sie, ob der private Google-Zugriff für das Subnetz aktiviert ist. Standardmäßig werden für Managed Service for Apache Spark-Cluster, die mit Image-Versionen ab 2.2 erstellt wurden, VMs mit ausschließlich internen IP-Adressen bereitgestellt, wobei der privater Google-Zugriff für das regionale Subnetz des Clusters aktiviert ist.
- Private Service Connect
(PSC): Wenn Sie
Private Service Connect verwenden, um auf Google
APIs zuzugreifen, prüfen Sie, ob die erforderlichen
Private Service Connect-Endpunkte
für die Google APIs, von denen Managed Service for Apache Spark
abhängt, richtig konfiguriert sind, z. B.
dataproc.googleapis.com,storage.googleapis.com,compute.googleapis.comundlogging.googleapis.com. DNS-Einträge für die APIs müssen in private IP-Adressen aufgelöst werden. Beachten Sie, dass die Verwendung von Private Service Connect die Verwendung von VPC-Peering für die Kommunikation mit anderen von Kunden verwalteten VPC-Netzwerken nicht überflüssig macht. - VPC-Peering: Wenn Ihr Cluster mit Ressourcen in anderen VPC-Netzwerken kommuniziert, z. B. mit gemeinsam genutzten VPC-Hostprojekten oder anderen Kunden-VPCs, prüfen Sie, ob VPC-Peering richtig konfiguriert ist und Routen weitergegeben werden.
Firewallregeln:
- Standardregeln: Prüfen Sie, ob die Standardfirewallregeln, z. B.
allow-internaloderallow-ssh, nicht zu restriktiv sind. Benutzerdefinierte Regeln: Wenn benutzerdefinierte Firewallregeln vorhanden sind, prüfen Sie, ob sie die erforderlichen Kommunikationspfade zulassen:
- Interne Kommunikation innerhalb des Clusters (zwischen -m und -w-Knoten).
Ausgehender Traffic von Cluster-VMs zu Google APIs, entweder über öffentliche IPs oder ein Internetgateway, privater Google-Zugriff oder Private Service Connect-Endpunkte.
Traffic zu externen Datenquellen oder Diensten, von denen Ihre Jobs abhängen.
- Standardregeln: Prüfen Sie, ob die Standardfirewallregeln, z. B.
DNS-Auflösung: Prüfen Sie, ob Clusterinstanzen DNS-Namen für Google APIs und alle internen oder externen Dienste korrekt auflösen können.
Tipps zur Fehlerbehebung:
- Netzwerkkonfiguration prüfen: Prüfen Sie die VPC-Netzwerk- und Subnetzeinstellungen, in denen der Cluster bereitgestellt wird.
- Firewallregeln prüfen: Prüfen Sie die Firewallregeln im VPC-Netzwerk oder im gemeinsam genutzten VPC-Hostprojekt.
- Verbindung testen: Starten Sie eine temporäre Compute Engine-VM im Cluster-Subnetz und führen Sie die folgenden Schritte aus:
pingodercurlzu externen Google API-Domains, z. B.storage.googleapis.com.nslookup, um die DNS-Auflösung in die erwarteten IP-Adressen (privater Google-Zugriff oder Private Service Connect) zu prüfen.- Führen Sie Google Cloud Konnektivitätstests aus, um Pfade von einer Test-VM zu relevanten Endpunkten zu diagnostizieren.
Fehler bei Initialisierungsaktionen
Managed Service for Apache Spark-Initialisierungsaktionen sind Skripts, die während der Clustererstellung auf Cluster-VMs ausgeführt werden. Fehler in diesen Skripts können den Clusterstart verhindern.
Tipps zur Fehlerbehebung:
- Logs auf Fehler bei Initialisierungsaktionen prüfen: Suchen Sie in Cloud Logging nach Logeinträgen zu
init-actionsoderstartup-scriptfür die Clusterinstanzen. - Skriptpfade und Berechtigungen prüfen: Prüfen Sie, ob sich die Skripts für Initialisierungsaktionen korrekt in Cloud Storage befinden und ob das Dienstkonto der Cluster-VM die Rolle
Storage Object Viewerhat, die zum Lesen von Cloud Storage-Skripts erforderlich ist. - Skriptlogik debuggen: Testen Sie die Skriptlogik auf einer separaten Compute Engine-VM, die die Clusterumgebung nachahmt, um Fehler zu identifizieren. Fügen Sie dem Skript ausführliche Logs hinzu.
Regionale Ressourcenverfügbarkeit (Fehlschläge)
Gelegentlich ist ein Maschinentyp oder eine Ressource in einer Region oder Zone vorübergehend nicht verfügbar (Fehlschlag). In der Regel führt dies zu RESOURCE_EXHAUSTED-Fehlern, die nicht mit Problemen mit dem Projektkontingent zusammenhängen.
Tipps zur Fehlerbehebung:
- Andere Zone oder Region versuchen: Versuchen Sie, den Cluster in einer anderen Zone derselben Region oder in einer anderen Region zu erstellen.
- Automatische Zonenplatzierung verwenden: Verwenden Sie das Feature zur automatischen Zonenplatzierung von Managed Service for Apache Spark Auto Zone placement , um automatisch eine Zone mit Kapazität auszuwählen.
- Maschinentyp anpassen: Wenn Sie einen benutzerdefinierten oder speziellen Maschinentyp verwenden, versuchen Sie es mit einem Standardmaschinentyp, um zu sehen, ob das Problem dadurch behoben wird.
Cloud Customer Care kontaktieren
Wenn weiterhin Probleme mit Clusterfehlern auftreten, wenden Sie sich an Cloud Customer Care. Beschreiben Sie das Problem mit dem Clusterfehler und die Schritte zur Fehlerbehebung, die Sie unternommen haben. Geben Sie außerdem die folgenden Informationen an:
- Clusterdiagnosedaten
- Ausgabe des folgenden Befehls:
gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION
- Exportierte Logs für den fehlgeschlagenen Cluster.
Das Tool gcpdiag verwenden
gcpdiag
ist ein Open-Source-Tool. Es ist kein offiziell unterstütztes Google Cloud Produkt.
Mit dem gcpdiag Tool können Sie Projektprobleme identifizieren und beheben Google Cloud. Weitere Informationen finden Sie im
gcpdiag-Projekt auf GitHub.
Mit dem Tool gcpdiag können Sie die folgenden Probleme bei der Erstellung von Managed Service for Apache Spark-Clustern ermitteln, indem Sie die folgenden Prüfungen durchführen:
- Fehlschläge:Wertet Logs im Log-Explorer aus, um Fehlschläge in Regionen und Zonen zu erkennen.
- Unzureichendes Kontingent:Prüft die Kontingentverfügbarkeit im Managed Service for Apache Spark-Clusterprojekt.
- Unvollständige Netzwerkkonfiguration:Führt Konnektivitätstests für das Netzwerk durch, einschließlich Prüfungen auf erforderliche Firewallregeln und die Konfiguration externer und interner IP-Adressen. Wenn der Cluster gelöscht wurde, kann das Tool
gcpdiagkeine Netzwerkverbindungsprüfung durchführen. - Falsche projektübergreifende Konfiguration:Prüft auf projektübergreifende Dienstkonten und überprüft die Durchsetzung zusätzlicher Rollen und Organisationsrichtlinien.
- Fehlende IAM-Rollen für gemeinsam genutzte Virtual Private Cloud-Netzwerke:Wenn der Managed Service for Apache Spark-Cluster ein freigegebene VPC-Netzwerk verwendet, wird geprüft, ob die erforderlichen Dienstkontorollen hinzugefügt wurden.
- Fehler bei Initialisierungsaktionen: Wertet Logs im Log-Explorer aus, um Fehler und Zeitüberschreitungen bei Initialisierungsaktionsskripts zu erkennen.
Eine Liste der gcpdiag Dataproc-Schritte, einschließlich der Schritte zur Clustererstellung, finden Sie unter
Managed Service for Apache Spark-Schritte.
Den Befehl gcpdiag ausführen
Sie können den gcpdiag Befehl in Cloud Shell in der
Google Cloud Console oder in einem Docker Container ausführen.
Google Cloud Console
- Führen Sie den folgenden Befehl aus und kopieren Sie ihn.
- Öffnen Sie die Google Cloud Console und aktivieren Sie Cloud Shell. Cloud Console öffnen
- Fügen Sie den kopierten Befehl ein.
- Führen Sie den Befehl
gcpdiagaus, um das Docker-Imagegcpdiagherunterzuladen und dann Diagnoseprüfungen durchzuführen. Folgen Sie gegebenenfalls der Anleitung für die Ausgabe, um fehlgeschlagene Prüfungen zu beheben.
gcpdiag runbook managed-spark/cluster-creation \
--parameter project_id=PROJECT_ID \
--parameter cluster_name=CLUSTER_NAME \
--parameter OPTIONAL_FLAGSDocker
Sie können
gcpdiag mit einem Wrapper ausführen, der gcpdiag in einem Docker-Container startet. Docker oder Podman muss installiert sein.
- Kopieren Sie den folgenden Befehl und führen Sie ihn auf Ihrer lokalen Workstation aus.
curl https://gcpdiag.dev/gcpdiag.sh >gcpdiag && chmod +x gcpdiag
- Führen Sie den Befehl
gcpdiagaus../gcpdiag runbook managed-spark/cluster-creation \ --parameter project_id=PROJECT_ID \ --parameter cluster_name=CLUSTER_NAME \ --parameter OPTIONAL_FLAGS
Verfügbare Parameter für dieses Runbook ansehen
Ersetzen Sie Folgendes:
- PROJECT_ID: Die ID des Projekts, das die Ressource enthält
- CLUSTER_NAME: Der Name des Ziel Managed Service for Apache Spark-Clusters in Ihrem Projekt
- OPTIONAL_PARAMETERS: Fügen Sie einen oder mehrere der
folgenden optionalen Parameter hinzu. Diese Parameter sind erforderlich, wenn
der Cluster gelöscht wurde.
cluster_uuid: Die UUID des Ziel-Managed Service for Apache Spark Clusters in Ihrem Projektservice_account: Das Dienstkonto der Managed Service for Apache Spark-Cluster VMsubnetwork: Der vollständige URI-Pfad des Managed Service for Apache Spark-Cluster-Subnetzesinternal_ip_only: „True“ oder „False“cross_project: Die projektübergreifende ID, wenn der Managed Service for Apache Spark-Cluster ein VM-Dienstkonto in einem anderen Projekt verwendet
Nützliche Flags:
--universe-domain: Die Domain Trusted Partner Sovereign Cloud, auf der die Ressource gehostet wird--parameteroder-p: Runbook-Parameter
Eine Liste und Beschreibung aller gcpdiag Tool-Flags finden Sie in der
gcpdiag Nutzungsanleitung.
Nächste Schritte
- Weitere Informationen zu den Tools für das Monitoring und die Fehlerbehebung von Managed Service for Apache Spark.
- Informationen zur Diagnose von Managed Service for Apache Spark-Clustern.
- Informationen im Dokument mit häufig gestellten Fragen zu Managed Service for Apache Spark .