"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Risolvere i problemi di creazione del cluster

Questo documento spiega i messaggi di errore comuni durante la creazione dei cluster e fornisce suggerimenti per la risoluzione dei problemi di creazione dei cluster.

Messaggi di errore comuni durante la creazione dei cluster

L'utente non è autorizzato ad agire come account di servizio

Causa: l'entità che tenta di creare il cluster Managed Service for Apache Spark non dispone delle autorizzazioni necessarie per utilizzare il account di servizio specificato. Gli utenti di Managed Service for Apache Spark devono disporre dell'autorizzazione ActAs del account di servizio per eseguire il deployment delle risorse Managed Service for Apache Spark; questa autorizzazione è inclusa nel ruolo Utente service account (roles/iam.serviceAccountUser) (vedi Ruoli di Managed Service for Apache Spark).

Soluzione: identifica l'utente o il service account che tenta di creare il cluster Managed Service for Apache Spark. Concedi a questa entità il ruolo Utente service account (roles/iam.serviceAccountUser) nel account di servizio configurato per l'utilizzo del cluster (in genere, il service account della VM Managed Service for Apache Spark).
Operazione scaduta: sono in esecuzione solo 0 dei 2 datanode/node manager minimi richiesti.

Causa: il nodo controller non è in grado di creare il cluster perché non può comunicare con i nodi worker.

Soluzione:
- Controlla gli avvisi relativi alle regole firewall.
- Assicurati che siano in vigore le regole firewall corrette. Per saperne di più, consulta la panoramica delle regole firewall predefinite di Managed Service for Apache Spark.
- Esegui un test di connettività nella Google Cloud console per determinare cosa blocca la comunicazione tra il controller e i nodi worker.
Autorizzazione compute.subnetworks.use richiesta per projects/{projectId}/regions/{region}/subnetworks/{subnetwork}

Causa: questo errore può verificarsi quando tenti di configurare un cluster Managed Service for Apache Spark utilizzando una rete VPC in un altro progetto e il account di servizio Managed Service for Apache Spark Service Agent non dispone delle autorizzazioni necessarie per il progetto VPC condiviso che ospita la rete.

Soluzione: segui i passaggi elencati in Creare un cluster che utilizza una rete VPC in un altro progetto.
La zona projects/zones/{zone} non dispone di risorse sufficienti per soddisfare la richiesta (resource type:compute)

Causa: la zona utilizzata per creare il cluster non dispone di risorse sufficienti.

Soluzione:
- Utilizza la funzionalità di posizionamento automatico delle zone di Managed Service for Apache Spark Auto Zone placement feature per creare il cluster in una delle zone di una regione con risorse disponibili.
- Crea il cluster in un'altra zona.
Errori di superamento quota

Insufficient CPUS/CPUS_ALL_REGIONS quota
Insufficient 'DISKS_TOTAL_GB' quota
Insufficient 'IN_USE_ADDRESSES' quota

Causa: la richiesta di CPU, dischi, o indirizzi IP supera la quota disponibile.

Soluzione: richiedi una quota aggiuntiva dalla Google Cloud console.
Azione di inizializzazione non riuscita

Causa: l'azione di inizializzazione fornita durante la creazione del cluster non è stata installata.

Soluzione:
- Consulta le considerazioni e le linee guida per le azioni di inizializzazione.
- Esamina i log di output. Il messaggio di errore dovrebbe fornire un link ai log in Cloud Storage.
Impossibile inizializzare il nodo CLUSTER-NAME-m. ... Vedi l'output in: <gs://PATH_TO_STARTUP_SCRIPT_OUTPUT>

Causa: non è stato possibile inizializzare il nodo controller del cluster Managed Service for Apache Spark.

Soluzione:
- Esamina i log di output dello script di avvio elencati nel messaggio di errore (gs://PATH_TO_STARTUP_SCRIPT_OUTPUT) e verifica la causa dell'inizializzazione del nodo non riuscita.
- Le cause possono includere problemi di configurazione di rete del cluster Managed Service for Apache Spark e l'installazione non riuscita delle dipendenze del pacchetto Python.
- Se il problema non viene risolto dopo aver esaminato i log dello script di avvio, correggi eventuali problemi lato utente, quindi riprova con un backoff esponenziale, contatta l'assistenza Google Cloud.
Creazione del cluster non riuscita: spazio degli indirizzi IP esaurito

Causa: lo spazio degli indirizzi IP necessario per il provisioning dei nodi del cluster richiesti non è disponibile.

Soluzione:
- Crea un cluster con meno nodi worker, ma con un tipo di macchina più grande.
- Crea un cluster su una subnet o una rete diversa.
- Riduci l'utilizzo della rete per liberare spazio degli indirizzi IP.
- Attendi che sia disponibile spazio IP sufficiente sulla rete.

Messaggio di errore dello script di inizializzazione: il repository REPO_NAME non ha più un file di release

Causa: il repository di backport di Debian oldstable è stato eliminato.

Soluzione:

Aggiungi il seguente codice prima del codice che esegue apt-get nello script di inizializzazione.

oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}');
stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}');

matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)"
if [[ -n "$matched_files" ]]; then
  for filename in "$matched_files"; do
    grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \
      sed -i -e 's/^.*-backports.*$//' "$filename"
  done
fi

Timeout in attesa che l'istanza DATAPROC_CLUSTER_VM_NAME segnali la sua presenza o Rete non raggiungibile: dataproccontrol-REGION.googleapis.com

Causa: questi messaggi di errore indicano che la configurazione di rete del cluster Managed Service for Apache Spark non è completa: potrebbero mancare la route al gateway internet predefinito o le regole firewall.

Soluzione:

Per risolvere il problema, puoi creare i seguenti test di connettività:
- Crea un test di connettività tra due VM del cluster Managed Service for Apache Spark. Il risultato di questo test ti aiuterà a capire se le regole firewall di autorizzazione in entrata o in uscita della tua rete si applicano correttamente alle VM del cluster.
- Crea un test di connettività tra una VM del cluster Managed Service for Apache Spark e un indirizzo IP dell'API di controllo Managed Service for Apache Spark corrente. Per ottenere un indirizzo IP dell'API di controllo Managed Service for Apache Spark corrente, utilizza il seguente comando:
```
dig dataproccontrol-REGION.googleapis.com A
```
Utilizza uno degli indirizzi IPv4 nella sezione delle risposte dell'output.

Il risultato del test di connettività ti aiuterà a capire se la route al gateway internet predefinito e il firewall di autorizzazione in uscita sono configurati correttamente.

In base ai risultati di Connectivity Tests:
- Aggiungi una route a internet alla rete VPC del cluster: 0.0.0.0/0 per IPv4 e ::/0 per IPv6 con --next-hop-gateway=default-internet-gateway.
- Aggiungi regole firewall per il controllo dell'accesso.
Errore dovuto all'aggiornamento

Causa: il cluster ha accettato un job inviato al servizio Managed Service for Apache Spark, ma non è stato in grado di eseguire lo scale up o lo scale down manualmente o tramite lo scaling automatico. Questo errore può essere causato anche da una configurazione del cluster non standard.

Soluzione:
- Reimpostazione del cluster: apri un ticket di assistenza, includi un file tar di diagnostica, e chiedi di reimpostare il cluster sullo stato RUNNING.
- Nuovo cluster: ricrea il cluster con la stessa configurazione. Questa soluzione può essere più rapida di una reimpostazione fornita dall'assistenza.

Suggerimenti per la risoluzione dei problemi dei cluster

Questa sezione fornisce ulteriori indicazioni sulla risoluzione dei problemi comuni che possono impedire la creazione di cluster Managed Service for Apache Spark.

Quando il provisioning di un cluster Managed Service for Apache Spark non riesce, spesso viene generato un messaggio di errore generico o viene segnalato uno stato PENDING o PROVISIONING prima del fallimento. La chiave per diagnosticare e risolvere i problemi di errore del cluster è esaminare i log del cluster e valutare i punti di errore comuni.

Sintomi comuni

Di seguito sono riportati i sintomi comuni associati agli errori di creazione dei cluster:

Lo stato del cluster rimane PENDING o PROVISIONING per un periodo prolungato.
Il cluster passa allo stato ERROR.
Errori API generici durante la creazione del cluster, ad esempio Operation timed out.
Messaggi di errore registrati o di risposta dell'API, ad esempio:
- RESOURCE_EXHAUSTED: relativo alle quote di CPU, disco o indirizzi IP
- Instance failed to start
- Permission denied
- Unable to connect to service_name.googleapis.com o Could not reach required Google APIs
- Connection refused o network unreachable
- Errori relativi al mancato funzionamento delle azioni di inizializzazione, ad esempio errori di esecuzione degli script e file non trovati.

Esaminare i log del cluster

Un passaggio iniziale importante per diagnosticare gli errori di creazione dei cluster è esaminare i log dettagliati dei cluster disponibili in Cloud Logging.

Vai a Esplora log: apri Esplora log nella Google Cloud console.
Filtra i cluster Managed Service for Apache Spark:
- Nel menu a discesa Risorsa, seleziona Cloud Managed Service for Apache Spark Cluster.
- Inserisci cluster_name e project_id. Puoi anche filtrare per location (regione).
Esamina le voci di log:
- Cerca i messaggi di livello ERROR o WARNING che si verificano in prossimità dell'errore di creazione del cluster.
- Presta attenzione ai log dei componenti master-startup, worker-startup e agent per informazioni dettagliate sui problemi a livello di VM o dell'agente Managed Service for Apache Spark.
- Per informazioni dettagliate sui problemi relativi al tempo di avvio della VM, filtra i log in base a resource.type="gce_instance", e cerca i messaggi dei nomi delle istanze associati ai nodi del cluster, ad esempio CLUSTER_NAME-m o CLUSTER_NAME-w-0. I log della console seriale possono rivelare problemi di configurazione di rete, problemi del disco ed errori di script che si verificano all'inizio del ciclo di vita della VM.

Cause comuni di errori dei cluster e suggerimenti per la risoluzione dei problemi

Questa sezione illustra i motivi comuni per cui la creazione di cluster Managed Service for Apache Spark potrebbe non riuscire e fornisce suggerimenti per la risoluzione dei problemi per aiutarti a risolvere i problemi dei cluster.

Autorizzazioni IAM insufficienti

Il service account della VM utilizzato dal cluster Managed Service for Apache Spark deve disporre dei ruoli IAM appropriati per eseguire il provisioning delle istanze Compute Engine, accedere ai bucket Cloud Storage, scrivere log e interagire con altri Google Cloud servizi.

Ruolo Worker richiesto: verifica che il account di servizio della VM abbia il ruolo Worker di Managed Service for Apache Spark (roles/dataproc.worker). Questo ruolo dispone delle autorizzazioni minime richieste da Managed Service for Apache Spark per gestire le risorse del cluster.
Autorizzazioni di accesso ai dati: se i job leggono o scrivono in Cloud Storage o BigQuery, il account di servizio necessita di ruoli correlati, ad esempio Storage Object Viewer, Storage Object Creator o Storage Object Admin per Cloud Storage oppure BigQuery Data Viewer o BigQuery Editor per BigQuery.
Autorizzazioni di logging: il account di servizio deve avere un ruolo con le autorizzazioni necessarie per scrivere i log in Cloud Logging, ad esempio il ruolo Logging Writer.