"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google utiliza tecnología de IA para traducir contenido a tu idioma preferido. Las traducciones realizadas con IA pueden contener errores.

Soluciona problemas de creación de clústeres

En este documento, se explican los mensajes de error comunes de la creación de clústeres y se brindan sugerencias para solucionar problemas de creación de clústeres.

Mensajes de error comunes de la creación de clústeres

User not authorized to act as service account

Causa: La principal que intenta crear el clúster de Managed Service para Apache Spark no tiene los permisos necesarios para usar la cuenta de servicio especificada. Los usuarios de Managed Service para Apache Spark deben tener el permiso ActAs de la cuenta de servicio para implementar recursos de Managed Service para Apache Spark. Este permiso se incluye en el rol Usuario de cuenta de servicio (roles/iam.serviceAccountUser) (consulta Roles de Managed Service para Apache Spark).

Solución: Identifica el usuario o la cuenta de servicio que intenta crear el clúster de Managed Service para Apache Spark. Otorga a esa principal el rol Usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio que el clúster está configurado para usar (por lo general, la cuenta de servicio de VM de Managed Service para Apache Spark).
Operation timed out: Only se ejecutan 0 de cada 2 nodos de datos o nodos mínimos necesarios.

Causa: El nodo del controlador no puede crear el clúster porque no puede comunicarse con los nodos trabajadores.

Solución:
- Verifica las advertencias de las reglas de firewall.
- Asegúrate de que las reglas de firewall correctas estén en su lugar. Para obtener más información, consulta Descripción general de las reglas de firewall predeterminadas de Managed Service para Apache Spark.
- Realiza una prueba de conectividad en la Google Cloud consola para determinar qué está bloqueando la comunicación entre los nodos trabajadores y los del controlador.
Required compute.subnetworks.use permission for projects/{projectId}/regions/{region}/subnetworks/{subnetwork}

Causa: Este error puede ocurrir cuando intentas configurar un clúster de Managed Service para Apache Spark mediante una red de VPC en otro proyecto y la cuenta de servicio del agente de servicio de Managed Service para Apache Spark Service Agent no tiene los permisos necesarios. En el proyecto de VPC compartida que aloja la red.

Solución: Sigue los pasos que se indican en Crea un clúster que use una red de VPC en otro proyecto.
La zona projects/zones/{zone} no tiene suficientes recursos disponibles para completar la solicitud (resource type:compute)

Causa: La zona que se usa para crear el clúster no tiene suficientes recursos.

Solución:
- Usa la función de posición de zona automática de Managed Service para Apache Spark para crear el clúster en cualquiera de las zonas de una región con recursos disponibles.
- Crea el clúster en una zona diferente.
Errores de cuota excedida

Cuota insuficiente de CPUS/CPUS_ALL_REGIONS
Cuota insuficiente “DISKS_TOTAL_GB”
Cuota insuficiente “IN_USE_ADDRESSES”

Causa: La solicitud de CPU, disco, o dirección IP supera la cuota disponible.

Solución: Solicita una cuota adicional en la Google Cloud consola.
No se pudo realizar la acción de inicialización

Causa: No se pudo instalar la acción de inicialización proporcionada durante la creación del clúster.

Solución:
- Consulta los lineamientos y consideraciones para las acciones de inicialización.
- Examina los registros de resultados. El mensaje de error debe proporcionar un vínculo a los registros en Cloud Storage.
No se pudo inicializar el nodo CLUSTER-NAME-m. ... Consulta el resultado en: <gs://PATH_TO_STARTUP_SCRIPT_OUTPUT>

Causa: No se pudo inicializar el nodo del controlador del clúster de Managed Service para Apache Spark.

Solución:
- Revisa los registros de resultados de la secuencia de comandos de inicio que se enumeran en el mensaje de error (gs://PATH_TO_STARTUP_SCRIPT_OUTPUT) y verifica la causa de la inicialización fallida del nodo.
- Las causas pueden incluir problemas de configuración de red del clúster de Managed Service para Apache Spark y la instalación fallida de dependencias del paquete de Python.
- Si el problema no se resuelve después de revisar los registros de la secuencia de comandos de inicio, soluciona los problemas del usuario y, luego, vuelve a intentarlo con retirada exponencial. Si el problema persiste, comunícate con la asistencia al cliente de Google Cloud.
Cluster creation failed: IP address space exhausted

Causa: No está disponible el espacio de direcciones IP necesario para aprovisionar los nodos del clúster solicitados.

Solución:
- Crea un clúster con menos nodos trabajadores, pero con un tipo de máquina más grande.
- Crea un clúster en una subred o red diferente.
- Reduce el uso en la red para liberar espacio de direcciones IP.
- Espera hasta que haya suficiente espacio de IP disponible en la red.

Initialization script error message: The repository REPO_NAME no longer has a Release file

Causa: Se borró el repositorio de backports de Debian oldstable.

Solución:

Agrega el siguiente código antes del código que ejecuta apt-get en tu secuencia de comandos de inicialización.

oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}');
stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}');

matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)"
if [[ -n "$matched_files" ]]; then
  for filename in "$matched_files"; do
    grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \
      sed -i -e 's/^.*-backports.*$//' "$filename"
  done
fi

Timeout waiting for instance DATAPROC_CLUSTER_VM_NAME to report in o Network is unreachable: dataproccontrol-REGION.googleapis.com

Causa: Estos mensajes de error indican que la configuración de red de tu clúster de Managed Service para Apache Spark está incompleta: es posible que te falte la ruta a la puerta de enlace de Internet predeterminada o reglas de firewall.

Solución:

Para solucionar este problema, puedes crear las siguientes pruebas de conectividad:
- Crea una prueba de conectividad entre dos VMs del clúster de Managed Service para Apache Spark. El resultado de esta prueba te ayudará a comprender si las reglas de firewall de permiso de entrada o salida de tu red se aplican correctamente a las VMs del clúster.
- Crea una prueba de conectividad entre una VM del clúster de Managed Service para Apache Spark y una dirección IP actual de la API de control de Managed Service para Apache Spark. Para obtener una dirección IP actual de la API de control de Managed Service para Apache Spark, usa el siguiente comando:
```
dig dataproccontrol-REGION.googleapis.com A
```
Usa cualquiera de las direcciones IPv4 en la sección de respuesta del resultado.

El resultado de la prueba de conectividad te ayudará a comprender si la ruta a la puerta de enlace de Internet predeterminada y el firewall de permiso de salida están configurados correctamente.

Según los resultados de las pruebas de conectividad:
- Agrega una ruta a Internet a la red de VPC de tu clúster: 0.0.0.0/0 para IPv4 y ::/0 para IPv6 con --next-hop-gateway=default-internet-gateway.
- Agrega reglas de firewall para el control de acceso.
Error debido a una actualización

Causa: El clúster aceptó un trabajo enviado al servicio de Managed Service para Apache Spark, pero no pudo escalar verticalmente o disminuir la escala de forma manual o mediante el ajuste de escala automático. Este error también puede deberse a una configuración de clúster no estándar.

Solución:
- Restablecimiento del clúster: Abre un ticket de asistencia, incluye un archivo tar de diagnóstico, y solicita que se restablezca el clúster a un estado RUNNING.
- Clúster nuevo: Vuelve a crear el clúster con la misma configuración. Esta solución puede ser más rápida que un restablecimiento proporcionado por la asistencia al cliente.

Sugerencias para solucionar problemas de clústeres

En esta sección, se proporciona orientación adicional para solucionar problemas habituales que pueden impedir la creación de clústeres de Managed Service para Apache Spark.

Cuando no se puede aprovisionar un clúster de Managed Service para Apache Spark, suele producir un mensaje de error genérico o informa un estado PENDING o PROVISIONING antes de fallar. La clave para diagnosticar y resolver problemas de fallas de clústeres es examinar los registros del clúster y evaluar los puntos de falla comunes.

Síntomas comunes

Los siguientes son síntomas comunes asociados con las fallas de creación de clústeres:

El estado del clúster permanece PENDING o PROVISIONING durante un período prolongado.
El clúster pasa al estado ERROR.
Errores genéricos de la API durante la creación del clúster, como Operation timed out.
Mensajes de error registrados o de respuesta de la API, como los siguientes:
- RESOURCE_EXHAUSTED: relacionado con las cuotas de CPU, disco o dirección IP
- Instance failed to start
- Permission denied
- Unable to connect to service_name.googleapis.com o Could not reach required Google APIs
- Connection refused o network unreachable
- Errores relacionados con fallas en las acciones de inicialización, como errores de ejecución de secuencias de comandos y archivos no encontrados

Revisa los registros del clúster

Un paso inicial importante cuando se diagnostican fallas de creación de clústeres es revisar los registros detallados del clúster disponibles en Cloud Logging.

Ve al Explorador de registros: Abre el Explorador de registros en la Google Cloud consola de.
Filtra los clústeres de Managed Service para Apache Spark:
- En el menú desplegable Recurso, selecciona Cloud Managed Service for Apache Spark Cluster.
- Ingresa tu cluster_name y project_id. También puedes filtrar por location (región).
Examina las entradas de registro:
- Busca mensajes de nivel ERROR o WARNING que ocurran cerca del momento de la falla de creación del clúster.
- Presta atención a los registros de los componentes master-startup, worker-startup y agent para obtener información sobre los problemas de la VM o del agente de Managed Service para Apache Spark.
- Para obtener información sobre los problemas de tiempo de inicio de la VM, filtra los registros por resource.type="gce_instance" y busca mensajes de los nombres de instancia asociados con los nodos del clúster, como CLUSTER_NAME-m o CLUSTER_NAME-w-0. Los registros de la consola en serie pueden revelar problemas de configuración de red, problemas de disco y fallas de secuencias de comandos que ocurren al principio del ciclo de vida de la VM.

Causas comunes de fallas de clústeres y sugerencias para solucionar problemas

En esta sección, se describen los motivos comunes por los que podría fallar la creación de clústeres de Managed Service para Apache Spark y se brindan sugerencias para solucionar problemas de fallas de clústeres.

Permisos de IAM insuficientes

La cuenta de servicio de VM que usa tu clúster de Managed Service para Apache Spark debe tener los roles de IAM adecuados para aprovisionar instancias de Compute Engine, acceder a buckets de Cloud Storage , escribir registros e interactuar con otros Google Cloud servicios.

Rol de trabajador obligatorio: Verifica que la cuenta de servicio de VM tenga el rol de trabajador de Managed Service para Apache Spark (roles/dataproc.worker). Este rol tiene los permisos mínimos necesarios para que Managed Service para Apache Spark administre los recursos del clúster.
Permisos de acceso a los datos: Si tus trabajos leen o escriben en Cloud Storage o BigQuery, la cuenta de servicio necesita roles relacionados, como Storage Object Viewer, Storage Object Creator o Storage Object Admin para Cloud Storage, o BigQuery Data Viewer o BigQuery Editor para BigQuery.
Permisos de registro: La cuenta de servicio debe tener un rol con los permisos necesarios para escribir registros en Cloud Logging, como el rol Logging Writer.