En esta página, se proporcionan instrucciones para diagnosticar y resolver problemas habituales de conectividad de red en las cargas de trabajo por lotes y las sesiones interactivas de Managed Service para Apache Spark. Estos problemas pueden impedir que tus cargas de trabajo accedan a las fuentes de datos, los servicios externos o las APIs de Google Cloud necesarias.
Síntomas y mensajes de error comunes
Cuando Managed Service para Apache Spark tiene problemas de conectividad, es posible que veas errores como los siguientes:
Unable to connect to service_name.googleapis.comCould not reach required Google APIsConnection refusedHost unreachableOperation timed outPermission denied(a menudo, se relaciona con la red si se bloquean las llamadas a la API)
También puedes encontrar errores relacionados con el acceso a los datos en Cloud Storage, BigQuery o en otras bases de datos.
Causas comunes y sugerencias para solucionar problemas
En esta sección, se enumeran las causas comunes de los problemas de conectividad de Managed Service para Apache Spark y se proporcionan sugerencias para solucionarlos.
Configuración de red
Las configuraciones incorrectas de red son una causa frecuente de errores de conectividad. Las cargas de trabajo y las sesiones de Managed Service para Apache Spark se ejecutan en VMs con direcciones IP internas, con el Acceso privado a Google (PGA) habilitado automáticamente en la subred de la carga de trabajo o de la sesión para acceder a las APIs y los servicios de Google. Para obtener más información, consulta Configuración de red de Managed Service para Apache Spark.
Opciones de acceso:
Private Service Connect (PSC): Puedes crear extremos privados dentro de tu red de VPC para acceder a APIs de Google específicas.
- En la consola de Google Cloud , ve a
Private Service Connect > Extremos.
Conecta extremos o confirma que estén conectados para
todas las APIs requeridas, como
storage.googleapis.comydataproc.googleapis.com, y que se conecten a la red de nube privada virtual de la carga de trabajo por lotes o de la sesión.
- En la consola de Google Cloud , ve a
Private Service Connect > Extremos.
Conecta extremos o confirma que estén conectados para
todas las APIs requeridas, como
Cloud NAT: Si tu carga de trabajo necesita acceder a la Internet pública, puedes configurar Cloud NAT para tu carga de trabajo por lotes o subred de sesión:
- En la consola de Google Cloud , ve a la página
Cloud NAT.
Configura una puerta de enlace o confirma que
se haya configurado una para la red de VPC,
la región y la subred de la carga de trabajo por lotes o de la sesión. También
asegúrate de que las reglas de firewall permitan
la salida a
0.0.0.0/0. Para obtener más información, consulta Configura Cloud NAT.
- En la consola de Google Cloud , ve a la página
Cloud NAT.
Configura una puerta de enlace o confirma que
se haya configurado una para la red de VPC,
la región y la subred de la carga de trabajo por lotes o de la sesión. También
asegúrate de que las reglas de firewall permitan
la salida a
Reglas de firewall:
- Las reglas de firewall de salida en tu red de VPC (o el proyecto host de la red de VPC compartida, si corresponde) no deben
bloquear el tráfico saliente a los destinos requeridos.
- Si corresponde, las reglas de salida deben permitir el tráfico a servicios externos, como APIs públicas y bases de datos fuera de Google Cloud. Si tu carga de trabajo o sesión por lotes necesita acceso a Internet, puedes usar Cloud NAT para proporcionar salida de subred.
- Aunque no es una causa común de problemas de conectividad, las reglas de entrada demasiado restrictivas pueden bloquear de forma involuntaria el tráfico de retorno o las comunicaciones internas necesarias.
- Las reglas de firewall de salida en tu red de VPC (o el proyecto host de la red de VPC compartida, si corresponde) no deben
bloquear el tráfico saliente a los destinos requeridos.
Resolución de DNS:
- La resolución de DNS debe configurarse dentro de la red de VPC. Las cargas de trabajo y las sesiones deben poder resolver los nombres de host de
las APIs de Google, como
storage.googleapis.comobigquery.googleapis.comy los servicios externos. - Los servidores DNS personalizados y las zonas privadas de Cloud DNS deben reenviar o resolver las consultas de los dominios de Google.
- Si usas Private Service Connect para acceder de forma privada a las APIs de Google, los registros DNS de los servicios de Google deben resolverse en direcciones IP privadas dentro de tu red de VPC con el extremo de PSC.
- La resolución de DNS debe configurarse dentro de la red de VPC. Las cargas de trabajo y las sesiones deben poder resolver los nombres de host de
las APIs de Google, como
Sugerencias para solucionar problemas:
Identifica la configuración de la red y la subred:
- En los detalles del lote o de la sesión de Managed Service para Apache Spark, revisa
networkUriysubnetUri. - En la consola de Google Cloud , revisa la configuración de la red y la subred de VPC.
- En los detalles del lote o de la sesión de Managed Service para Apache Spark, revisa
Prueba la conectividad desde una VM de proxy:
- Inicia una VM de Compute Engine de prueba en la subred de lote o sesión con la cuenta de servicio de lote o sesión.
- Desde la VM de prueba, realiza las siguientes pruebas de conectividad:
nslookup storage.googleapis.compara verificar la resolución de DNS. Busca otros dominios de la API de Google, comobigquery.googleapis.comydataproc.googleapis.com. Con el Acceso privado a Google, que se habilita automáticamente en las subredes de Managed Service para Apache Spark, o Private Service Connect, los dominios deben resolverse en direcciones IP privadas.curl -v https://storage.googleapis.compara verificar la conectividad HTTPS con las APIs de Google. También intenta conectarte a otros servicios de Google.ping 8.8.8.8para probar la conectividad a Internet si tu lote o sesión lo requiere. Pruebacurl -v https://example.comsi se espera Cloud NAT.
- Ejecuta Google Cloud pruebas de conectividad de Network Intelligence Center para diagnosticar rutas de red desde tu subred hasta los extremos pertinentes, como las APIs de Google y las direcciones IP externas.
Revisa Cloud Logging para ver si hay errores de red:
- Revisa Logging para tu carga de trabajo o sesión de Managed Service para Apache Spark. Busca mensajes
ERRORoWARNINGrelacionados con tiempos de espera de red, rechazos de conexión o fallas en las llamadas a la API. Filtra porjsonPayload.component="driver"ojsonPayload.component="executor"para ver los problemas de red específicos de Spark.
- Revisa Logging para tu carga de trabajo o sesión de Managed Service para Apache Spark. Busca mensajes
Permisos de IAM
Los permisos de IAM insuficientes pueden impedir que las cargas de trabajo o las sesiones accedan a los recursos, lo que genera fallas de red si se rechazan las llamadas a la API.
La cuenta de servicio que usa tu carga de trabajo o sesión por lotes debe tener los roles necesarios:
- Rol de trabajador de Managed Service para Apache Spark (
roles/dataproc.worker). - Roles de acceso a los datos, como
roles/storage.objectVieweroroles/bigquery.dataViewer). - Registro: (
roles/logging.logWriter).
Sugerencias para solucionar problemas:
- Identifica la cuenta de servicio de la carga de trabajo o sesión por lotes. Si no se especifica, se usa de forma predeterminada la cuenta de servicio predeterminada de Compute Engine.
- Ve a la página IAM y administración > IAM en la consola de Google Cloud , busca la cuenta de servicio de la sesión o de la carga de trabajo por lotes y, luego, verifica que tenga los roles necesarios para las operaciones de la carga de trabajo. Otorga los roles que falten.
Configuración del servicio externo
Si tu carga de trabajo se conecta a bases de datos o servicios fuera de Google Cloud, verifica su configuración:
- Verifica que el firewall o el grupo de seguridad del servicio externo permitan conexiones entrantes desde los rangos de IP de tu red de VPC: si corresponde, verifica las direcciones IP internas con el intercambio de tráfico entre VPC, Cloud VPN o Cloud Interconnect, o las direcciones IP de Cloud NAT.
- Revisa las credenciales de la base de datos o las cadenas de conectividad. Verifica los detalles de la conexión, los nombres de usuario y las contraseñas.
¿Qué sigue?
- Obtén más información sobre las redes de Managed Service para Apache Spark.
- Revisa las cuentas de servicio de Managed Service para Apache Spark.
- Consulta las guías generales para solucionar problemas de red: