Soluciona problemas de conectividad de lotes y sesiones

En esta página, se proporcionan instrucciones para diagnosticar y resolver problemas habituales de conectividad de red en las cargas de trabajo por lotes y las sesiones interactivas de Managed Service para Apache Spark. Estos problemas pueden impedir que tus cargas de trabajo accedan a las fuentes de datos, los servicios externos o las APIs de Google Cloud necesarias.

Síntomas y mensajes de error comunes

Cuando Managed Service para Apache Spark tiene problemas de conectividad, es posible que veas errores como los siguientes:

  • Unable to connect to service_name.googleapis.com
  • Could not reach required Google APIs
  • Connection refused
  • Host unreachable
  • Operation timed out
  • Permission denied (a menudo, se relaciona con la red si se bloquean las llamadas a la API)

También puedes encontrar errores relacionados con el acceso a los datos en Cloud Storage, BigQuery o en otras bases de datos.

Causas comunes y sugerencias para solucionar problemas

En esta sección, se enumeran las causas comunes de los problemas de conectividad de Managed Service para Apache Spark y se proporcionan sugerencias para solucionarlos.

Configuración de red

Las configuraciones incorrectas de red son una causa frecuente de errores de conectividad. Las cargas de trabajo y las sesiones de Managed Service para Apache Spark se ejecutan en VMs con direcciones IP internas, con el Acceso privado a Google (PGA) habilitado automáticamente en la subred de la carga de trabajo o de la sesión para acceder a las APIs y los servicios de Google. Para obtener más información, consulta Configuración de red de Managed Service para Apache Spark.

  • Opciones de acceso:

    • Private Service Connect (PSC): Puedes crear extremos privados dentro de tu red de VPC para acceder a APIs de Google específicas.

      • En la consola de Google Cloud , ve a Private Service Connect > Extremos. Conecta extremos o confirma que estén conectados para todas las APIs requeridas, como storage.googleapis.com y dataproc.googleapis.com, y que se conecten a la red de nube privada virtual de la carga de trabajo por lotes o de la sesión.
    • Cloud NAT: Si tu carga de trabajo necesita acceder a la Internet pública, puedes configurar Cloud NAT para tu carga de trabajo por lotes o subred de sesión:

      • En la consola de Google Cloud , ve a la página Cloud NAT. Configura una puerta de enlace o confirma que se haya configurado una para la red de VPC, la región y la subred de la carga de trabajo por lotes o de la sesión. También asegúrate de que las reglas de firewall permitan la salida a 0.0.0.0/0. Para obtener más información, consulta Configura Cloud NAT.
  • Reglas de firewall:

    • Las reglas de firewall de salida en tu red de VPC (o el proyecto host de la red de VPC compartida, si corresponde) no deben bloquear el tráfico saliente a los destinos requeridos.
      • Si corresponde, las reglas de salida deben permitir el tráfico a servicios externos, como APIs públicas y bases de datos fuera de Google Cloud. Si tu carga de trabajo o sesión por lotes necesita acceso a Internet, puedes usar Cloud NAT para proporcionar salida de subred.
    • Aunque no es una causa común de problemas de conectividad, las reglas de entrada demasiado restrictivas pueden bloquear de forma involuntaria el tráfico de retorno o las comunicaciones internas necesarias.
  • Resolución de DNS:

    • La resolución de DNS debe configurarse dentro de la red de VPC. Las cargas de trabajo y las sesiones deben poder resolver los nombres de host de las APIs de Google, como storage.googleapis.com obigquery.googleapis.com y los servicios externos.
    • Los servidores DNS personalizados y las zonas privadas de Cloud DNS deben reenviar o resolver las consultas de los dominios de Google.
    • Si usas Private Service Connect para acceder de forma privada a las APIs de Google, los registros DNS de los servicios de Google deben resolverse en direcciones IP privadas dentro de tu red de VPC con el extremo de PSC.

Sugerencias para solucionar problemas:

  • Identifica la configuración de la red y la subred:

    • En los detalles del lote o de la sesión de Managed Service para Apache Spark, revisa networkUri y subnetUri.
    • En la consola de Google Cloud , revisa la configuración de la red y la subred de VPC.
  • Prueba la conectividad desde una VM de proxy:

    • Inicia una VM de Compute Engine de prueba en la subred de lote o sesión con la cuenta de servicio de lote o sesión.
    • Desde la VM de prueba, realiza las siguientes pruebas de conectividad:
      • nslookup storage.googleapis.com para verificar la resolución de DNS. Busca otros dominios de la API de Google, como bigquery.googleapis.com y dataproc.googleapis.com. Con el Acceso privado a Google, que se habilita automáticamente en las subredes de Managed Service para Apache Spark, o Private Service Connect, los dominios deben resolverse en direcciones IP privadas.
      • curl -v https://storage.googleapis.com para verificar la conectividad HTTPS con las APIs de Google. También intenta conectarte a otros servicios de Google.
      • ping 8.8.8.8 para probar la conectividad a Internet si tu lote o sesión lo requiere. Prueba curl -v https://example.com si se espera Cloud NAT.
    • Ejecuta Google Cloud pruebas de conectividad de Network Intelligence Center para diagnosticar rutas de red desde tu subred hasta los extremos pertinentes, como las APIs de Google y las direcciones IP externas.
  • Revisa Cloud Logging para ver si hay errores de red:

    • Revisa Logging para tu carga de trabajo o sesión de Managed Service para Apache Spark. Busca mensajes ERROR o WARNING relacionados con tiempos de espera de red, rechazos de conexión o fallas en las llamadas a la API. Filtra por jsonPayload.component="driver" o jsonPayload.component="executor" para ver los problemas de red específicos de Spark.

Permisos de IAM

Los permisos de IAM insuficientes pueden impedir que las cargas de trabajo o las sesiones accedan a los recursos, lo que genera fallas de red si se rechazan las llamadas a la API.

La cuenta de servicio que usa tu carga de trabajo o sesión por lotes debe tener los roles necesarios:

  • Rol de trabajador de Managed Service para Apache Spark (roles/dataproc.worker).
  • Roles de acceso a los datos, como roles/storage.objectViewer o roles/bigquery.dataViewer).
  • Registro: (roles/logging.logWriter).

Sugerencias para solucionar problemas:

Configuración del servicio externo

Si tu carga de trabajo se conecta a bases de datos o servicios fuera de Google Cloud, verifica su configuración:

  • Verifica que el firewall o el grupo de seguridad del servicio externo permitan conexiones entrantes desde los rangos de IP de tu red de VPC: si corresponde, verifica las direcciones IP internas con el intercambio de tráfico entre VPC, Cloud VPN o Cloud Interconnect, o las direcciones IP de Cloud NAT.
  • Revisa las credenciales de la base de datos o las cadenas de conectividad. Verifica los detalles de la conexión, los nombres de usuario y las contraseñas.

¿Qué sigue?